Нейросети научились выводить универсальные алгоритмы математики из простых наблюдений за действиями
Мы представляем структуру для дифференцируемого точного обучения, которая соединяет неограниченную внешнюю среду с нейронным контроллером, отслеживающим состояние, который мы обучаем на наблюдениях за траекторией политики (PTO): экспертные трассировки поведения, которые раскрывают наблюдения и действия, скрывая при этом внутренние состояния. В дополнение к системе обучения мы представляем дифференцируемые преобразователи конечных состояний (DFST), которые используют многолинейные обновления, поддерживают лог-параллельное обучение и эмулируют произвольные контроллеры с конечными состояниями, обеспечивая универсальность вычислений за счет взаимодействия с окружающей средой. Компактные DFST из крошечных наборов обучающих данных обеспечивают экстремальное обобщение по арифметическим задачам и задачам универсального моделирования. Мы повторяем успех DFST на RNN и GRU, тем самым поддерживая более широкий рецепт обучения: контроллер отслеживания состояния + неограниченная внешняя среда + PTO = обобщение экстремальной длины. Помимо обобщения длины, наш протокол извлечения метрик восстанавливает интерпретируемые дискретные контроллеры из обученных DFST, что, как мы доказываем, эквивалентно алгоритмам целевой арифметики и универсального моделирования. Более того, для наших моделей Softmax DFST простой учет $\mathrm{argmax}$ вероятностей перехода дает дискретные контроллеры, которые доказуемо точно выполняют универсальное моделирование на машине Тьюринга и двоичную арифметику. Доказательство точного обучения нейронных контроллеров требует допущений, которые мы поддерживаем эмпирически. Мы делаем наш код, рецепты обучения, веса моделей и средства проверки доказательств общедоступными на https://github.com/fanagor/DEL.
## В чем суть открытия На протяжении полувека фундаментальный парадокс машинного обучения оставался неразрешенным: даже самые мощные языковые модели, оперирующие сотнями миллиардов параметров, неизменно терпели крах на элементарной школьной арифметике при увеличении разрядности чисел. Стоило подать на вход трансформеру цепочку из нескольких десятков цифр вместо привычных пяти, как точность мгновенно деградировала. Причина крылась в старой парадигме: алгоритмы пытались угадать скрытую внутреннюю логику вычислений исключительно по парам «вход — ответ», что, согласно классической теореме Голда, принципиально невозможно для произвольных вычислимых функций. Прежние попытки решить проблему требовали либо искусственного надзора за рекурсивной структурой вызовов, либо бесконечной точности регистров. Группа исследователей из Федеральной политехнической школы Лозанны предложила изящный выход из концептуального тупика, переосмыслив процесс обучения. Ученые создали концепцию дифференцируемого точного обучения, в которой компактный нейросетевой контроллер обучается не на абстрактных ответах и не на внутренних мыслях эксперта, а исключительно на цепочке его наблюдаемых действий во внешней среде — так называемых наблюдениях траекторий политики. ## Как это устроено: принцип работы Вдохновением для архитектуры послужило обучение человека: ребенок осваивает сложные навыки, наблюдая за движением мела учителя по доске, не имея прямого доступа к нейронам в его голове. Система состоит из двух изолированных компонентов: миниатюрного дифференцируемого автомата и неограниченной символьной двумерной сетки, играющей роль черновика. В основе контроллера лежит дифференцируемый конечный преобразователь. В отличие от тяжелых многослойных сетей, он полностью лишен нелинейных функций активации и опирается на мультилинейные матрично-векторные обновления. На каждом такте контроллер видит ровно одну клетку сетки, обновляет свой внутренний вектор состояния и выдает два дискретных решения: какой символ вписать в ячейку и в какую сторону шагнуть. Поскольку внешнее поле может динамически расширяться, вычисления больше не упираются в емкость внутренней памяти сети. ## Результаты и доказательства Экспериментальные результаты превзошли пределы экстраполяции существующих систем. Модель сложения двоичных чисел, обученная всего на двадцати пяти коротких примерах с длиной операндов не более трех знаков, безошибочно выполнила сложение чисел длиной в пять тысяч знаков. При этом на контрольных тест