Забытые алгоритмы из восьмидесятых разрушают главный миф о логических способностях нейросетей
Зацикленные модели стали известной парадигмой рассуждения, добившись успеха в решении простых головоломок, таких как Sudoku-Extreme и Maze-Unique. Однако эти модели могут быть нестабильными, медленно обучаться и использовать множество параметров и FLOP для решения простых головоломок. Спуск по энергии не только смягчает эти проблемы, но и дает преимущества: встроенную раннюю остановку, вычисления, которые адаптируются к сложности задачи, быстрое обучение без дифференциации с помощью решателя и интерпретируемые веса, которые изучают ограничения головоломки. Здесь мы демонстрируем это на примере изученной версии энергии Хопфилда и Танка 80-х годов, которую мы называем CRAM, которая решает 99.996% тестовых головоломок Sudoku-Extreme и 100% тестовых головоломок Maze-Unique после 42 мс и 132 мс обучения на одном графическом процессоре, что как минимум на 1,000x быстрее, чем модели с зацикливанием на этих задачах. CRAM также сопоставляет базовые зацикленные модели с максимальной точностью в Sudoku-Extreme, используя как минимум 282x меньшее количество операций вывода. Наша работа предполагает две вещи. Во-первых, энергии — чрезвычайно перспективное направление для тренировки мышления на основе данных. Во-вторых, предостережение против использования тривиально решаемых тестов, таких как судоку и лабиринт, для проверки масштабируемости методов зацикленного рассуждения.
## В чем суть открытия Себе, что вы решаете лабиринт, не обучая кого-то проходить его шаг за шагом, а катя мрамор по канавкам, вырезанным на наклонной деревянной доске: физика тянет его прямо к выходу. ## Как это устроено: принцип работы Вместо того, чтобы разворачивать рекуррентные нейронные сети и дифференцировать их во времени, CRAM обучает непрерывной свободной энергии среднего поля Хопфилда непосредственно из решенных досок с помощью локального псевдоправдоподобия. Во время вывода данные подсказки остаются фиксированными, в то время как неназначенные клетки расслабляются по градиенту энергии с помощью целенаправленного поиска Гиббса. Математически подобранный порог энергии обеспечивает встроенную раннюю остановку, гарантируя, что процесс никогда не остановится на недействительной доске. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Test solve accuracy (%), inference FLOPs per puzzle, wall-clock fit time (ms/s), coverage of valid solutions (Cov@20), edge conflicts - **Размер выборки / валидация:** N = 412,786 Sudoku-Extreme test puzzles, 1,000 Maze-Unique test mazes, 19,706 N-Queens test instances, 447 Graph Coloring test graphs - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода) ## Что это меняет на практике Позволяет периферийным процессорам со сверхнизким энергопотреблением и встроенным системам реального времени выполнять быстрое удовлетворение ограничений, одновременно побуждая исследователей ИИ отказаться от тривиальных тестов головоломок для проверки общих повторяющихся рассуждений. ## Границы метода и риски Парная классическая формулировка не может вычислять нелокальные скрытые абстракции или градиенты расстояния до пути, полностью терпя неудачу в сложных задачах, таких как ARC-AGI, без вспомогательных скрытых полей.