Нейросети научились превращать в прозрачные логические схемы из обычных школьных правил
Мы преобразуем обученную сеть внимания в целом, включая внимание, в схему предикатов с жесткой логикой, которая работает вместо нее. Каждая единица схемы представляет собой предикат 0/1 для токенов, а каждое сопоставление между предикатами представляет собой минимизированную таблицу истинности. Короткие таблицы, такие как произведение кода запроса и кода ключа, точно минимизируются, а широкие переходы между функциями становятся правилами импликации благодаря минимизации, устойчивой к шуму. Блоки заменяются по одному, начиная с вывода вниз, на манер Корабля Тесея, и после каждой замены оставшаяся мягкая часть заново адаптируется к застывшей схеме. Выбор внимания принимает две формы: сравнение целых чисел по строкам (выбор порядка) и усвоенное правило (выбор правила). Оба применяются только на обычном обучающем наборе и только на примерах, которые учитель правильно классифицирует, так что схема имитирует учителя там, где учитель прав. На TweetEval-emotion полная схема DistilGPT2 достигает тестовой золотой точности 66,5 $\pm$ 1.3% с выбором порядка и 57,4 $\pm$ 2.5% с выбором правила из трех начальных чисел, против 74.7% для учителя и 64.0% для набора слов, помещенных в одни и те же твиты, и База BERT достигает 70,0 $\pm$ 0.5% с выбором порядка и 63,7 $\pm$ 1.2% с выбором правила на основе 77.8%. Схема не нуждается ни в умножителе, ни в весовом трафике, а экспортированное аппаратное описание воспроизводит ее бит за битом. По оценкам, основанным на синтезе, он классифицирует один твит примерно в 1–2 $μ$ (DistilGPT2) и 3–5 $μ$ (BERT) на карте FPGA и в 5–9 $μ$ на плате размером с ладонь, модуль которой потребляет 7,5–15 Вт, что на два-три порядка быстрее, чем сеть на графическом процессоре в партии 1 (измерения, 0,9–2,6 мс для DistilGPT2, включая оптимизированную базовую линию CUDA-графа), при цене 8,5 (DistilGPT2) и 8,6 (BERT) баллов золотой точности для синтезированных схем начального нуля.
## В чем суть открытия Десятилетиями глубинное обучение развивалось по пути непрерывного накопления плавающих параметров: миллионы и миллиарды весовых коэффициентов связывались в сложнейшие тензорные сети, формируя непроницаемый для человеческого взгляда «черный ящик». Хотя современные архитектуры внимания демонстрируют впечатляющие результаты в языковых задачах, их решения остаются стохастическими и статистическими. Ни один инженер не способен проследить причинно-следственную цепочку, по которой конкретное слово или токен склонили модель к тому или иному выводу. Попытки суррогатной интерпретации через тепловые карты внимания или аддитивные мешки слов терпели фиаско: они либо описывали процесс постфактум с грубыми приближениями, либо теряли саму способность улавливать логические связки и отрицания. Кроме того, непрерывные вычисления требуют колоссальных энергетических затрат на непрерывную перекачку матриц между памятью и графическими процессорами. Исследователи предложили радикальное решение этой дилеммы: превратить предварительно обученную нейросеть трансформерного типа в строгую логическую схему, состоящую исключительно из булевых предикатов и базовых вентилей. В такой схеме каждое промежуточное состояние и каждый акт внимания выражаются в виде точных правил жесткой логики. Вся сеть превращается в детерминированный цифровой автомат, решения которого читаются как прозрачные силлогизмы, а вычисления производятся без единой операции с плавающей запятой. ## Как это устроено: принцип работы Главный концептуальный барьер на пути перевода внимания в логику всегда заключался в необходимости перемножения двух динамических активаций — запроса и ключа. В отличие от фиксированных весов, обе эти величины меняются от токена к токену. Авторы преодолели этот тупик, заметив, что внутренние представления языковых моделей распределяются в пространствах малой внутренней размерности. Это позволило закодировать состояния токенов короткими дискретными кодами, превратив перемножение активаций в небольшую таблицу истинности на несколько сотен строк, которая затем минимизируется классическими методами булевой алгебры. Замена непрерывных блоков на логические модули происходит поэтапно, от выхода к входу, по принципу «Корабля Тесея». На каждом шаге верхний блок нейросети детерминированно заменяется зафиксированной логической схемой. Оставшаяся снизу непрерывная часть модели проходит дообучение, адаптируясь к дискретному поведению нового соседа. Это предотвращает катастрофическо