Квантовая физика заменяет нейросетевые аппроксимации, чтобы выявить точные рассуждения на уровне слов в языковом искусственном интеллекте
Когда языковая модель дает ответ, мы обычно можем только оценить, почему. Мы создаем трансформатор, в котором каждый шаг представляет собой измерение Борна: внимание $|\langle q|k\rangle|^4$ нормализовано по каждой строке, измеренное произведение вместо нелинейности прямой связи и показание Борна. Поскольку знаменатели удерживаются на своих входных значениях, вероятность каждого класса представляет собой полином от амплитуд слов, поэтому его интегральный градиент вычисляется с помощью конечной квадратуры без квадратурной ошибки: вклады слов суммируются с вероятностью класса выше его доли отсутствия информации, до $10^{-11}$ или лучше. При выводе естественного языка e-SNLI с примерно 98 тыс. параметров за пределами внедрения модель достигает точности теста $76.98 \pm 0.17$%, что соответствует уровню преобразователя softmax того же размера ($76.62 \pm 0.36$%). Удаление слова, которое занимает первое место в рейтинге доказательств, меняет ответ в 45% тестовых пар, из 53% может измениться любое отдельное удаление, в отличие от 32% для модели softmax, объясненной таким же образом, и 40% по градиенту внимания x. Внимание может больше походить на слова, выделенные аннотаторами, но менее хорошо учитывает ответ: удаление слова, которое оно занимает первым, изменяет ответ Born Transformer в 32% пар. Те же веса компилируются точно в оптоэлектронную оптику и кубиты, и когерентный уровень внимания становится одной схемой, равной модели (852 CNOT на 23 кубитах). На IBM ibm_kingston, считывая только совпадения внимания с тестами Адамара, устройство давало ответы модели на две короткие пары тестов и сохраняло или изменяло их при удалении, как это делает модель; само доказательство еще не сохранилось в устройстве, и мы разрабатываем снимки и калибровку, которые потребуются для его аппаратного измерения.
## В чем суть открытия Заменив стандартные функции нейронной сети квантовыми измерениями Борна, исследователи создали языковую модель, внутренние атрибуты слов которой рассчитываются с точной математической достоверностью, а не с помощью апостериорных приближений. ## Как это устроено: принцип работы Модель заменяет нелинейности softmax, LayerNorm и ReLU квантовыми измерениями Борна (|⟨q|k⟩|^4), превращая вероятность каждого класса в полином по амплитудам входного слова. Поскольку модель работает как полином с фиксированным знаменателем, интегрированные градиенты можно вычислить с помощью конечной квадратуры Гаусса – Лежандра с нулевой ошибкой интегрирования. Эта архитектурная симметрия позволяет идентичным обученным весам компилироваться непосредственно в оптические фотонные сетки или квантовые схемы, работающие на квантовых процессорах. ## Что это меняет на практике Предоставляет основу для доказуемо интерпретируемых систем искусственного интеллекта в таких важных областях, как принятие юридических и медицинских решений, а также делает физическую оптику и квантовые процессоры жизнеспособными собственными аппаратными средствами для моделей трансформаторов. ## Границы метода и риски Масштабируемость в настоящее время ограничена полиномиальным ростом степени (324 квадратурных узла для двух блоков, экспоненциальное масштабирование с глубиной), высокой чувствительностью к дробовому шуму на квантовом оборудовании, требующем сверхточной калибровки видимости, и падением точности в полностью когерентных одноконтурных установках. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** e-SNLI Test Accuracy (76.98% vs 76.62% baseline), AOPC Deletion Score (0.618 vs 0.321), Top-1 Deletion Flip Rate (45% vs 31%), Human Annotator Agreement (0.510 vs 0.468), Quadrature Evidence Error (< 10^-11) - **Размер выборки / валидация:** N = 549,367 training pairs, 9,842 dev pairs, 9,824 test pairs (e-SNLI); 1,000 test pairs evaluated across 3 random seeds; 2 real-device test pairs on IBM ibm_kingston (Heron r2) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)