Двумерная решетка памяти: как параллельные скрытые потоки делают компактные нейросети умнее гигантов
Языковые модели обычно увеличивают количество вычислений для каждого токена за счет более глубоких или зацикленных уровней и скрытых этапов рассуждения, в то время как более богатые остаточные связи улучшают поток информации между уровнями. Вместо этого мы увеличиваем вычислительную мощность: количество активных вычислительных состояний, которые поддерживает модель. Мы представляем Решетку Скрытых, набор горизонтальных скрытых потоков каждого слоя, которые периодически текут во времени вместе с вертикальным остаточным потоком, текущим по глубине. Подобно гиперсвязям, mHC и остаткам внимания или ценностей, решетка расширяет остаточный поток, но вместо добавления или изменения маршрута остаточных путей по глубине она обеспечивает сопутствующие вычислительные состояния, которые сохраняются между токенами. В отличие от гибридных архитектур Transformer-SSM, чьи повторяющиеся состояния в основном служат внутренней памятью для смешивания последовательностей, эти латентные состояния напрямую определяют внимание вертикального потока, запись KV-кэша, вычисление MLP и декодирование. На трансформаторах, обученных на 20 млрд токенов FineWeb-Edu, решетчатая модель с 406 млн параметров снижает сложность проверки с 15,41 до 14,40 по сравнению с трансформатором с согласованными параметрами. Эти преимущества распространяются на все архитектурные варианты. Решетка компонуется с предыдущими улучшениями остаточного потока: с помощью гиперсвязей и входных остатков она снижает сложность проверки с 15,41 (базовый преобразователь) и 14,22 (трансформатор с теми же улучшениями) до 13,61. В гибридах Gated DeltaNet, Mamba-2, Triadic GDN и GDN-Mamba-2 он улучшает недоумение при каждом протестированном размере собственного состояния, при этом варианты Lattice-GDN и Lattice-Triadic-GDN превосходят чистые базовые показатели с более крупными собственными состояниями 4x. Эти результаты определяют постоянное состояние каждого уровня как дополнительную ось для масштабирования вычислений языковой модели.
## В чем суть открытия Почти десятилетие развитие архитектур искусственного интеллекта следовало негласному закону: поток вычислений обязан двигаться строго вертикально. От первого входного токена через десятки слоев вверх пролегает так называемый остаточный поток — единственная магистраль, на которую возложена непосильная ноша. Этот единственный вектор скрытого состояния вынужден одновременно считывать историю из статической памяти, формировать новые ключи и значения, трансформировать признаки в полносвязных слоях и предсказывать следующее слово. Попытки расширить возможности систем упирались в жесткую дилемму: либо наращивать глубину слоев, раздувая статичный кэш, либо механически расширять сам поток, перегружая вычислительные узлы. Исследователи из MIT CSAIL и Adobe преодолели этот архитектурный тупик, предложив концепцию «решетки скрытых состояний» (Lattice of Latents). Вместо бесконечного расширения вертикального канала авторы развернули вторую, ортогональную ось вычислений. В новой архитектуре каждый слой получает собственный горизонтальный поток памяти, непрерывно бегущий сквозь поток времени. Это преобразует одномерный конвейер в согласованную двумерную ткань. ## Как это устроено: принцип работы В основе архитектуры лежит фундаментальное разделение обязанностей между структурированием памяти и ее оперативным управлением. Стандартный механизм внимания сохраняет за собой роль контекстного смесителя последовательности, однако горизонтальные состояния выступают в роли постоянных регулирующих спутников на каждом ярусе. Взаимодействие организовано через аффинную рекуррентную динамику с селективными вентилями. На каждом шаге горизонтальный вектор слоя принимает входящий вертикальный сигнал, обновляет внутреннюю память и с помощью модуляции признаков настраивает проекции запросов, ключей и значений внимания, а также активации нелинейных блоков. Чтобы сохранить параллелизм обучения, базовое обновление спроектировано через ассоциативное сканирование: сеть обрабатывает тексты параллельно в один проход. Для усиления выразительности инженеры внедрили прямую подачу эмбеддингов во все слои и межслойный поток считывания, исключающий потерю контекста на верхних этажах сети. ## Результаты и доказательства Масштабное тестирование показало подавляющее преимущество двумерной решетки над классическими трансформерами. Модель решеточного типа объемом 406 миллионов параметров, обученная на 20 миллиардах токенов FineWeb-Edu, продемонстрировала снижение валидационной пер