Сегнетоэлектрическая память устраняет узкие места искусственного интеллекта на устройстве
Агенты со смартфонами все чаще работают в командах, в которых крупный планировщик направляет параллельных сотрудников во время длительных сеансов. Для работы такой команды на устройстве требуются модели и контексты класса 200B, которые во много раз превышают DRAM телефона, однако существующие уровни рассматривают флэш-память как хранилище: UFS не обеспечивает потоковую передачу веса каждого токена, а мобильная флэш-память с высокой пропускной способностью (HBF) требует переработанной SoC и не может поглощать непрерывные записи KV. Мы показываем, что энергонезависимая память может подключаться к немодифицированной шине LPDDR6 как обычный ранг, только если ее задержка доступа соответствует временному окну DRAM, а это условие не соответствует ни одному уровню NAND. Мы представляем NORmal, насколько нам известно, первую архитектуру основной памяти для 3D-сегнетоэлектрической флэш-памяти NOR. Мы изготовили и экспериментально охарактеризовали серверные 3D-массивы FeNOR (BEOL), которые объединяют в себе плотный 3-битный MLC и быстрый, высокопроизводительный SLC с возможностью записи на месте и временем регистрации менее 7,5 нс. NORmal превращает эти совместно изготовленные массивы в ранг загрузки/сохранения с байтовой адресацией и детерминированной синхронизацией на немодифицированном интерфейсе LPDDR6 посредством моста эмуляции DRAM под массивом, поэтапного чтения банков с циклической сменой веса при нулевом цикле и опубликованной записи SLC. По этому рангу и DRAM NORmal распределяет состояние агента по изменчивости и сроку службы, а не по горячему, обслуживая модели класса 200B и постоянные контексты планировщика, одновременно динамически разделяя подканалы по фазам агента. При моделировании уровня обслуживания на трассировках производственного агента NORmal на 8,9$\times$--28,0$\times$ быстрее, чем разгрузка UFS, в пределах 0.4% от идеала с неограниченным DRAM и на 2,8$\times$--6,3$\times$ быстрее, чем HBF в сеансах с числом токенов выше 256 000, с 8.1$\times$--17.8$\times$ меньше энергии памяти на каждый токен.
## В чем суть открытия NORmal превращает 3D-сегнетоэлектрическую флэш-память в быструю основную память непосредственно на шинах памяти смартфона, позволяя командам агентов искусственного интеллекта с 200 байтами параметров работать локально без дорогостоящей модернизации оборудования или быстрого разряда батареи. ## Как это устроено: принцип работы NORmal совместно производит 3-битные многоуровневые ячейки (MLC) для весов моделей и сверхбыстрые одноуровневые ячейки (SLC) для памяти «ключ-значение» на одном кристалле за мостом эмуляции DRAM. Он использует циклическое изменение веса с нулевым циклом для согласования потоков данных с синхронизацией DRAM LPDDR6, в то время как опубликованные записи SLC скрывают задержки записи. Фазоадаптивная среда выполнения динамически перераспределяет общие подканалы шины LPDDR6 между DRAM и флэш-памятью в зависимости от требований рабочей нагрузки. ## Что это меняет на практике Позволяет флагманским смартфонам локально запускать многоагентные ИИ-помощники класса 200B с длительным сеансом, способные обрабатывать сотни шагов задач, снимки экрана и аудиовходы, с быстротой реагирования на уровне настольного компьютера и многолетним сроком хранения. ## Границы метода и риски Совместное использование 96-битной шины LPDDR6 ограничивает максимальную теоретическую пиковую пропускную способность чтения для скоростей DRAM (153,6 ГБ/с), что делает ее медленнее, чем специальные выделенные каналы, такие как HBF, на коротких фазах декодирования веса только для чтения. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** End-to-End Throughput (tok/s), Memory Energy per Token (J/tok), Prefill TTFT (s), Decode TPOT (ms), Task Finish Time (x), Device Lifetime (Years) - **Размер выборки / валидация:** N = 215 single-agent coding sessions (up to 962K context tokens) and 164 multi-agent sessions (up to 1,970 turns) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)