Оптимизация компоновки чиплета сокращает задержки связи аналоговых чипов искусственного интеллекта и обеспечивает колоссальный выигрыш в энергопотреблении
Аналоговые вычисления в памяти (CIM) обеспечивают энергоэффективный вывод ИИ путем выполнения матричного умножения на месте. Растущий спрос на внедрение более крупных моделей мотивирует интеграцию чиплетов для расширения возможностей CIM. Однако абстракции моделирования, основанные на затратах местных операторов и совокупных показателях связи, скрывают влияние топологии сопоставления весов при масштабировании системы CIM. Мы разрабатываем фазовый анализ, который количественно определяет, насколько сильно топология сопоставления влияет на производительность системы в различных конфигурациях оборудования и как оптимизация сопоставления приводит к увеличению задержки. Чтобы оценить и использовать это пространство проектирования, мы представляем Isobar, платформу моделирования, объединяющую декомпозицию CIM, гетерогенное выполнение и моделирование ресурсов. Проверенная на основе измерений кремния и моделирования с точностью до цикла, Isobar предоставляет надежные оценки затрат, которые позволяют эффективно выполнять поиск карт в моделях и конфигурациях оборудования. Для предварительного заполнения Gemma-7B картографирование под управлением Isobar сокращает время связи на 23.3% и сквозную задержку на 18.6% по сравнению с самым сильным базовым уровнем. Моделирование на уровне системы Isobar показывает, что аналоговый CIM сохраняет потенциал энергоэффективности по сравнению с графическим процессором при масштабировании до тысяч кристаллов, и определяет отображение с учетом топологии как ключевой аспект проектирования для эффективного выполнения.
## В чем суть открытия Аналоговые чипы вычислений в памяти обещают сверхэффективную обработку ИИ, но соединение тысяч крошечных кристаллов создает серьезные пробки при передаче данных. Isobar отображает оптимальные схемы расположения микросхем для мгновенного устранения узких мест в сети. ## Как это устроено: принцип работы Isobar моделирует, как матричные операции и механизмы внимания распределяются по тысячам вычислительных кристаллов и цифровых устройств. Он анализирует конфликты трафика каналов в режиме реального времени и использует имитацию отжига для поиска физических механизмов, которые минимизируют узкие места в данных. ## Что это меняет на практике Позволяет разработчикам микросхем масштабировать аналоговые ускорители искусственного интеллекта с несколькими микросхемами для масштабных языковых моделей, достигая до 193x более высокой энергоэффективности, чем современные графические процессоры. ## Границы метода и риски Полагается на аналитическое моделирование, которое требует проверки на предмет детальных физических межсоединений, а выигрыш от декодирования длинного контекста по-прежнему ограничен скоростью доступа к цифровой памяти. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** 23.3% communication time reduction, 18.6% end-to-end latency reduction, 30.4% bandwidth equivalent savings, 93x-193x lower dynamic energy vs GPUs - **Размер выборки / валидация:** N = Evaluated across OPT-1.3B, OPT-6.7B, Gemma-7B, and OPT-13B models on 512 to 2,200 CIM dies