Капитальный ремонт движка выявляет узкие места памяти и сокращает задержку в многопроходных моделях рассуждений ИИ
Зацикленные языковые модели применяют один блок слоев много раз для каждого токена, поэтому обслуживающий механизм оплачивает все накладные расходы каждого уровня один раз за цикл; мы измеряем обслуживание Ouro и Huginn-0125 в движке циклической модели с открытым исходным кодом и оцениваем наши оптимизации от побитово-идентичных изменений до тех, которые требуют проверки точности. В пакете 1 объединение всех отправленных циклов оставляет пропускную способность Ouro на уровне 0.99x; 5689 небольших ядер на токен — это реальная стоимость, и объединение их за границами округления повышает пропускную способность 1.11-1.59x, в то время как запросы 1014/1014 остаются идентичными. Приблизительное объединение выполняется не быстрее и не учитывает одноточечное правило GSM8K по 87 вопросам (61 и 62 правильных против 64), поэтому мы его не отправляем. Выпущенные Huginn настройки по умолчанию позволяют избежать неработающих слотов KV, повторно использовать страницы кэша префиксов и обслуживать 1.77-3.16x быстрее, чем базовый движок; Оуро достигает 1,65-2.15x, а сеансы агентов - 1,91-3.21x, в то время как шум Хьюгинна и изменения повторного использования префиксов остаются в пределах одного балла по всем 1319 вопросам теста Хьюгинна; Уплотненное предварительное заполнение Хьюгинна (-0,61 балла по тем же вопросам) соответствует этому правилу только в отношении точечной оценки. Позиционно-ключевой шум делает повторное использование кэша ЦП точным, но по-прежнему оставляет 20 из 128 полных обращений графического процессора разными, в то время как слияние циклов задерживает вход предварительного заполнения, а кэш с 64 графами предотвращает неожиданные откаты. При дезагрегации предварительного заполнения и декодирования ExactLoop достигает базовой пропускной способности 3.3x с отключенной обработкой ошибок однорангового узла и 3.1x в двух из трех запусков с включенной функцией. Его бюджет передачи, рассчитанный на удержание KV одного запроса в полете, сокращает хвост фиксации примерно с одной секунды по сравнению с предыдущим бюджетом до 16 мс (база: 2,8 с), устраняя раунды опроса, которые в противном случае были бы навязаны интервалом механизма.
## В чем суть открытия Зацикленные модели искусственного интеллекта повторно используют один и тот же блок слоев, чтобы мыслить глубже. Однако современные движки тратят половину своей памяти графического процессора на незаписанные слоты и останавливаются на тысячах крошечных операций на токен. ExactLoop очищает эту потраченную впустую память и безопасно объединяет запуски. ## Как это устроено: принцип работы ExactLoop заменяет расточительное выделение памяти для каждого цикла на упаковку плоскостей живых слотов, что позволяет разместить в два раза больше токенов подсказки в кэше графического процессора. Затем он использует ограничения округления на аппаратном уровне в ядрах Triton для выполнения объединенных математических операций без изменения выходных данных с плавающей запятой. Наконец, псевдослучайный шум с позиционной кодировкой гарантирует, что кэширование префиксов остается идеально согласованным при повторных запусках. ## Что это меняет на практике Обеспечивает промышленное развертывание моделей рекуррентного анализа на периферийных и серверных графических процессорах, сокращая затраты на обслуживание и время создания первого токена с помощью 2x-3x, гарантируя при этом нулевую потерю точности вывода или математической точности. ## Границы метода и риски Требует фиксированной глубины декодирования во время вывода, демонстрирует незначительные компромиссы в задержке при балансировке предварительного заполнения с рабочими нагрузками декодирования и не может повысить максимальный порог насыщения оборудования при сверхвысоких частотах запросов Пуассона. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Throughput (tok/s), Time to First Token (TTFT p50/p90), Time per Output Token (TPOT), GSM8K Accuracy - **Размер выборки / валидация:** N = 1319 GSM8K test questions, 496 MATH-500 questions, 2000 ShareGPT prompts, GH200 and RTX 5090 GPUs - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)