Очереди незаметно меняли ответы искусственного интеллекта: раскрыта причина сбоев
Воспроизводимая оценка, проверяемый вывод и обучение с подкреплением в соответствии с политикой (RL) требуют, чтобы механизм LLM выдавал запросу одни и те же выходные биты, независимо от того, какие запросы разделяют его пакет. Ядра, инвариантные к пакету, существуют, но движки по-прежнему выбирают из пакета каждое ядро и его параметры. Два ядра, вычисляющие одну и ту же сумму, могут округлять ее по-разному. Детерминированные режимы движков исключают выбор, сохраняя одно консервативное ядро на каждого оператора и платя за это задержкой. Многие быстрые ядра сами по себе являются пакетно-инвариантными, поэтому достаточно исправить несколько зависящих от пакета значений, которые считывает выбор ядра. Detent выражает выбор ядра как программу, которую выполняет механизм. Он находит в этой программе наименьшее количество значений, которые необходимо исправить, и настраивает их для рабочей нагрузки перед развертыванием. При развертывании Llama-3.1-70B и Qwen3-30B-A3B с несколькими графическими процессорами в vLLM и SGLang функция Detent не зависит от партии. Настраиваемый для каждой нагрузки, он обеспечивает задержку 1.04-1.17x на выходной токен Stock (каждый движок со своими стандартными настройками) по сравнению с 1.67-10.3x для детерминированных режимов. В SGLang он соответствует точности GSM8K детерминированного режима SGLang. Detent охватывает несколько комбинаций развертывания, включая несколько механизмов, поколения графических процессоров, степени тензорной параллельности, а также плотные модели и модели MoE. Выпуски с затравкой RL моделей до Llama-3.1-70B бит за битом воспроизводятся под другими пакетами и разделением кэша. Тренер по ядрам и значениям Detent сопоставляет каждый бит logprob развертывания со временем развертывания 1.03x Stock на один токен. BF16 GRPO тогда остается стабильным, хотя рост акций падает.
## В чем суть открытия Себе, что шеф-повар меняет рецепт супа просто потому, что другой столик заказал десерт. Пакетирование заставляет механизмы ИИ незаметно менять математические процедуры в зависимости от того, кто еще находится в очереди, изменяя результаты, если выбор не заблокирован. ## Как это устроено: принцип работы DETENT выражает низкоуровневый выбор ядра в виде формальной программы, написанной на предметно-ориентированном языке под названием SelIR. Используя частичную оценку и анализ максимального потока и минимального сокращения, он находит наименьшее подмножество переменных времени выполнения, которые передают информацию о пакете диспетчеру оператора, и замораживает их в статических выводах. Фиксируя этот кортеж с фиксированной конфигурацией для каждой рабочей нагрузки, система сохраняет высокоскоростные параллельные разделенные ядра, полностью устраняя при этом вычислительную зависимость от соседних запросов. ## Что это меняет на практике Обеспечивает полностью воспроизводимый бенчмаркинг LLM, криптографически проверяемый вывод для сторонней проверки, а также развертывание обучения с подкреплением с нулевым несоответствием, которое предотвращает деградацию обучения модели. ## Границы метода и риски Гарантии инвариантности строго ограничены одной архитектурой развертывания и статическим кортежем обязательств; неожиданный сдвиг трафика может повлечь за собой серьезные штрафы за задержку до 4.17x без перенастройки, а динамическое тензорное масштабирование FP8 остается неподдерживаемым. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Latency per output token (p50, p90, p99), bit-identical token percentage, GSM8K accuracy, offline throughput, GRPO reward stability - **Размер выборки / валидация:** N = 1,319 GSM8K problems, 600 ShareGPT requests, 200 arXiv documents, across Llama-3.1-70B/8B and Qwen3-30B-A3B on H100 and B200 clusters - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)