Почему стандартные счета за работу нейросетей заставляют клиентов платить за чужой сервер
Услуги LLM стали важной инфраструктурой для таких приложений, как чат-помощники и агенты кодирования. Поставщикам услуг необходимо соотносить потребление ресурсов с отдельными запросами для таких целей, как выставление счетов. Среди этих ресурсов энергия является ключевым показателем для оценки стоимости обслуживания каждого запроса. Тем не менее, обслуживая запросы в пакетном режиме, графические процессоры сообщают только об совокупном потреблении энергии. Провайдеры обычно оценивают долю каждого запроса пропорционально потреблению токенов, но этот подход может давать существенно несправедливые оценки. Значение Шепли обеспечивает принципиальное решение для справедливого распределения энергии, но его вычисление напрямую требует запуска графического процессора $2^N-1$ для запросов $N$, что невозможно для больших пакетов. Чтобы решить эту проблему, мы предлагаем StepSplit. В разных поколениях графических процессоров мы наблюдаем, что энергия, потребляемая на каждом этапе вывода, прямом проходе по пакету, состоит из общей энергии, в основном из-за считывания весов модели, и энергии, специфичной для запроса. Мы получаем значение Шепли в замкнутой форме: каждый запрос заряжается собственной энергией плюс равная часть общей энергии каждого шага, в котором он участвует. Микротест продолжительностью 2,5–17,8 минут калибрует обе части энергии шага один раз для каждой модели и конфигурации графического процессора. При статической пакетной обработке StepSplit использует эту закрытую форму за один проход по журналу планировщика. При непрерывной пакетной обработке удаление запроса может изменить способ пакетной обработки оставшихся запросов, поэтому StepSplit добавляет исправление к закрытой форме, вычисляемое путем воспроизведения планировщика на ЦП. Мы оцениваем StepSplit по значениям Шепли, измеренным с использованием 529 513 запусков графического процессора. При статической пакетной обработке с размерами пакетов 8–256 StepSplit достигает ошибки $L_1$, равной 0,4-4.3%, по сравнению с 13,4-61.3% для распределения, пропорционального токену. При непрерывной пакетной обработке с количеством запросов от 8 до 128 соответствующие ошибки составляют 0,5-6.4% и 20,6-71.7%.
## В чем суть открытия Почему пользователь, запрашивающий краткое изложение, субсидирует создание целого романа кем-то другим на том же графическом сервере, даже если оплата производится строго по токенам? ## Как это устроено: принцип работы Каждый прямой проход графического процессора требует однократного считывания всех весов модели из памяти, создавая фиксированный базовый уровень общей энергии с шириной шага от 11% до 90% общего потребления. StepSplit вычисляет точную долю затрат Шепли в закрытой форме, присваивая каждому запросу его предельные вычисления плюс равную долю стоимости чтения из общей памяти на каждом шаге выполнения, который он занимает. Перепланирование динамического планировщика при непрерывной пакетной обработке решается посредством детерминированных повторов ЦП, а не экспоненциальных запусков ГП. ## Что это меняет на практике Обеспечивает проверяемое, справедливое выставление счетов за электроэнергию и учет выбросов углерода ESG для многопользовательских облачных платформ LLM, предотвращая халявную нагрузку запросов длинного поколения на пропускную способность общей памяти. ## Границы метода и риски Требуются начальные микротесты калибровки для каждого графического процессора и предполагается детерминированное выполнение планировщика; распределенные кластеры с сетевым джиттером требуют выборки перестановок с привязкой к ЦП, а не чистого расчета в закрытой форме. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)