Иллюзия первенства: почему победа искусственного интеллекта в рейтингах чаще оказывается случайным везением
Публичные таблицы лидеров LLM помогают оценивать и внедрять модели, однако сообщаемая эффективность моделей с самым высоким рейтингом может систематически переоцениваться. Проклятие победителя этой таблицы лидеров возникает потому, что ранжирование шумных результатов тестов вознаграждает удачу наряду с подлинными способностями. Тот же эффект отбора может исказить результаты в таблице лидеров — явление, которое мы называем предвзятостью, вызванной рангом. Мы разработали программу начальной загрузки $m$-из-$N$, чтобы исправить это смещение. Он предполагает фиксированный пул моделей с независимыми, одинаково распределенными ограниченными задачами, допуская при этом произвольную корреляцию внутри задач между моделями. При точных уровнях совокупности, разделенных положительными промежутками, мы доказываем, что бутстреп уменьшает смещение ранжирования $Θ(N^{-1/2})$ до ожидаемого остаточного смещения $o(N^{-1/2})$. По 14 показателям из 5 семейств показателей корректировки первого ранга варьируются примерно от 0,09 до 3,86 процентных пункта. В нашем снимке SWE-bench Verified лидеры с одинаковым результатом получают корректировку на 0,90 процентных пункта. Такое завышение достаточно велико, чтобы сделать очевидного победителя статистически хрупким. Таким образом, мы используем один и тот же бутстрап для дальнейшей количественной оценки интервалов вероятных ранговых позиций для каждой модели и группировки моделей по уровням. Мы создаем достаточные условия для последовательного восстановления слоев населения. На SWE-bench Verified эта процедура ставит 13 из 173 моделей на лидирующие позиции. Мы объединяем корректировку оценок и интервалы рангов в отчете об оценке неопределенности рейтинга и таблице лидеров (RULER). Мы проверяем его производительность на конечной выборке с помощью разделения выборки и калиброванного моделирования и выступаем за публикацию RULER вместе с необработанными рейтингами, чтобы читатели могли оценить как заявленную производительность, так и точность упорядочения. RULER также предоставляет рекомендации по разработке эталонных показателей, учитывающие эффекты отбора и неопределенность ранжирования.
## В чем суть открытия Десятилетиями индустрия машинного обучения жила негласным соглашением: победа в публичной таблице рекордов признавалась абсолютным доказательством превосходства алгоритмической архитектуры. Инвестиционные фонды вкладывали миллионы долларов в модели, опередившие конкурентов на доли процента, а инженерные команды перекраивали рабочие процессы ради достижения статуса лидера. Однако эта парадигма уперлась в фундаментальный статистический парадокс, давно известный экономистам на аукционах и биологам в генетических исследованиях, но упорно игнорируемый разработчиками искусственного интеллекта: «проклятие победителя». Любой тестовый бенчмарк представляет собой лишь крошечную случайную выборку из бесконечного океана практических задач. Когда сотни конкурирующих систем оцениваются на скромном пуле тестов, их средние баллы неизбежно вбирают случайный шум измерений. Сортировка участников по убыванию баллов создает жесткий систематический сдвиг: верхнюю строчку занимает не обязательно самая совершенная система, а та, которой случайный шум благоволил больше остальных. Выборка победителя вознаграждает статистическое везение наравне с реальными возможностями, порождая систематическое завышение способностей чемпиона. ## Как это устроено: принцип работы Для преодоления этой иллюзии исследователи создали аналитическую систему RULER, основанную на математически строгом непараметрическом методе бутстрепа размера m из N. Метод не пытается подогнать результаты под искусственные теоретические распределения, а многократно моделирует альтернативные сценарии тестирования из уже собранных экспериментальных данных. Алгоритм берет исходную матрицу, где строки соответствуют задачам, а столбцы — моделям, сохраняя сложные скрытые корреляции между ответами разных нейросетей на одни и те же вопросы. Формируя тысячи псевдовыборок меньшего объема, система замеряет, насколько оценка случайно победившей модели в псевдовыборке превосходит ее исходный уровень. Масштабируя эту разницу с учетом объема исходного пула задач, алгоритм точно вычисляет поправку на удачу для каждой позиции рейтинга. Одновременно строится матрица вероятностей рангов и доверительные интервалы, которые объединяют статистически неразличимые модели в общие кластерные ярусы. ## Результаты и доказательства Масштабный статистический аудит охватил 14 популярных бенчмарков из 5 ключевых семейств, включая программную инженерию, агентские диалоги и следование сложным инструкциям. В тесте верифицированного