Новый эталонный тест позволяет использовать передовой искусственный интеллект для решения
Могут ли большие языковые модели (LLM) продвинуть теоретическую информатику и разрешить ее давние открытые гипотезы? Чтобы изучить прогресс в достижении этой цели, мы представляем TCSExam, единую структуру и тест, охватывающий весь спектр исследований TCS. Он оценивает доказательство теорем, разработку решателей и конструкции наряду с прямыми попытками разрешить открытые гипотезы, фиксируя как конкретные исследовательские достижения, так и прогресс в достижении давних исследовательских целей. TCSExam-Full содержит 100 задач, проверенных экспертами, при этом отправленные данные проверяются ядром Lean или программой проверки исполняемых задач. TCSExam-Lite выбирает 20 задач, по пять на дорожку, сокращая количество попыток выполнения задач на 80% при том же бюджете на попытку. Мы оцениваем восемь агентов в Full и девять в Lite. Индекс TCSExam объединяет все четыре трека: GPT-6 Astra лидирует Full (71,9), а Opus 5.5 лидирует Lite (72,3). Рейтинги Full и Lite строго согласованы между восемью общими агентами ($ρ=0.93$ от Spearman), поддерживая Lite как компактный и различительный эталон. Оценки приводят к улучшению результатов решателя и математических конструкций, а также к независимо проверенным особым случаям и границам из попыток открытых гипотез. TCSExam предоставляет расширяемую среду с источниками задач, рецептами сборки Docker и инструментами оценки для воспроизводимого использования.
## В чем суть открытия TCSExam — это комплексное эталонное тестирование моделей искусственного интеллекта в четырех областях теоретической информатики: доказательство теорем, разработка решателей, математические конструкции и разрешение открытых гипотез. ## Как это устроено: принцип работы TCSExam оценивает модели по 100 проверенным экспертами задачам, включая доказательство теорем Lean 4, оптимизацию исполняемых алгоритмов, построение объектов и разрешение гипотез. Каждый вывод ИИ программно проверяется ядром Lean или исполняемыми программами проверки, чтобы гарантировать формальную корректность. ## Что это меняет на практике Предоставляет разработчикам моделей объективную, защищенную от несанкционированного доступа испытательную площадку для измерения подлинных математических рассуждений и разработки алгоритмов, ускоряя автоматизированные инструменты научных открытий в течение следующих 1–3 лет. ## Границы метода и риски Открытые оценки гипотез рискуют заразить данные, если модели получают онлайн-доказательства, а доказательство теорем остается строго узким местом из-за отсутствия промежуточных указаний по леммам. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** TCSExam Index (30P + 30S + 30C + 10O), Theorem Proving Success Rate (%), Relative Solver Score (%), Construction Score (%) - **Размер выборки / валидация:** N = 100 expert-reviewed tasks (Full suite), 20 tasks (Lite suite); evaluated across 9 frontier LLM agents - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)