Зачем биологам сложные пакеты, если чистая геометрия языковых моделей решает задачу точнее и быстрее
Агенты ИИ все чаще автоматизируют анализ данных, но ответственное внедрение требует надежной оценки производительности, что является дорогостоящим в специализированных научных областях. Мы представляем структуру, которая преобразует научные публикации в проверяемые тесты для агентов ИИ и демонстрируем ее использование в задачах пространственной транскриптомики. В 121 задаче, 16 базовых методах и шести агентах ИИ лучшие агенты (GPT-6-Astra и Gemini-4-Argon) совпали или превзошли все базовые показатели задач 80%, часто используя удивительно простую эвристику. Производительность агента была устойчивой к запросам и доступу к предварительно установленным пакетам. Построение эталонного теста также выявило ошибки в предыдущей работе и недостатки в текущих показателях оценки. Наконец, мы показываем, что решения, сгенерированные агентами, могут быть преобразованы в программу многократного использования, которая входит в число лучших 10% среди базовых методов работы с невидимыми данными. Наша структура предлагает масштабируемый способ оценки агентов ИИ в специализированных научных областях путем использования и стресс-тестирования существующих статей и показателей.
## В чем суть открытия Себе, что вы собираете перетасованную книгу не путем расшифровки непонятного жаргона, а путем сопоставления бумажных контуров с простой геометрией. Агенты искусственного интеллекта регистрируют срезы клеточной ткани, исходя из основных геометрических принципов, а не полагаются на тяжелые наборы биологических инструментов. ## Как это устроено: принцип работы Конвейер Paper2Bench преобразует опубликованные статьи по пространственной транскриптомике в герметично запечатанные контейнеры Singularity со строго дезинфицированными входными данными. Лишенные специализированных пакетов, пограничные агенты используют итеративные циклы, сочетающие аффинный поиск, сопоставление ближайших соседей и деформацию кубического B-сплайна с перекрестной проверкой с самоконтролем. Апостериорная дистилляция извлекает эти сходящиеся траектории в один детерминированный сценарий из 1400 строк, который выполняется за секунды. ## Что это меняет на практике Предоставляет автоматизированный проект для превращения опубликованных научных тестов в защищенные от утечек агентские песочницы, а также предлагает исследователям бесплатные детерминированные алгоритмы выравнивания, полученные на основе следов рассуждений агентов. ## Границы метода и риски Текущая оценка опирается на прокси-метрики, когда основные координаты отсутствуют, когда корреляция выражений не может наказать за неправильное размещение ячеек. Кроме того, производительность дистиллированных конвейеров снижается (вплоть до коэффициента выигрыша 30%) из-за геометрии синтетических тканей вне распределения. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Mean Absolute Error (MAE), Label Matching Accuracy, Alpha-Shape Region Overlap (IoU), MNN Label Concordance, Gene Pearson Correlation, Cosine Similarity, SSIM - **Размер выборки / валидация:** N = 121 tasks, 19 datasets, 16 baseline methods (13 packages, 3 geometric), 6 frontier LLM agents, 2,521 scored runs - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)