Почему гигантские графы знаний не помогают ученым придумывать прорывные гипотезы
Быстрый рост научной литературы затрудняет поиск новых и эффективных идей, особенно в разных дисциплинах. Современные системы ИИ открывают новые возможности для научного мышления, но насколько убедительны идеи, генерируемые ИИ, и как можно улучшить их качество? Здесь мы представляем SCIMUSE, который генерирует персонализированные исследовательские идеи, используя граф знаний из 58 миллионов статей и большую языковую модель (LLM). Основная цель этой работы — понять, насколько интересны эти идеи. Поэтому мы провели крупномасштабную оценку, в ходе которой более 100 руководителей исследовательских групп — от естественных до гуманитарных наук — оценили более 4400 персонализированных идей в зависимости от уровня их интереса. В целом экспертные оценки были скромными (в среднем 2,40 по 5-балльной шкале, наиболее распространенный рейтинг 1), а идеи 24.9% получили оценку 4 или 5. Мы обнаружили, что предоставление пар концепций, выбранных с помощью графика знаний, не повышает интерес, оцененный экспертами, по сравнению с базовым уровнем GPT, состоящим только из заголовков. Пары с высокой цитируемостью даже продемонстрировали слабую тенденцию (1,94 σ) к более низкому интересу, чем случайные пары. Тем не менее, функции графа можно использовать для управления свойствами идей, и, используя этот уникальный набор оценочных данных, мы показываем, что интерес к идеям можно предсказать как с помощью контролируемой нейронной сети, основанной на функциях графа, так и с помощью подхода ранжирования с нулевым шансом, основанного на LLM. Наша работа предоставляет методологию искусственного интеллекта для генерации научных идей и крупномасштабную междисциплинарную экспертную оценку, открывающую путь к изучению и совершенствованию таких трудноизмеримых показателей, как научная интересность, воспринимаемая экспертами.
## В чем суть открытия Себе, что вы создаете атлас из миллионов библиотечных книг, чтобы установить связи между несвязанными понятиями, и обнаруживаете, что опытные ученые предпочитают идеи, которые выдумывает рассказчик после просмотра списков чтения. ## Как это устроено: принцип работы SCIMUSE создает граф знаний на основе 58 миллионов научных статей для извлечения высокопотенциальных междисциплинарных концепций. Он передает эти концептуальные кортежи, полученные на основе графов, вместе с историей публикаций исследователя в большую языковую модель для синтеза персонализированных исследовательских предложений. Нейронная сеть с контролируемым графом и LLM с нулевым ранжированием затем прогнозируют интерес экспертов к фильтрации результатов. ## Что это меняет на практике Предоставляет эмпирическую дорожную карту для автоматизированных платформ научных открытий, направляя инженерные усилия от наивных топологических графов к детальному ранжированию скрытого пространства и персонализированным фильтрам научной значимости. ## Границы метода и риски Общий медианный рейтинг экспертов остается неудовлетворительным (в среднем 2,4/5; режим 1), при этом мосты графа знаний не могут превзойти базовые показатели только для текста, а предикторы цитирования демонстрируют отрицательную корреляцию с искренним интеллектуальным любопытством. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Expert interestingness rating (1-5 Likert scale: mean 2.40, 24.9% rated 4-5, mode 1); citation-predicted pair interest deficit of 1.94 sigma vs random pairs; zero-shot LLM and supervised GNN interest ranking - **Размер выборки / валидация:** N = 100+ research group leaders, 4,400+ evaluated ideas, 58,000,000 papers in knowledge graph - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)