Исторический контекст и графы вызовов раскрывают скрытый потенциал нейросетей в анализе программного кода
Автоматизированное понимание программ лежит в основе многих задач разработки программного обеспечения, от суммирования кода до обнаружения клонов. Хотя последние модели глубокого обучения показали хорошие результаты, они обычно полагаются только на исходный код и упускают из виду другую информацию, которую разработчики обычно используют для понимания программ, например историю версий или структурные связи. Этот пробел ограничивает способность существующих моделей охватывать более широкий контекст, в котором развивается и работает код. Чтобы решить эту проблему, мы проводим эмпирическое исследование того, как обогащение представлений кода этими дополнительными контекстными сигналами влияет на производительность нейронных моделей при выполнении ключевых задач понимания программы. Мы оцениваем четыре последующих задачи разработки программного обеспечения: обнаружение клонов кода, классификацию кода, обобщение кода и обнаружение уязвимостей, используя SeSaMe (1679 семантически схожих методов Java из 11 проектов с открытым исходным кодом), CodeSearchNet (2117 проектов; 63259 методов в сочетании с документацией на естественном языке) и Vul4J (178 методов, вызывающих уязвимости). Чтобы обеспечить надежное сравнение, мы настраиваем пять основных моделей кода (деревовидные и предварительно обученные архитектуры Transformer), а именно CodeBERT, GraphCodeBERT, CodeT5, PLBART и ASTNN, как с настройками только кода, так и с контекстно-дополненными настройками. Мы далее расширили оценку до семи моделей больших языков, специализирующихся на коде (CodeLlama 7B/13B/34B, Qwen2.5-Coder 1.5B/7B/14B и DeepSeek-Coder 6.7B), сравнивая внедрение контекста на основе подсказок с точно настроенным использованием контекста. Экспериментальные результаты показывают, что контекст улучшает эффективность классификации для всех пяти основных моделей и, после тонкой настройки, для большинства из семи LLM. Подводя итог, можно сказать, что эффект зависит от семейства моделей: история версий улучшает все четыре основные модели по каждой метрике, тогда как контекст, введенный в подсказку LLM, предназначенного только для декодера, помогает двум из семи моделей (Qwen2.5-Coder 7B и 14B, через контекст графа вызовов) и снижает как лексические, так и семантические метрики для остальных пяти. В частности, история версий кодирования никогда не помешает и обычно улучшает обнаружение клонов по пяти основным моделям (вплоть до +15.92% F1 для CodeT5) и обобщение (например, GraphCodeBERT +5.56% METEOR; Cod
## В чем суть открытия Почему подача истории коммитов в git увеличивает точность настроенных моделей кода на двузначные числа, в то же время сбивая с толку большие языковые модели, основанные на подсказках, для решения одной и той же задачи? ## Как это устроено: принцип работы Авторы дополняют кодировщики нейронного кода, включая сигналы окружающего контекста, такие как история коммитов git, возраст метода и зависимости графа вызовов. Контекстные функции вводятся посредством конкатенации в пять точно настроенных базовых моделей и семь больших языковых моделей, предназначенных только для декодера, для выполнения множества задач понимания. ## Что это меняет на практике Ускоряет автоматизированную проверку кода, обнаружение уязвимостей и автоматическое документирование в корпоративных IDE и конвейерах DevOps в течение следующих 1–3 лет за счет интеграции истории репозитория git в нейронные модели. ## Границы метода и риски Внедрение контекста на основе подсказок в ненастроенные LLM, предназначенные только для декодеров, ухудшает лексические и семантические показатели для 5 из 7 моделей, показывая, что само по себе быстрое проектирование не может эффективно обрабатывать плотный структурный контекст. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование