Мультимодальный ИИ научился запоминать прошлые визуальные задачи и точнее управлять программами
Мультимодальные модели большого языка (MLLM) добились быстрого прогресса в области визуального мышления, однако многие задачи требуют доказательств, которые трудно получить только с помощью внутренних рассуждений: наше контролируемое исследование 22 тестов показывает, что простое увеличение бюджета вывода базовой модели дает лишь скромные результаты. Такие задачи требуют обоснованного восприятия, внешних знаний и численных измерений, полученных с помощью разнородных инструментов, результаты которых должны быть интерпретируемы моделью и сохраняться на всех этапах рассуждения. Мы представляем OpenVLHarness, мультимодальную систему рассуждений, организованную вокруг уровня возможностей и постоянной мультимодальной памяти. Уровень возможностей сочетает в себе интерфейсы инструментов уровня задач с рендерингом фактических данных, обеспечивая согласованный доступ к разнородным бэкэндам и преобразуя их выходные данные в читаемые моделью наблюдения. Постоянная мультимодальная память сохраняет соответствующие изображения, структурированные данные и веб-ссылки в качестве адресуемых артефактов на протяжении каждого запроса. Интерфейс кодирования выполняет сгенерированные программы над сохраненными данными, позволяя выполнять вычисления, объединяющие результаты нескольких инструментов. Вместе эти механизмы поддерживают итеративный процесс получения, проверки и составления мультимодальных доказательств. Оцененный по 22 тестам с восемью открытыми и проприетарными магистралями, OpenVLHarness улучшает средние показатели на 9,7–12,6 балла по сравнению с соответствующими базовыми показателями без использования инструментов, включая +11,2 с Qwen3-VL-8B, +9,7 с Kimi K3 и +9,9 с GPT-6 Astra. С GPT-6 Luna при средних усилиях по рассуждению OpenVLHarness превосходит базовую модель, Codex и Visual Sketchpad при максимальных усилиях на 7,7–8,5 баллов, при этом неся максимум 37% стоимости токена модели.
## В чем суть открытия Почему вычисления масштабируемого вывода терпят неудачу при сложных визуальных рассуждениях и как постоянная мультимодальная память может превзойти лучшие? ## Как это устроено: принцип работы Такие задачи требуют обоснованного восприятия, внешних знаний и численных измерений, полученных с помощью разнородных инструментов, результаты которых должны быть интерпретируемы моделью и сохраняться на всех этапах рассуждения. Мы представляем OpenVLHarness, мультимодальную систему рассуждений, организованную вокруг уровня возможностей и постоянной мультимодальной памяти. ## Что это меняет на практике Обеспечивает надежный автоматизированный визуальный контроль, анализ научных данных и мультимодальные веб-исследования, обеспечивая превосходную производительность по сравнению с базовыми показателями максимальных усилий и одновременно сокращая затраты на токены до 63%. ## Границы метода и риски Требуются надежные внешние инструменты и эффективный рендеринг доказательств. Повышение производительности зависит от встроенных в базовую основу MLLM возможностей генерации программ и рассуждений. ## Результаты и доказательства - **Комплексный скор значимости:** 8.5 / 10.0 - **Уровень доказательности:** Теоретическое обоснование