Зрительный тупик искусственного интеллекта: как облачное сжатие лишает нейросети зрения на сверхчетких снимках
Онлайн-модели на языке видения часто упускают мелкие детали в больших изображениях, потому что сервис сжимает изображение или отклоняет его еще до того, как модель его увидит. Автомобиль шириной 20 пикселей на фотографии с дрона размером 8000 на 6000 достигает ширины Клода около 6 пикселей, и по умолчанию OpenAI полностью отклоняет фотографию. Мы измеряем, насколько сохранились детали семи моделей от четырех поставщиков, используя визуальную проверку напечатанных кодов и 601 вопрос о небольших объектах на реальных фотографиях. Наименьший текст, который модель читает в половине случаев, увеличивается с 6 пикселей или меньше на маленьком изображении до прогнозируемых 10–13 пикселей на фотографии размером 7680 на 4320 при настройках по умолчанию. Масштабирование возвращает большую часть деталей. Разделение каждой фотографии на девять фрагментов повышает точность на 11,1–14,5 процентных пунктов для Клода и Близнецов, а за счет исключения отклонений повышает GPT-6.1 Sol с 50.7% до 83.7%. Двухэтапное масштабирование, при котором модель сначала называет нужный ей регион, совпадает или превосходит плитки на Близнецах и находится в пределах 2,5 пунктов от них на Клоде, имея около 40% их жетонов изображений. Когда какая-то деталь утеряна, Клод и Близнецы оба говорят, что не могут сказать примерно в половине случаев, но в остальных случаях они терпят неудачу по-разному: Близнецы дают уверенно неправильный ответ в этих случаях от 43% до 48%, Клод - только от 5% до 9%. Проверка на основе размера деталей, выполняемая перед вызовом, упускает большую часть выигрыша от плиток на Клоде и Близнецах, но собственный ответ Клода является надежным триггером: мозаика только после неуверенного ответа находится в пределах 1,4 балла от всегда мозаики с 62% по 70% токенов изображения. Мы превращаем эти выводы в пять правил, определяющих, когда агенту следует масштабировать изображение, и публикуем результаты проверки зрения, каждый ответ модели и код на https://siddvoh.com/know-when-to-zoom.
## В чем суть открытия Индустрия мультимодального машинного обучения годами развивалась под негласным убеждением: если подать на вход современной нейросети гигантскую панораму с камеры наблюдения или спутниковый снимок сверхвысокого разрешения, архитектура трансформера способна разобрать каждую критическую мелочь. Однако в реальной облачной инфраструктуре инженеры столкнулись с загадочным барьером. Модели систематически ошибались при поиске мелких объектов — номерных знаков, удаленных автомобилей или малозаметных меток. Исследователи из Университета Карнеги — Меллона выяснили, что корень проблемы кроется не в архитектурных изъянах самих нейросетей, а во входных интерфейсах коммерческих API. Сервисы незаметно для пользователя уменьшают габариты гигантских кадров или вовсе отбрасывают их с ошибкой еще до того, как пиксели попадают во внимание модели. ## Как это устроено: принцип работы Каждый облачный провайдер квантует изображение на дискретные квадратные блоки — визуальные токены. Когда разрешение исходного снимка превышает установленный лимит, серверная часть автоматически масштабирует полотно с понижением частоты дискретизации. В результате объект размером в двадцать пикселей на снимке восемь тысяч на шесть тысяч превращается в размытый кластер из пяти-шести пикселей. Авторы работы разработали стандартизированную методику оптометрии для нейросетей — цифровую таблицу проверки зрения с синтетическими пятизначными буквенными кодами десяти различных масштабов на фонах переменного разрешения. Это позволило точно вычислить порог читаемости: минимальный размер символа, при котором алгоритм распознает его хотя бы в половине случаев. Чтобы вернуть утраченную зоркость, ученые предложили двухшаговую стратегию: первичный обзорный кадр используется лишь для того, чтобы модель вернула координаты искомой области, после чего система вырезает этот фрагмент из оригинального несжатого файла и отправляет на финальный анализ. ## Результаты и доказательства Эксперименты охватили семь передовых мультимодальных систем двух весовых категорий на шестистах одном реальном вопросе из признанных тестовых наборов для сверхвысокого разрешения, мониторинга и дистанционного зондирования. На стандартном кадре формата восемь тысяч пикселей минимальный порог надежного чтения вырастает с четырех до тринадцати пикселей. Нарезка исходного изображения на регулярную сетку из девяти плиток подняла общую точность распознавания на 11,1–14,5 процентного пункта. Для систем с жестким лимитом вход