Умный выбор первых кадров: как зрение больших сетей спасает разметчиков от монотонного труда
При обнаружении активных объектов выбор начального пула с метками имеет важное значение, особенно в сложных наборах данных с дорогостоящей маркировкой и небольшим бюджетом ресурсов. В этом исследовании представлена структура активного обучения, предназначенная для оптимизации начального цикла активного обучения для задачи обнаружения объектов. Наш подход отличается от традиционных методов за счет использования кластеризации на основе признаков из модели YOLO-World и уточнения изображений на основе оценок объектности, а не использования выборки неопределенности в начальном цикле. Этот подход фокусируется на поиске образцов с различными характеристиками и уделяет особое внимание обучению в тех областях, где базовая модель наиболее надежна. Это помогает модели лучше понимать различные типы объектов. Для последующих циклов мы используем метод выборки на основе согласованности, чтобы поддерживать надежность процесса обучения. Чтобы оценить наш метод, мы используем два сложных набора данных под названием «Аквариум» и NWPU VHR-10, которые хорошо известны своими объектами различных размеров и сложными условиями. В наборе данных NWPU наш метод увеличивает mAP50 в среднем на 6.6% при оценке на основе изображений. Более того, метод уточнения изображения показывает улучшение оценки на основе объектов примерно на 11%. Результаты показывают улучшение производительности модели и сокращения времени маркировки, демонстрируя преимущества использования базовых моделей на ранних циклах активного обучения. Реализация алгоритма доступна по адресу https://github.com/Mhrshd-fllh/ALBoost-FM.
## В чем суть открытия Десятилетиями парадигма активного машинного обучения в компьютерном зрении опиралась на парадокс слепого старта. Чтобы алгоритм мог самостоятельно запрашивать у человека разметку самых информативных изображений, ему требовалась начальная обученная модель, способная измерять собственную неуверенность. Однако в нулевом цикле, когда размеченных данных нет вовсе, исследователи неизменно прибегали к тривиальной случайной выборке. В сложных прикладных задачах — от анализа спутниковых снимков до подводной робототехники — случайный посев оборачивался катастрофой: бюджет тратился на километры однородного морского дна или пустые взлетные полосы, а редкие классы объектов выпадали из обучающего пула. Несбалансированный старт порождал системную предвзятость, которую сеть не могла преодолеть на протяжении десятков последующих итераций. Исследовательская группа предложила преодолеть проблему холодного пуска с помощью неизведанного потенциала открытых базовых моделей. Вместо того чтобы полагаться на случайный жребий, авторы задействовали глубокие семантические репрезентации и оценки вероятности наличия объектов, извлекаемые без участия человека, чтобы превратить стартовый цикл в хирургически точную селекцию обучающего материала. ## Как это устроено: принцип работы Архитектура решения разворачивается в четыре последовательных этапа. Сначала вся неразмеченная коллекция изображений пропускается через визуальный остов мультимодальной базовой модели, обогащенный текстовыми подсказками с именами целевых классов. Модуль пирамидального внимания извлекает многомасштабные карты признаков для каждого локального региона кадра. Далее алгоритм кластеризации группирует эти визуальные паттерны, создавая топографическую карту семантического разнообразия всего массива. Ключевая математическая находка авторов заключается в анализе частотного вектора кластеров внутри каждого кадра. Алгоритм рассчитывает стандартное отклонение представленности признаков: чем ниже дисперсия, тем более сбалансированно и равномерно снимок насыщен различными типами объектов. Применяя функцию Softmax к отрицательным значениям стандартных отклонений, система итеративно отбирает изображения, которые максимизируют общее разнообразие уже сформированного обучающего пула. Завершает процесс механизм координатной фильтрации. Каждое выбранное изображение делится на квадранты, где вычисляется средний балл вероятности присутствия объектов. Сектора, чья оценка оказывается ниже среднего значения по