Как научить автономные системы распознавать совершенно незнакомые дорожные препятствия на ходу
Роботы должны иметь возможность понимать свое окружение, чтобы работать безопасно и надежно, а также взаимодействовать с окружающей средой. Роботы, используемые в неограниченных сценариях реального мира, должны дополнительно иметь возможность справляться с новыми ситуациями и объектами, которые никогда раньше не наблюдались. В этой статье мы решаем проблему паноптической сегментации открытого мира, то есть задачу обнаружения новых семантических категорий и новых экземпляров объектов во время тестирования, обеспечивая при этом согласованность между категориями, которые мы постепенно обнаруживаем. Мы представляем Con2MAV, общий метод паноптической сегментации открытого мира. Эксперименты с широким спектром наборов данных, от дорожных сцен до подводной среды, подчеркивают его убедительные возможности в сегментации открытого мира и его конкурентоспособность в известных классах. После принятия мы откроем исходный код реализации нашего подхода. Кроме того, мы предлагаем PANIC (Panoptic AN omalies In Context), эталон для оценки задач сегментации открытого мира в сценариях автономного вождения. Этот набор данных, записанный с помощью мультимодального набора датчиков, установленного на автомобиле, а затем аннотированный вручную, обеспечивает высококачественные попиксельные аннотации аномальных объектов как на семантическом уровне, так и на уровне экземпляров. PANIC содержит 800 изображений, более 50 неизвестных классов, то есть классов, которые не появляются в обучающем наборе, и более 4000 экземпляров объектов, обеспечивая комплексный эталон для оценки методов сегментации открытого мира в сценариях автономного вождения. Мы проводим соревнования по нескольким задачам сегментации открытого мира на скрытом тестовом наборе. Наш набор данных и конкурсы доступны по адресу https://www.ipb.uni-bonn.de/data/panic.
## В чем суть открытия Себе, что вы идете по чужому лесу: вы узнаете знакомые деревья, но, сталкиваясь с незнакомыми растениями, последовательно обрисовываете их точные формы и группируете похожие чужеродные виды вместе, не сбивая их с толку. ## Как это устроено: принцип работы Система изолирует области изображения, которые отклоняются от известных обучающих распределений, и генерирует семантические маски и маски экземпляров с точностью до пикселя для новых объектов. Затем механизм инкрементной кластеризации обеспечивает согласованность категорий во время тестирования, гарантируя, что вновь обнаруженные типы объектов сохраняют стабильные идентификаторы в последовательных визуальных кадрах. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Pixel-wise panoptic segmentation quality, semantic and instance-level anomaly segmentation, incremental category consistency - **Размер выборки / валидация:** N = 800 multi-modal images, >50 unknown classes, >4,000 annotated object instances - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода) ## Что это меняет на практике Позволяет автономным автомобилям, роботам-доставщикам и морским инспекционным дронам безопасно выявлять, избегать и каталогизировать немоделированные физические опасности, не вызывая катастрофических нарушений восприятия. ## Границы метода и риски Набор оценочных данных ограничен 800 аннотированными кадрами, а поддержание категориальной согласованности во время тестирования приводит к задержке вычислений при динамических перекрытиях и резких изменениях освещения.