Почему дроны годами проваливали простые команды пилота и как физики наконец научили их ювелирным маневрам
Навигация БПЛА с языковым управлением в основном сосредоточена на планировании маршрутов на большие расстояния, оставляя малоизученными маневры полета на короткие расстояния с учетом объекта. Чтобы устранить этот пробел, мы сформулировали задачу «Полет по слову» (Flow), требующую от БПЛА преобразования кратких инструкций на естественном языке, эгоцентрического визуального наблюдения и динамики текущего состояния в непрерывные полетные действия. Поток включает в себя как примитивные команды движения, так и сложное интерактивное поведение объектов, оценивая понимание намерения движения и обоснование пространственного контекста. Чтобы обеспечить изучение политики и замкнутую оценку, мы представляем UAV-Flow, комплексный набор данных, включающий 30 692 пилотируемые экспертами реальные траектории по восьми различным категориям движения, а также 10 109 траекторий моделирования в среде UAV-Flow-Sim, оснащенных критериями завершения для конкретных задач. Кроме того, мы разрабатываем FlowVLA, который проходит имитационное предварительное обучение на смешанных демонстрациях в реальном времени и онлайн-постобучение с помощью Tail-Aware GRPO (TGRPO). Используя групповое распределение вознаграждений, TGRPO эффективно усиливает последовательность действий с высоким вознаграждением. Оцененный на 273 заданных эпизодах UAV-Flow-Sim, предварительно обученный FlowVLA достигает среднего показателя успеха 75.58%, превосходя самый сильный базовый уровень на 6,72 процентных пункта, который после обучения TGRPO дополнительно повышает до 93.16% с превосходной эффективностью выборки. Физические эксперименты с БПЛА демонстрируют надежное выполнение объектно-зависимых команд как в помещении, так и на открытом воздухе в реальных сценах. Вместе Flow устанавливает новый эталон и систему обучения пилотажным маневрам с языковым регулированием.
## В чем суть открытия Сказать дрону «обогните дерево слева» — это все равно, что тренировать гимнаста голосом: вместо построения GPS-карт дрон должен мгновенно увидеть препятствие, почувствовать его импульс и плавно объехать его. ## Как это устроено: принцип работы FlowVLA объединяет мультимодальную магистраль визуального языка с декодером запросов действий, который преобразует эгоцентрические кадры камеры, локальную телеметрию с 6 степенями свободы и языковые токены в непрерывные двухсекундные фрагменты действий по позиционированию и рысканию. Он предварительно обучается на 20 000 смешанных реальных и смоделированных траекториях, а затем оптимизируется с помощью групповой относительной политики с учетом хвоста (TGRPO), которая вычисляет веса преимуществ из хвоста группового вознаграждения, чтобы сильно вознаграждать редкие и безупречные преодоления препятствий. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Success Rate: 93.16%, NDTW: 0.424, Task Completion Score up to 1.000 - **Размер выборки / валидация:** N = 30,692 real-world expert trajectories (100+ hours), 10,109 simulation trajectories, 273 held-out test episodes - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода) ## Что это меняет на практике Обеспечивает управление тактическим дроном без помощи рук, поисково-спасательные проверки с близкого расстояния и воздушную кинематографию, когда пилоты дают команды на естественном языке, такие как «кружить по машине» или «зависать над мостом», без ручных джойстиков. ## Границы метода и риски Опирается на вычисления наземной станции по беспроводной телеметрии из-за ограничений встроенных вычислений, создает уязвимость к задержке во время потери пакетов и демонстрирует незначительное снижение производительности при выполнении задач, не требующих точной настройки обучения с подкреплением.