Маскировка целей в движении: как автономные системы обманывают наблюдателей почти без потери эффективности
Все чаще ожидается, что автономные системы будут работать в присутствии противников, хотя злоумышленники могут получить конфиденциальную информацию, просто наблюдая за системой. Таким образом, мы представляем обманную систему последовательного принятия решений, которая не только скрывает конфиденциальную информацию, но и активно вводит в заблуждение противников относительно нее. Мы моделируем автономные системы как марковские процессы принятия решений, в которых злоумышленники используют обратное обучение с подкреплением для восстановления функций вознаграждения. Чтобы противостоять им, мы представляем три стратегии регуляризации для задач синтеза политики, которые активно обманывают противника относительно вознаграждения системы. «Отвлекающий обман» заставляет противника сделать любой ложный вывод о функции вознаграждения системы. «Целевой обман» приводит к тому, что злоумышленник делает определенный ложный вывод о функции вознаграждения системы. «Двусмысленный обман» приводит противника к выводу, что и реальная награда, и ложная награда объясняют поведение системы. Мы показываем, как каждая форма обмана может быть реализована в задачах оптимизации политики, и аналитически ограничиваем потерю общего накопленного вознаграждения, вызванную обманом. Далее мы эмпирически оценим эти события. Мы показываем, что отвлекающий, целенаправленный и двусмысленный обман подталкивает противника к ложным убеждениям, в то же время получая общую накопленную награду, которая составляет примерно от 85% до 99% его оптимального, не вводящего в заблуждение значения.
## В чем суть открытия Десятилетиями в теории управления и робототехнике доминировала аксиома прозрачности: идеальный агент должен двигаться по кратчайшей траектории, безукоризненно минимизируя затраты энергии и времени. Однако распространение методов машинного обучения превратило эту эффективность в уязвимость. Современные наблюдатели способны перехватывать последовательность действий робота и с помощью обратного обучения с подкреплением с высокой точностью реконструировать его скрытые приоритеты и целевые координаты. До недавнего времени защита сводилась либо к пассивной маскировке, либо к хаотическому маневрированию, разрушавшему полезность миссии. Возник концептуальный тупик: попытка сохранить секретность обесценивала саму работу автономной системы. Новое исследование кардинально меняет эту постановку вопроса, переводя оборону из режима пассивного сокрытия в плоскость активной алгоритмической дезинформации. Авторы предложили математический каркас, в котором агент не прячет свое поведение, а сознательно конструирует траекторию так, чтобы наблюдатель неизбежно вычислил ложную целевую функцию. ## Как это устроено: принцип работы В основе предложенного подхода лежит классический марковский процесс принятия решений, расширенный регуляризацией целевого функционала. Когда внешний наблюдатель отслеживает перемещения автономного агента, он решает задачу обратного вывода: пытается подобрать такую функцию полезности, для которой наблюдаемые действия были бы оптимальными. Исследователи математически формализовали три различные стратегии дезориентации. Первая стратегия — отвлекающая дезинформация. Она заставляет сторонний алгоритм прийти к любому произвольному, но гарантированно неверному выводу относительно истинных целей системы. Вторая стратегия — направленный обман, при котором наблюдателя тонко и последовательно подводят к конкретной ложной цели, заранее выбранной оператором системы. Третья стратегия — двусмысленное поведение. Агент формирует такую траекторию, при которой наблюдатель оказывается перед математическим тупиком: наблюдаемые действия с равной вероятностью объясняются как истинной задачей, так и альтернативной фиктивной целью. С точки зрения оптимизации эти стратегии встраиваются в процедуру синтеза политики в виде специализированных регуляризаторов. Это позволяет сбалансировать стремление к выполнению основной задачи с требованием исказить распределение вероятностей в алгоритме наблюдателя. ## Результаты и доказательства Ключевым теоретиче