Скрытые коридоры решений: как домашние батареи учатся экономить без риска для сети
Интеграция возобновляемых источников энергии в жилые микросети создает эксплуатационные проблемы, связанные с прерывистостью, волатильностью цен на электроэнергию и прогрессирующей деградацией аккумуляторных систем хранения. Обучение с подкреплением стало многообещающим подходом к планированию работы батареи, однако многие существующие методы остаются уязвимыми для действий, которые выходят за рамки данных обучения и часто плохо обобщаются в разных режимах работы. В этой работе предлагается автономная структура обучения с подкреплением, которая сочетает в себе условный вариационный автокодировщик с априорами скрытых действий, чтобы ограничить оптимизацию политики структурированным пространством скрытых действий, полученным на основе экспертных демонстраций, созданных энтропийно-регуляризованными и детерминированными контроллерами-актёрами-критиками. Предлагаемая методика состоит из трёх этапов: первый — обучение скрытому представлению допустимых действий батареи из экспертных траекторий через условно-вариационный автоэнкодер; во-вторых, извлечение автономной политики из изученного скрытого многообразия посредством неявного улучшения политики, основанной на ценностях; и, в-третьих, развертывание механизма обнаружения выхода из-под распределения, который постепенно объединяет обученный контроллер с консервативной резервной политикой в условиях неопределенности распределения. Эксперименты с тестом GEFCom2014, сценарием StoreNet House 4 и средой CityLearn показывают, что предлагаемый метод обеспечивает самую высокую ежедневную чистую выгоду среди контроллеров, основанных на стоимости и автономных контроллерах, с улучшениями до 61.9% по сравнению с глубоким Q-обучением и 7.9% по сравнению со стандартной моделью прогнозирующего управления в GEFCom2014. Кроме того, этот метод сходится значительно быстрее, чем конкурирующие базовые методы, что требует до девяти раз меньше времени на обучение в CityLearn. В то же время результаты показывают, что этот подход не доминирует единообразно во всех источниках: при сравнении политики на основе CityLearn глубокие детерминистические градиенты политики достигают более низких денежных затрат, а в стандартных тестах непрерывного контроля проксимальная оптимизация политики и двойные отложенные детерминистические градиенты политики превосходят предлагаемый метод по конкретным показателям в выбранных средах. Исследования абляции также показывают, что разнообразие наборов экспертных данных и охват редких событий имеют важное знач
## В чем суть открытия Почему если навредить ИИ, заключив его решения в ограниченных скрытых границах, домашние батареи прослужат намного дольше и значительно сократят счета за электроэнергию? ## Как это устроено: принцип работы Платформа обучает условный вариационный автокодировщик на экспертных траекториях от контроллеров-актеров-критиков, чтобы сжать безопасные действия по зарядке и разрядке батареи в низкоразмерное многообразие. Политика автономного обучения с подкреплением оптимизирует графики строго в пределах этого скрытого пространства, используя неявное улучшение ценности. При возникновении новых ценовых или погодных аномалий детектор отсутствия распределения плавно объединяет контроллер с консервативной резервной политикой. ## Что это меняет на практике Позволяет менеджерам жилых микросетей и шлюзам умного дома оптимизировать хранение аккумуляторов с учетом колебаний цен на электроэнергию и износа аккумуляторов без опасного живого исследования методом проб и ошибок. ## Границы метода и риски Производительность во многом зависит от разнообразия демонстрационных наборов данных и учета редкой волатильности сетки. В CityLearn DDPG обеспечивает более низкие общие денежные затраты, а PPO и TD3 превосходят по некоторым показателям непрерывного контроля. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Ежедневная чистая выгода (\$/день), время конвергенции обучения, денежные эксплуатационные расходы - **Размер выборки / валидация:** N = 3 simulation benchmarks (GEFCom2014, StoreNet House 4, CityLearn)