ai_frontier · 2026-11-03
Перепрофилирование видеогенераторов сокращает сложность управления роботами и обеспечивает беспрепятственное соединение действий человека и машины
Изучение универсального представления действия по видео требует моделирования динамики, которая одинакова для разных исполнений одного и того же действия, но инвариантна к изменениям в воплощении и внешнем виде. Существующие модели скрытых действий выводят действия из визуальных переходов, но их представления часто запутывают основное действие нерелевантными визуальными вариациями, ограничивая перенос между вариантами реализации. Мы представляем DreamX, который перепрофилирует предварительно обученную модель распространения видео в универсальный обучающий модуль скрытого действия. Наш подход извлекает компактные скрытые действия из богатых пространственно-временных функций видеомодели, сжимая каждый скрытый видеокадр с помощью $\boldsymbol{300\times}$ (токены $\boldsymbol{1{,}200 \rightarrow 4}$). Кроме того, за счет использования генеративного априора видеомодели эти скрытые действия улавливают релевантную для действия динамику, отделенную от визуального внешнего вида. Получающееся в результате скрытое пространство служит общим интерфейсом действий для различных вариантов реализации (человека и робота), окружающей среды и параметризации действий. На LARY-Bench DreamX достигает высочайшей производительности среди моделей скрытого действия. Более того, действия, закодированные в одном параметре, остаются эффективными в другом: скрытое пространство поддерживает передачу видео «любой к любому» и передачу действий с нулевым кадром в различных вариантах реализации и средах. Кроме того, этот общий интерфейс также позволяет изучать политику в компактном пространстве скрытых действий, снижая вычислительные затраты на политики, основанные на распространении видео.
## В чем суть открытия
DreamX перепрофилирует модели генерации видео для изучения универсальных моделей движений, позволяя роботам повторять действия в разных средах и типах телосложения, не отвлекаясь на визуальный фон.
## Как это устроено: принцип работы
DreamX извлекает компактные представления скрытых действий из богатых пространственно-временных функций в рамках предварительно обученных моделей распространения видео. Сжимая представления кадров с 1200 до всего лишь 4 токенов (уменьшение в 300 раз) он изолирует основную динамику движения от поверхностного визуального внешнего вида. Это общее скрытое пространство действует как интерфейс действий, не зависящий от воплощения, соединяющий людей и роботов.
## Что это меняет на практике
Обеспечивает нулевое обучение политике в отношении роботов с разными вариантами реализации непосредственно на демонстрационных видео с участием людей, что значительно снижает накладные расходы на сбор данных и вычислительные затраты для развертывания роботов в течение 1–3 лет.
## Границы метода и риски
Предварительно обученные модели видеодиффузии требуют значительного объема памяти во время вывода, а качество скрытого действия остается ограниченным способностью лежащего в основе генеративного приора моделировать точную физику и мелкозернистый контакт.
## Результаты и доказательства
- **Комплексный скор значимости:** 9.5 / 10.0
- **Уровень доказательности:** программный бенчмарк и верификация
- **Бенчмарки и прирост:** 300x compression (1,200 -> 4 tokens/frame), State-of-the-Art on LARY-Bench, zero-shot action transfer across embodiments.
- **Размер выборки / валидация:** N = LARY-Bench benchmark dataset
quantum_physics · 2026-11-18
Аннотация: Современная цифровая инфраструктура сталкивается с системным комплексным кризисом по трем фундаментальным векторам: вероятностная ловушка ИИ (стохастические модели с галлюцинациями и катастрофическим потреблением энергии), уязвим
ai_frontier · 2026-11-18
Abstract Background Children with cerebral palsy (CP) exhibit substantially elevated energetic costs of walking, yet the biomechanical origins of this excessive cost remain unclear, limiting the effectiveness of current interventions. Metho
ai_frontier · 2026-11-18
Детекторы Шиллинга для рекомендательных систем почти всегда оцениваются по одному числу — обнаружению AUROC, без учета того, когда ему можно доверять. Мы проверяем обнаружение пространства представления с помощью VEIL (Вариационная оценка п
brain_bci · 2026-11-18
Монреальская когнитивная оценка (MoCA) широко используется в исследованиях болезни Паркинсона (БП) для измерения когнитивных функций, но опубликованные пороговые значения для легких когнитивных нарушений (PD-MCI) и деменции (PDD) различаютс
brain_bci · 2026-11-18
Компьютеризированная когнитивная тренировка (CCT) направлена на смягчение снижения когнитивных функций при субъективном снижении когнитивных функций (SCD) и легких когнитивных нарушениях (MCI). Однако соблюдение требований и долгосрочное
brain_bci · 2026-11-18
Изучить этническое неравенство в результатах найма и представительстве рабочей силы среди медсестер и акушерок в разных диапазонах оплаты, а также оценить, могут ли регулярно собираемые административные данные генерировать воспроизводимые п
biomedicine_health · 2026-11-18
Это обновление ранее опубликованного обзора. Женщины с бесплодием могут использовать дополнительные методы лечения для улучшения репродуктивных результатов. Мио-инозитол и D-хиро-инозитол — это широко доступные пищевые добавки, которые обыч
biomedicine_health · 2026-11-18
Имеглимин — противодиабетический препарат на основе метформина, который улучшает гликемию за счет оптимизации функции митохондрий. Данные свидетельствуют о том, что он повышает эффективность митохондрий и сохраняет массу β-клеток поджелудоч
brain_bci · 2026-11-18
Несмотря на наблюдаемые преимущества современных методов лечения, у людей, живущих со спинальной мышечной атрофией (СМА), сохраняются некоторые тяжелые симптомы. Усталость постоянно указывается сообществом СМА как главная неудовлетворенная
biomedicine_health · 2026-11-18
In reproductive-aged women with polycystic ovary syndrome, overweight or obesity exacerbates metabolic and reproductive risks; lifestyle interventions and metformin have limited weight-loss effects, and more effective pharmacological weight
biotech_bioengineering · 2026-11-18
Геномный отбор стал мощным инструментом для ускорения генетического улучшения в селекции животных, однако его более широкое применение часто ограничивается высокими затратами на генотипирование и снижением надежности прогнозирования среди п
biotech_bioengineering · 2026-11-18
Osteoglossidae, одна из самых древних пресноводных рыб, демонстрирующая трансконтинентальную дизъюнкцию, дает важную информацию о ранней эволюции костистых рыб и исторической биогеографии. Используя интегрированные стратегии секвенирования,
biotech_bioengineering · 2026-11-18
Фертильность молока сильно влияет на устойчивость фермы, поскольку молодых коров приходится выращивать в течение многих месяцев, прежде чем они начнут давать молоко. Возраст начала обслуживания (AFS) является ключевым фактором репродуктивно
biomedicine_health · 2026-11-18
Понимание движущих сил, лежащих в основе половых различий в продолжительности жизни, может дать ценную информацию об эволюции продолжительности жизни в целом. Однако сравнительные исследования, выявляющие эти факторы у беспозвоночных, остаю
ai_frontier · 2026-11-18
Травматическая оптическая нейропатия (ТОН) является основной причиной необратимой потери зрения после тупой черепно-мозговой травмы, однако отсутствие клинически значимых моделей на крупных животных, которые точно повторяют человеческий ТОН