robotics_embodied · 2026-11-18
Роботы научились мгновенно предвидеть будущее в собственном воображении без отрисовки тяжелых видеокадров
Мы представляем $Z$-sight, унифицированную базовую модель робота, которая сочетает в себе видение-язык-действие (VLA) и генеративное моделирование скрытого мира. Модели мировых действий на основе видео (WAM) демонстрируют ценность совместной генерации будущего и действий для контроля, но унаследовали высокую стоимость видеогенераторов. Недавние политики скрытого пространства избегают генерации пикселей, но обычно выравнивают промежуточные функции или полагаются на замороженные целевые кодировщики, отделяя будущие прогнозы от собственного пространства функций VLM. Вместо этого $Z$-sight предсказывает будущее непосредственно в пространстве визуальных токенов, в котором его VLM воспринимает настоящее. Объединяя эксперта по прогнозированию и эксперта по непрерывному действию с VLM в смеси преобразователей, $Z$-sight совместно удаляет шумы из будущих пространственных токенов и действий при выводе без реконструкции пикселей или внешних кодировщиков. Обученный на видео человека и траекториях робота, $Z$-sight достигает успеха 81.9% в SIMPLE (+9,6 балла по сравнению с самым сильным базовым показателем) и 73.3% в шести задачах Unitree G1 (+20,0 балла) со скоростью 110 мс на фрагмент, оставаясь при этом конкурентоспособным в настольных тестах.
## В чем суть открытия
Десятилетиями робототехника балансировала между двумя концептуальными крайностями. С одной стороны, классические мультимодальные модели действия принимают текущий кадр с камеры и напрямую рассчитывают траекторию моторов. Подобная реактивная стратегия работает быстро, но страдает фундаментальной «близорукостью»: малейшее смещение объекта или непредвиденный толчок оборачиваются фатальным промахом, поскольку алгоритм лишен внутреннего представления о физических последствиях своего вмешательства. С другой стороны, появившиеся генеративные модели мира попытались наделить машины полноценным воображением, заставив их покадрово генерировать видеоролики будущего. Однако попиксельный рендеринг требует колоссальных вычислительных мощностей и порождает секундные задержки, несовместимые с выживанием робота в реальном времени.
Архитектура Z-sight разрешает эту дилемму элегантным теоретическим кульбитом. Исследователи отказались от синтеза пикселей и связали контур предвидения с нативным пространством признаков, в котором зрительная модель воспринимает окружающий мир. Робот строит образ грядущего не в виде цветных картинок, а в виде компактных пространственных векторов, при этом блок моторики считывает формирующийся прогноз непосредственно в процессе его генерации.
## Как это устроено: принцип работы
В основе системы лежит симбиоз зрительно-языкового ядра и двух специализированных модулей: эксперта предвидения и эксперта непрерывного действия. Вся конструкция объединена по принципу смеси трансформеров с изолированными градиентными потоками, что предотвращает деградацию базовых представлений.
Когда робот получает задачу, визуальный кодировщик превращает поток наблюдений во внутренние пространственные токены. Эксперт предвидения получает зашумленный вектор будущих признаков и с помощью метода согласования потоков восстанавливает чистое состояние сцены через несколько мгновений. В качестве динамического ориентира выступает учительская копия кодировщика с экспоненциальным скользящим средним. Ключевая механика заключается в том, что эксперт моторики не ждет полной готовности визуального прогноза: он одновременно очищает от шума траектории суставов, подглядывая за еще только кристаллизующимся предвидением будущего. Обе ветви сходятся к согласованному решению всего за десять совместных шагов численного интегрирования.
## Результаты и доказательства
Экспериментальная проверка охватила комплексное моделирование гуманоидной локомоции и физические испы
brain_bci · 2026-11-19
Хронологический возраст остается важным фактором при принятии нейрохирургических решений; однако возрастной порог, используемый для определения пациентов как «пожилых», менялся с течением времени, в зависимости от географических регионов и
biomedicine_health · 2026-11-19
Аутофагия — это консервативный катаболический процесс, при котором внутриклеточные компоненты и дисфункциональные органеллы разрушаются лизосомальными ферментами и возвращаются обратно в цитоплазму. Хотя базальная аутофагия активна во всех
computing_infrastructure · 2026-11-18
Анализ спецификаций извлекает временные правила, которые описывают отношения между событиями в записанных системных трассировках. Применять эти правила в распределенных системах мониторинга сложнее, поскольку наблюдения поступают с разных у
brain_bci · 2026-11-18
When a capable model and a human reviewer cooperate on the same decision, which human still adds value? We argue this is a question about a single cognitive trait, metacognitive calibration: the alignment between a reviewer's behavioral con
biotech_bioengineering · 2026-11-18
Обогащение имеет решающее значение для благополучия животных в неволе. Социальное обогащение имеет особое значение для социальных животных, которые из-за лабораторного пространства или протоколов не содержатся в больших группах. Целью нашег
brain_bci · 2026-11-18
Изучить продольную связь между моделями двигательного поведения в раннем возрасте и позднее клинически диагностированным ожирением. В популяционную когорту «Все дети на юго-востоке Швеции» (ABIS) после согласия было включено 16 415 детей. Д
biomedicine_health · 2026-11-18
Сравнить кардиоренальные исходы и показатели смертности, связанные с началом применения ингибиторов натрий-глюкозного котранспортера-2 (SGLT2) и метформина в качестве сахароснижающей терапии первой линии среди новых пользователей с диабетом
biomedicine_health · 2026-11-18
Асептическое расшатывание остается серьезной проблемой при тотальном эндопротезировании тазобедренного сустава (ТАТ), вызванной в первую очередь износом полиэтилена (ПЭ) и окислительной деградацией. Новая чашка, исследованная в этом исследо
biotech_bioengineering · 2026-11-18
Прогнозирование содержания РНК и белка в клетках по обычным изображениям H&E может расширить пространственное молекулярное профилирование до существующих архивов слайдов. Однако парные наборы данных как H&E-пространственной протеомики, так
robotics_embodied · 2026-11-18
Нейронные сети, обученные одной и той же задаче, развивают связанные структуры весового пространства, но остаются различимыми после обучения. Отражают ли эти различия просто альтернативные решения или сохраняют информацию об индивидуальной
brain_bci · 2026-11-18
Человеческое зрение и видеостереосети повторно используют доказательства несоответствия во времени, однако обновление входных данных может сделать недействительным совпадение, сформированное миллисекундами ранее. Что сообщает системе, учиты
climate_earth · 2026-11-18
В рамках теории аккреции ядра газовые гиганты приобретают большую часть своей массы за счет аккреционных толчков во время безудержной газовой аккреции. Ударная термодинамика, управляемая радиационным охлаждением, историей аккреции и уравнен
space_astrophysics · 2026-11-18
Мы представляем расширение теоретического формализма функции размера пустоты (VSF) для включения фотометрических неопределенностей красного смещения, сочетая набор отклонений с теорией лагранжевых пиков плотности. Фотометрическое рассеяние
biomedicine_health · 2026-11-18
Старение — это многомерный процесс, характеризующийся прогрессирующим функциональным снижением в физиологической, когнитивной и поведенческой сферах. В то время как системы мониторинга в домашних условиях (HCMS) предлагают беспрецедентные в
space_astrophysics · 2026-11-18
Мы обучаем сверточную сеть сферических графов для вывода отношения тензора к скаляру $r$ непосредственно из карт многочастотного космического микроволнового фона (CMB) в режиме $B$ на разрезанном небе. Мы тестируем сеть на моделировании обы