Репортаж от Wedoany，Нью-Йоркский университет совместно с компанией AMI, основанной Янном ЛеКуном, представил последнюю разработку серии JEPA — AdaJEPA, предложив подход к построению модели мира, способной к непрерывному обучению на этапе развертывания.
В отличие от предыдущих моделей мира, параметры которых замораживались после завершения предварительного обучения, AdaJEPA использует механизм адаптации во время тестирования, корректируя параметры кодировщика и предсказателя модели мира в реальном времени в процессе взаимодействия со средой, что обеспечивает непрерывное обучение.
Основной процесс AdaJEPA представляет собой замкнутый цикл: планирование, выполнение, наблюдение, обновление, перепланирование. Система выполняет только первое действие, спланированное с помощью управления на основе модели (MPC), после чего использует следующее состояние, полученное от реальной среды, в качестве сигнала для самообучения, чтобы обновить модель мира в режиме онлайн. Таким образом, модель, используемая в следующем цикле планирования, уже не является замороженной версией, а представляет собой модель, откалиброванную под текущую среду.
Эта идея аналогична архитектуре Dyna в классическом обучении с подкреплением, где модель не обучается один раз, а постоянно корректирует свое понимание среды в процессе реального взаимодействия.
Долгое время модели мира в скрытом пространстве, основанные на подходе JEPA, по умолчанию замораживали параметры после обучения. Весь процесс выглядел так: модель сначала училась сжимать многомерные изображения в скрытое пространство на офлайн-траекториях, а затем предсказывала будущие состояния в этом скрытом пространстве. На этапе тестирования управление на основе модели вызывало эту замороженную модель, «воображая» будущее в скрытом пространстве, оптимизируя последовательность действий и выполняя только первое действие в реальной среде.
Проблема этого метода заключается в том, что при изменении среды замороженная модель мира может давать неточные результаты. При смещении распределения во время тестирования действия, которые в скрытом пространстве кажутся ведущими к цели, в реальной среде могут привести к отклонениям. Поскольку управление на основе модели полагается на краткосрочное планирование, ошибка на одном шаге может усиливаться при последующем развертывании.
Для решения этой проблемы в статье предлагается фреймворк AdaJEPA, ключевая идея которого заключается в том, что модель мира не должна оставаться фиксированной после обучения, а должна, как настоящий развернутый агент, действовать и одновременно калибровать себя с помощью нового опыта.
Цикл AdaJEPA состоит из четырех этапов. Первый этап — планирование: модель кодирует текущее наблюдение в скрытое состояние, использует текущую модель мира для управления на основе модели, разворачивая прогнозы в скрытом пространстве, чтобы найти последовательность действий, наиболее близкую к целевому состоянию. Второй этап — выполнение: модель выполняет только первое действие, после чего реальная среда возвращает следующее наблюдение. Третий этап — обновление: система сохраняет этот реальный переход состояния в онлайн-буфер, модель предсказывает следующее скрытое состояние на основе наблюдения и действия, выравнивает его со скрытым состоянием, полученным из кодирования реального состояния, и обновляет параметры с помощью градиентного спуска. Четвертый этап — перепланирование: обновленная модель мира немедленно переходит к следующему циклу управления на основе модели.
В деталях реализации AdaJEPA по-прежнему основана на архитектуре совместного вложенного предсказания. В отличие от традиционных моделей мира, предсказывающих на уровне пикселей, архитектура совместного вложенного предсказания не предсказывает будущие изображения напрямую, а сжимает изображения в более компактное скрытое пространство и предсказывает будущие состояния только в этом пространстве. Вся модель состоит из трех основных компонентов: кодировщика состояний, кодировщика действий и предсказателя.
Онлайн-обновление происходит в скрытом пространстве. После каждого выполнения действия система сохраняет реальный переход состояния в онлайн-буфер, емкость которого по умолчанию составляет последние N переходов. При обновлении модель предсказывает следующее скрытое состояние на основе текущего наблюдения и действия и выравнивает его со скрытым состоянием, полученным из кодирования реального следующего наблюдения. Чтобы предотвратить разрушение исходного пространства представления при онлайн-обновлении, в статье установлены два ограничения: использование stop-gradient для целевого представления и обновление только небольшого количества параметров. В экспериментах по умолчанию обновляются только последние несколько слоев визуального кодировщика и предсказателя, и при каждом перепланировании управления на основе модели выполняется только один шаг градиентного спуска.
Для проверки эффективности адаптации во время тестирования были проведены эксперименты на двух бенчмарках: PushT/PushObj и PointMaze. В тесте с невиданными формами PushObj AdaJEPA почти удвоил эффективность планирования. В тесте с невиданными конфигурациями PointMaze эффективность планирования GD выросла с 53,3% до 78,7%, а эффективность планирования CEM — с 49,3% до 70,7%.
Примечательно, что дополнительная задержка, вызванная таким онлайн-обновлением, невелика. Поскольку обновляются только последние несколько слоев визуального кодировщика и предсказателя, и при каждом перепланировании выполняется только один шаг градиентного спуска, дополнительная задержка составляет от 0,01 до 0,03 секунды. Это указывает на то, что AdaJEPA не достигает повышения эффективности за счет ресурсоемкого онлайн-обучения, а добавляет к исходной модели мира легковесный механизм «самокалибровки во время развертывания».
Автор статьи Ин Ван (Ying Wang) в настоящее время является аспирантом лаборатории CILVR Центра наук о данных Нью-Йоркского университета, ее область исследований — модели мира, научные руководители — Мэнъе Жэнь (Mengye Ren) и Янн ЛеКун. Автор Умайма Буну (Oumayma Bounou) — постдокторант Нью-Йоркского университета, ее исследовательские интересы включают модели мира, управление и оптимизацию, в настоящее время она сотрудничает с ЛеКуном в исследовании моделей мира. Доцент кафедры компьютерных наук и наук о данных Нью-Йоркского университета Мэнъе Жэнь и лауреат премии Тьюринга Янн ЛеКун являются со-руководителями работы.
Ссылка: https://arxiv.org/pdf/2606.32026
