Репортаж от Wedoany，Компания Tashizhihang совместно с Национальным университетом Сингапура, Шанхайским университетом Цзяо Тун, Институтом автоматизации Китайской академии наук и Университетом Фудань опубликовала на препринт-платформе статью «TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation». В данном исследовании предлагается сило-обусловленная тактильная мировая модель, в которой сигналы силы на запястье впервые используются в качестве предиктивной информации о будущем тактильном состоянии для прогнозирования краткосрочной эволюции контакта, а результаты прогноза интегрируются в процесс генерации действий робота.
В задачах с интенсивным контактом, таких как протирка, вставка, затягивание и т.д., состояние контакта непрерывно изменяется во времени, и малейшие отклонения в силе или положении могут привести к сбою. Существующие методы в основном полагаются на сигналы обратной связи для последующей корректировки. Основная идея TacForeSight заключается в выявлении временной взаимосвязи между силовыми и тактильными ощущениями: сила на запястье предоставляет предиктивный сигнал общего силового тренда, в то время как тактильные ощущения отражают локальные детали контакта. На этой основе команда разработала ключевой модуль TacForceWM, который кодирует тактильное поле двух пальцев в компактные тактильные латентные переменные и использует высокочастотные сигналы силы или момента на запястье для прогнозирования краткосрочной тактильной эволюции. Это снижает вычислительную нагрузку при генерации многомерных тактильных изображений и позволяет использовать прогностическую информацию для создания легковесных стратегий действий.
После прогнозирования будущего тактильного состояния система с помощью Predictive Tactile-Conditioned Policy использует механизм Cross-Attention для явного моделирования взаимосвязи между текущим контактом и будущим трендом, что позволяет при генерации действий учитывать как текущий контакт, так и предстоящие изменения контакта. Одновременно тактильно-управляемый адаптивный стробирующий механизм динамически регулирует веса визуальной и тактильной информации в зависимости от этапа задачи: на этапах интенсивного контакта акцент делается на тактильное управление, а на этапах удаления от контакта — на визуальную информацию.
Эксперименты проводились на реальной роботизированной платформе, включающей манипулятор, захват, камеру, шестиосевой датчик силы или момента и двухпальцевый тактильный датчик. Были охвачены пять типичных задач с интенсивным контактом: протирка вазы, скольжение карты, вставка трубки, затягивание лампочки и вставка гибкого жгута проводов. Результаты показали, что средний уровень успешного выполнения стандартных задач приближается к 80%, что превосходит чисто визуальные модели, простые комбинации визуальных, тактильных и силовых данных, а также базовые методы, такие как KineDex, FoAR и RDP. В сценариях с динамическими возмущениями по высоте, углу и позе уровень успешного выполнения составил 90%, 85% и 85% соответственно, в среднем 86,7%. Модель поддерживает вывод в реальном времени с частотой 20 Гц и может быть интегрирована в высокочастотный замкнутый контур управления робота.
Анализ визуализации латентных переменных показал, что в задачах затягивания лампочки и протирки вазы прогнозируемые тактильные латентные переменные демонстрируют изменения, связанные с контактом, примерно на 200 миллисекунд раньше, чем текущие тактильные латентные переменные. На невидимых ранее фрагментах силового-тактильного взаимодействия, таких как нажатие, скручивание и скольжение, латентные переменные, извлеченные тактильным кодировщиком, образуют разделимые кластеры в t-SNE визуализации, что указывает на способность модели различать типы контакта. Это очередной прогресс компании Tashizhihang в области точных манипуляций; ранее в марте она уже представила визуально-тактильный фреймворк OmniVTA и крупномасштабный визуально-тактильный набор данных OmniViTac, помогающие роботам понимать контакт через зрение и осязание.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
