Репортаж от Wedoany，Исследователи из Технологического института Джорджии (Georgia Institute of Technology) разработали фреймворк машинного обучения под названием «Учись, чтобы учить» (Learn to Teach), который позволяет человекоподобным двуногим роботам преодолевать сложные ландшафты, такие как песок, рыхлый гравий, скользкие поверхности в помещениях и крутые склоны, за счёт одновременного обучения двух моделей с подкреплением.
Традиционный метод обучения с подкреплением «учитель-ученик» сначала обучает симулированную модель «учителя», обладающую полной информацией об окружающей среде, а затем передаёт её знания алгоритму «ученика» физического робота. Фэйян У (Feiyang Wu), аспирант по машинному обучению в Технологическом институте Джорджии, отмечает две проблемы такой последовательной схемы: во-первых, она требует слишком много времени, а во-вторых, значительная часть информации об окружающей среде, собранная учителем, теряется. Поскольку симуляция зависит от дорогостоящих GPU, увеличение времени вычислений напрямую повышает затраты на разработку.
Решение команды заключается в одновременном обучении моделей учителя и ученика. Учителю больше не нужно становиться экспертом, прежде чем начать обучение; он может постепенно передавать ученику знания, полученные по ходу дела. При этом учитель также учится на ошибках ученика, сокращая «разрыв имитации между учителем и учеником» — проблему, при которой физический робот показывает худшие результаты из-за отсутствия богатых данных, доступных в симуляции.
В лаборатории доцента Е Чжао (Ye Zhao) на физическом человекоподобном роботе этот контроллер продемонстрировал в тестах производительность, превосходящую стандартное программное обеспечение, предоставленное производителем робота. Даже при сильных толчках и рывках со стороны исследователей робот самостоятельно корректировал походку и сохранял равновесие. Этот метод был представлен на Международной конференции IEEE по робототехнике и автоматизации (IEEE International Conference on Robotics and Automation).
Данный фреймворк демонстрирует переход от грубой вычислительной мощности к эффективности алгоритмов. Доказав, что параллельное обучение позволяет достичь лучшей балансировки с меньшими вычислительными затратами на немоделированной местности, Технологический институт Джорджии снизил порог входа для небольших стартапов и академических лабораторий в разработку робототехники. Фреймворк «Учись, чтобы учить» является универсальным и в будущем может применяться для манипуляторов на производственных предприятиях или автоматизированных дронов на складах, сокращая время вывода на рынок специализированных автоматизированных систем.
Однако до коммерческого применения технологии остаются препятствия. Исследователи пока не опубликовали точные эталонные данные, а экономия вычислительных ресурсов является лишь ориентировочным выводом. Кроме того, промышленная среда предъявляет строгие требования к сертификации безопасности, а поведение нейронных сетей при столкновении с ранее не встречавшимися препятствиями может быть непредсказуемым. Предприятия осторожно относятся к развёртыванию таких гибких контроллеров до создания высокостандартизированных протоколов тестирования.
