Компьютерные ученые из Принстонского университета работают над тем, чтобы привести виртуальную реальность в реальный мир, чтобы улучшить различные опыты, включая удаленное сотрудничество, образование, развлечения и игры.

По словам доцента компьютерных наук Парасту Абтахи, технологии виртуальной и дополненной реальности могут стать широко распространенными в будущем. Важно, что пользователи этой технологии имеют возможность бесшовно взаимодействовать с реальным миром.

Абтахи и постдокторский исследователь Мохамед Кари работают над тем, чтобы объединить технологию виртуальной реальности с физическими роботами, управляемыми пользователем, чтобы достичь этой цели. Результаты их исследований будут представлены в следующем месяце на симпозиуме по программному обеспечению и технологиям пользовательского интерфейса ACM в Пусане, Южная Корея.

Пользователь системы, одетый в гарнитуру смешанной реальности, может выбрать напиток из списка опций, а затем виртуально положить его на стол перед собой. Или, что еще более удивительно, они могут заставить анимированных пчел доставить им пакет чипсов на диване.

Сначала напитки и чипсы могут быть просто пикселями. Но примерно через минуту они, словно по волшебству, представляются материально. Но это не магия-это робот, который невидим для пользователя и отвечает за доставку закусок. «Визуально такое ощущение, будто это было сделано мгновенно», — сказал Абутахи.

По словам Кари, опыт выглядит более бесшовным, удаляя «все ненужные технические детали, даже самого робота». Цель состоит в том, чтобы технологии исчезли и сделать взаимодействие между людьми и компьютерами более интуитивно понятным.

Одной из ключевых технических проблем системы является коммуникация. Пользователи должны быть в состоянии легко высказывать свои пожелания — например, выбрать ручку на другой стороне комнаты и переместить ее на стол перед собой. Кари и Абтахи создали интерактивную технологию, благодаря которой пользователь может выбрать объект простым жестом, даже на большом расстоянии.

Затем эти жесты преобразуются в команды, выполняемые роботом. Робот оснащен собственной гарнитурой смешанной реальности, благодаря чему он знает, куда размещать объекты в виртуальной среде.

Еще одна техническая проблема заключается в том, как добавлять и удалять физические объекты в поле зрения пользователя. Абтахи и Кари создали реалистичные цифровые копии физического пространства, используя технологию, называемую 3D-Гауссовым распределением. После завершения сканирования всех объектов в помещении система может удалить из поля зрения определенные объекты, такие как движущиеся роботы; Или добавить определенные объекты, например, анимированные пчелы.

Для достижения этого каждый дюйм пространства в комнате и каждый объект в ней должны быть отсканированы и цифрово отобраны. По словам Абутахи, в настоящее время этот процесс несколько громоздкий. Упрощение этого процесса, возможно, путем назначения задач роботу, является предметом будущих исследований в ее лаборатории.