Шеффилдский университет совместно с исследователями из Института Алана Тьюринга разработал новую структуру для построения искусственного интеллекта, которая фокусируется на том, как позволить искусственному интеллекту черпать знания из разнообразных данных, помимо зрения и языка, тем самым повышая его возможности развертывания в реальных сценариях. Эта структура служит практическим руководством по созданию и развертыванию искусственного интеллекта и призвана сделать технологию более эффективной в решении реальных проблем, обеспечивая при этом соответствие этическим стандартам.

Фреймворк как дорожная карта для построения мультимодального искусственного интеллекта был опубликован в журнале Nature Machine Intelligence. Мультимодальные системы искусственного интеллекта способны учиться на многомерных данных, таких как текст, изображения, звук и показания датчиков. В настоящее время большинство искусственного интеллекта все еще ограничиваются одним типом информации, таким как текст или изображения, но мультимодальные системы создают более полную когнитивную картину мира, объединяя различные источники данных. Тем не менее, в исследовании отмечается, что большинство мультимодальных искусственных интеллектов по-прежнему в основном полагаются на визуальные и языковые данные, что в определенной степени ограничивает его способность решать сложные вызовы.

Предложение новой структуры оказало мощную поддержку отраслевым разработчикам и академическим исследователям. Исследование показало, что 88,9% работ по искусственному интеллекту, опубликованных на arXiv в 2024 году, касаются двух различных типов данных, и большинство из них связаны с визуальным или языком. Профессор Хайпин Лу из Школы компьютерных наук Университета Шеффилда подчеркнул: «Искусственный интеллект добился значительного прогресса в области зрения и языка, но реальный мир гораздо сложнее этого. Для решения проблем, таких как эпидемии, устойчивая энергетика и изменение климата, нам нужен мультимодальный искусственный интеллект, который объединяет более широкий спектр данных и опыта».

Исследование также продемонстрировало потенциал применения новой структуры с помощью трех реальных вариантов использования, таких как реагирование на пандемию, проектирование автономных транспортных средств и адаптация к изменению климата. « Интеграция и моделирование огромных и разнообразных наборов данных с помощью мультимодальных технологий искусственного интеллекта мы устанавливаем новый ориентир для прогнозирования окружающей среды», — сказала доктор Луиза Ван Зелан, директор по исследованиям Института Алана Тьюринга.