Объект ARM Министерства энергетики США продвигает ИИ для преобразования инфраструктуры данных

Репортаж от Wedoany，Пользовательский объект атмосферного излучения (ARM) Министерства энергетики США (DOE) продвигает применение технологий искусственного интеллекта в своей инфраструктуре данных, чтобы помочь исследователям быстрее получать доступ к данным атмосферных наблюдений за более чем 30 лет. Объект уже собрал более 8 ПБ атмосферных данных.

Главный специалист по данным и вычислениям ARM Гири Пракаш заявил, что инфраструктура, готовая к ИИ, стала необходимостью, и центр применяет поэтапный подход к модернизации инфраструктуры для удовлетворения растущих вычислительных потребностей. Эти разработки будут добавлены к существующей инфраструктуре ARM для удовлетворения строгих требований приложений ИИ. Пракаш отвечает за управление центром обработки данных ARM, расположенным в Национальной лаборатории Ок-Ридж (ORNL) в штате Теннесси.

Примерно четыре года назад ARM начала установку графических процессоров (GPU) для высокопроизводительного вычислительного кластера Cumulus. Эти GPU уже используются для анализа качества данных, обработки радиолокационных данных и генерации продуктов данных. В настоящее время центр проводит более масштабную модернизацию, заменяя файловые серверы на платформы хранения данных, готовые к ИИ и напрямую подключаемые к среде GPU, что позволяет моделям ИИ получать доступ к данным на высокой скорости без ожидания передачи файлов. ARM планирует закупить от 25 до 30 новых GPU, включая процессоры, специально разработанные для ускорения рабочих нагрузок ИИ, чтобы удовлетворить вычислительные потребности на ближайшие два-пять лет. Команда ARM по кибербезопасности и сетевым технологиям также усиливает контроль для управления доступом к вычислительным ресурсам, данным, ресурсам и инструментам ИИ.

В части программного обеспечения ARM разрабатывает среду, позволяющую большим языковым моделям (LLM) и системам на основе агентов взаимодействовать с активами данных, метаданными и записями качества. Гири Пракаш объяснил, что LLM — это «мозг для понимания и интерпретации», а агенты — это системы, использующие этот мозг для доступа к данным и выполнения задач. Вместе они соединяют общие способности рассуждения LLM с институциональными знаниями, инструментами и действиями. В отличие от традиционных ИИ-помощников, которые только отвечают на вопросы, системы на основе агентов способны рассуждать о многошаговых задачах, получать доступ к внешним инструментам и координировать рабочие процессы при минимальном вмешательстве человека.

ARM запустила бета-версию ARM Data Advisor (ADA, произносится как «ā-duh»). По словам разработчика программного обеспечения ORNL и ведущего разработчика ADA Уэйда Дарнелла, этот ИИ-агент отвечает на вопросы, рекомендует наборы данных, отображает графики данных, объясняет качество данных и размещает заказы на данные через интерфейс диалога на естественном языке. Базовое оформление заказов на данные будет доступно в начальной версии, а расширенное оформление заказов и извлечение данных будут добавлены в будущих версиях. ADA будет предоставлять персонализированные рекомендации для вернувшихся пользователей и предлагать файлы в нескольких форматах. Ожидается, что ADA будет запущен в июле 2026 года, а традиционные инструменты поиска будут сохранены до тех пор, пока разработчики не убедятся, что он удовлетворяет потребности пользователей.

Разработчики ARM также создали фреймворк под названием Agentic Tooling and LLM Augmentation Stack (ATLAS). ATLAS предоставляет общую платформу, позволяющую инструментам на основе ИИ работать совместно, включая предоставление вывода моделей через совместимые с OpenAI конечные точки, преобразование информации в доступный для поиска векторизованный формат, координацию рабочих процессов, управляемых агентами предметной области, и обеспечение безопасного доступа к данным и сервисам. Этот фреймворк поддерживает генерацию метаданных, анализ качества данных и улучшение поиска на веб-сайте с помощью цифрового помощника Ask ARM. ATLAS также подключается к нескольким средам обслуживания моделей, требующим GPU, включая внутреннюю платформу и Американское научное облако, которое является частью миссии DOE Genesis, объединяющей суперкомпьютерные ресурсы национальных лабораторий в безопасное облако для научных открытий на основе ИИ.

В ближайшие три года ARM планирует добавить от 2 до 3 ПБ дискового пространства для хранения векторизованного контента, включая доступные для поиска встраивания метаданных, руководящие страницы и руководства по приборам. В то же время ARM планирует преобразовывать и разбивать научные переменные и данные наблюдений в контекстные представления, читаемые ИИ, чтобы системы агентов могли эффективно индексировать, извлекать и анализировать их. Используя GPU Direct Storage и тесно интегрированную архитектуру высокопроизводительного хранения, ARM уменьшает узкие места при перемещении данных и ускоряет время отклика моделей ИИ. По мере расширения кластера GPU команды по эксплуатации объекта координируют работу в области энергоснабжения, охлаждения и сетей.

Пракаш заявил, что отзывы пользователей будут продолжать направлять внедрение этих инструментов. Команда центра обработки данных ARM разрабатывает руководящий документ, устанавливающий ограничения для ответственного использования ИИ, определяющий этические стандарты, соответствующие принципам DOE, и устанавливающий критерии оценки и лучшие практики. Согласовывая оптимизированные для ИИ потоки данных с миссией DOE Genesis, команда центра обработки данных ARM стремится сократить время от наблюдения до открытия. Пракаш подчеркнул: «ARM не просто добавляет ИИ к существующим системам; мы перестраиваем нашу экосистему данных вокруг ИИ».