Репортаж от Wedoany，Барселонский суперкомпьютерный центр (BSC-CNS) 15 мая официально выпустил библиотеку распределённых вычислений dislib 1.0.0, предоставив зрелый и стабильный набор инструментов для выполнения задач анализа больших данных и машинного обучения на распределённых платформах, таких как кластеры, облака и суперкомпьютеры. Этот выпуск, предлагая стабильный и надёжный API, значительно повышает совместимость и удобство проведения передовых исследований в крупномасштабных распределённых средах, знаменуя собой превращение dislib из исследовательского прототипа в производственную кодовую базу, пригодную для критически важных приложений.
dislib 1.0.0 — это библиотека Python, построенная поверх параллельного фреймворка PyCOMPSs. Её основная философия дизайна заключается в том, чтобы позволить пользователям с помощью простого интерфейса, близкого к scikit-learn, решать задачи крупномасштабных распределённых вычислений в стиле последовательного программирования. Данная итерация версии глубоко интегрирует PyTorch и PyEDDL, впервые систематически поддерживая распределённое обучение нейронных сетей, что позволяет исследователям выполнять полный цикл сложных задач — от традиционного машинного обучения до глубокого обучения — непосредственно внутри библиотеки.
Фундаментальная технологическая перестройка лежит в основе этого обновления. На нижнем уровне библиотеки спроектирована структура распределённого многомерного массива под названием ds-array, которая разделяет огромные объёмы данных и хранит их на удалённых узлах. Все построенные на её основе алгоритмы — кластеризации, классификации, регрессии, рекомендательных систем и другие — определены как задачи, которые могут выполняться параллельно и автоматически планируются средой выполнения PyCOMPSs в фоновом режиме. Эта серия улучшений гарантирует, что dislib может эффективно обрабатывать наборы данных, не помещающиеся в память одной машины, и обеспечивает полную совместимость с COMPSs 3.4, NumPy 2.x и другими компонентами новой экосистемы научных вычислений.
Исследователь BSC Эдуардо Ираола отметил, что dislib 1.0.0 — это уже не просто исследовательский прототип, а зрелая кодовая база, и тот факт, что она уже используется в таких реальных приложениях, как оценка последствий землетрясений, персонализированная медицина и цифровые двойники, является лучшим доказательством движения в правильном направлении.
Зрелость dislib была подтверждена в многочисленных научных проектах. В области астрофизики dislib в сочетании с данными миссии Европейского космического агентства «Гайя» был успешно применён для выполнения анализа с использованием алгоритма кластеризации DBSCAN, что позволило выявить рассеянные звёздные скопления в Млечном Пути. В сфере здравоохранения проект AI-SPRINT использовал модель случайного леса из dislib для обнаружения фибрилляции предсердий, способствуя развитию персонализированной медицины. Кроме того, в европейских проектах по высокопроизводительным вычислениям dislib широко применяется для раннего предупреждения стихийных бедствий, создания цифровых двойников в производстве, проектирования композитных материалов для аэрокосмической отрасли и оценки воздействия экстремальных климатических явлений, что в полной мере доказывает его высокую стабильность и широкую применимость в междисциплинарных вычислениях.
dislib имеет открытый исходный код под разрешительной лицензией Apache 2.0. Исследователи и разработчики могут легко установить его локально с помощью команды pip install dislib или напрямую загрузить и использовать на ведущих суперкомпьютерах, таких как MareNostrum. BSC-CNS также одновременно оптимизировал проектную документацию и образы Docker, предложив два независимых окружения — базовое и с PyTorch, что снижает технический порог для начинающих и профессионалов в области слияния HPC и ИИ.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
