Репортаж от Wedoany，Компания Baseten Inc. привлекает 1,5 миллиарда долларов финансирования. Данный раунд совместно возглавляют Altimeter Capital, Conviction, Spark Capital, Sands Capital и Wellington Management. По сообщению The Wall Street Journal, часть инвесторов приобретает акции с оценкой компании в 11 миллиардов долларов, в то время как инвестиционные условия для других спонсоров предусматривают оценку в 13 миллиардов долларов.
Baseten предоставляет платформу для автоматизации создания и управления кластерами облачных вычислений. С помощью этой платформы разработчики могут избавиться от трудоемких задач, таких как выделение видеокарт, настройка сети и установка программных инструментов. Программное обеспечение Baseten может использоваться как управляемый сервис, так и развертываться в качестве самостоятельного приложения в корпоративных публичных облачных средах.
Основу платформы составляют три модуля, называемые механизмами вывода, которые отвечают за оптимизацию производительности клиентских моделей ИИ и сбор данных о технических проблемах. Механизм BIS-LLM предназначен для больших языковых моделей, использующих архитектуру смешанных экспертов. Такие модели включают несколько нейронных сетей, каждая из которых специализируется на разных задачах. BIS-LLM повышает эффективность модели за счет оптимизации ее KV-кэша и автоматически настраивает дополнительное оборудование при увеличении использования токенов модели. Второй механизм, Engine-Builder-LLM, оптимизирован для плотных LLM, которые состоят из единого набора искусственных нейронов, а не из нескольких нейронных сетей. Engine-Builder-LLM использует технологию упреждающего декодирования, позволяющую генерировать несколько токенов за раз, тем самым ускоряя вывод. Третий механизм, BEI, предназначен для более простых моделей ИИ и может управлять моделями встраивания, классификации данных и поисковыми моделями.
Baseten использует программный модуль под названием MCM для распределения рабочих нагрузок вывода по нескольким публичным облакам. В случае сбоя одного из облаков MCM перенаправляет запросы на все еще работающие платформы. Компания утверждает, что возможность смены провайдера с помощью этой технологии также удобна при нехватке видеокарт в основных публичных облаках. Платформа напрямую поддерживает десятки моделей ИИ с открытым исходным кодом, а клиенты также могут развертывать собственные алгоритмы с помощью инструмента Truss, который автоматически упаковывает LLM в совместимый с Baseten формат.
Платформа Baseten поддерживает не только вывод, но и обучение пользовательских LLM. Платформа включает функцию резервного копирования, которая периодически сохраняет копии нейронной сети в процессе обучения. В случае возникновения технических проблем разработчики могут восстановить последнюю резервную копию, не начиная обучение с нуля. Данный раунд финансирования состоялся менее чем через шесть месяцев после предыдущего, когда в ходе раунда на 300 миллионов долларов инвестиции предоставили компании NVIDIA и CapitalG.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
