Репортаж от Wedoany，Российский разработчик инфраструктурного программного обеспечения «Группа Астра» представила платформу «Боцман AI», которая позволяет запускать языковые модели и другие модели искусственного интеллекта внутри корпоративной сети безопасности, обеспечивая защиту данных от утечки во внешние облачные сервисы.
«Боцман AI» является логическим расширением платформы «Боцман» — отечественного решения для оркестрации контейнеров на базе Kubernetes, входящего в состав Astra Dev Platform и ориентированного на создание внутренних платформ разработки и запуск приложений в изолированной или регулируемой инфраструктуре.
У предприятий существует высокая потребность в использовании языковых моделей, однако требования информационной безопасности, нормативные ограничения и внутренние политики часто запрещают передачу данных во внешние сервисы. Самостоятельное развертывание моделей обычно требует запуска отдельных инфраструктурных проектов для каждой задачи, включая выбор среды выполнения, настройку GPU, загрузку весов, конфигурацию конечных точек и мониторинг. «Боцман AI» берет на себя эти рутинные операции.
Команды платформы выполняют настройку через стандартную модель описания ресурсов Kubernetes, система автоматически подготавливает хранилище весов и запускает среду выполнения необходимого движка, включая vLLM, Ollama, SGLang или FasterWhisper, после чего модель публикуется через единый шлюз. Механизм обновления не создает окна недоступности во время обновления, что особенно важно при работе с дорогостоящей GPU-инфраструктурой.
Разработчики приложений получают API, совместимый с OpenAI, без необходимости переписывать существующий код — достаточно изменить адрес сервиса, и приложение продолжит работу с моделью, развернутой внутри корпоративной сети. Платформа также предоставляет набор промышленных инструментов, включая встроенное автоматическое масштабирование нагрузки, систему биллинга, управление API-ключами с бюджетным контролем для прозрачного распределения ресурсов между командами и проектами. Установка выполняется через «Боцман Apps & Marketplace» в виде Helm-чартов.
Михаил Кобик, технический директор платформы «Боцман» (входит в группу «Астра»), отметил, что данная платформа позволяет российским предприятиям использовать современные языковые модели с таким же удобством, как публичные облачные сервисы, но полностью в рамках собственной внутренней сети, сохраняя тем самым суверенитет данных, предсказуемость затрат и независимость от зарубежных поставщиков. Ее уникальность заключается в превращении развертывания AI-моделей из сложного инфраструктурного проекта в стандартизированную операцию Kubernetes, выполнимую любой командой платформы.
