Репортаж от Wedoany，Компания VIDRAFT недавно объявила о публикации рейтинга производительности движка ускорения вывода больших языковых моделей VKAE и развернула Docker-контейнеры с интегрированными весами моделей и сервисной средой. Движок, получивший название VIDRAFT Kernel Acceleration Engine, представляет собой инструмент ускорения на уровне ядра.
По сравнению со стандартными сервисами, VKAE на тех же GPU и в тех же условиях обеспечивает увеличение пропускной способности вывода до 23,4 раза. Движок повышает пропускную способность и скорость отклика, сохраняя при этом качество вывода. Пользователи могут напрямую проверить производительность в своей среде GPU, запустив опубликованный контейнер. VKAE также поддерживает совместимый с OpenAI API, что позволяет подключаться к существующим сервисам.
Согласно результатам собственных измерений VIDRAFT, в среде NVIDIA B200 GPU и FP8 репрезентативная модель Qwen3.5-35B-A3B генерирует до 601 токена в секунду в однопоточном режиме. При обработке множественных запросов пропускная способность превышает 10 000 токенов в секунду. К сверхмасштабной модели JGOS-398B также применена та же серия технологий оптимизации. Внутренняя реализация ядра является коммерческой тайной и не разглашается, однако внешняя проверка возможна через рейтинг и унифицированный контейнер.
VIDRAFT отметила четыре ключевых аспекта данной публикации: проверяемость данных, позволяющая пользователям напрямую воспроизводить результаты; снижение стоимости обслуживания за счет повышения пропускной способности; сохранение качества в процессе ускорения; мгновенная интеграция на основе совместимого с OpenAI API. VKAE в основном поддерживает GPU серий NVIDIA Blackwell (B200) и Hopper (H100, H200), а также расширяет поддержку на такие модели, как A10G small.
Ранее VIDRAFT уже опубликовала FINAL Bench для оценки метакогнитивных способностей ИИ, промежуточное ПО MARL для уменьшения галлюцинаций во время выполнения, а также серии моделей Darwin, Chimera и Aether, накопив полный стек возможностей ИИ от разработки моделей до оптимизации сервисов. Представитель VIDRAFT Ким Мин Сик заявил, что гонка скоростей без возможности воспроизведения результатов бессмысленна, и ключевая особенность VKAE заключается в том, что пользователи могут напрямую проверять его на своем собственном оборудовании.
VIDRAFT — это стартап, основанный в 2024 году и размещенный в Seoul AI Hub, целью которого является достижение True-AGI к 2030 году. Компания разрабатывает специализированные LLM для корейского языка, модели научных рассуждений и инфраструктуру ускорения вывода, а также продвигает выход на глобальный рынок.
