Репортаж от Wedoany，Американская компания Nvidia недавно опубликовала в открытом доступе модель Nemotron-Labs-TwoTower, которая повышает эффективность генерации текста большими языковыми моделями за счет двухбашенной архитектуры. В ходе тестирования модель сохранила 98,7% качества авторегрессионной базовой линии, одновременно обеспечив 2,42-кратное увеличение фактической пропускной способности генерации. Соответствующие веса уже доступны на платформе Hugging Face в США.
Техническая особенность TwoTower заключается в разделении двух задач традиционных языковых моделей: «понимание контекста» и «генерация новых токенов». Большинство авторегрессионных моделей требуют последовательной генерации токенов один за другим: пока предыдущий токен не завершен, следующий не может войти в стабильный процесс вывода. Такой подход обеспечивает высокое качество, но при работе с длинными текстами, генерацией кода, агентными задачами и высоконагруженными сервисами легко создает узкое место по скорости. Предложенная Nvidia архитектура TwoTower разделяет модель на контекстную башню и башню шумоподавления: контекстная башня отвечает за чтение подсказок и существующего текста, сохраняя способность авторегрессионной модели понимать семантику, логику и контекст; башня шумоподавления отвечает за итеративную коррекцию шумовых блоков, позволяя генерации текста продвигаться более параллельным образом.
С точки зрения структуры модели, Nemotron-Labs-TwoTower построена на основе Nemotron-3-Nano-30B-A3B и в целом состоит из двух башен размером около 30B, использующих гибридную архитектуру Mamba-Transformer MoE. Контекстная башня остается замороженной и выполняет в основном «только для чтения» задачу представления контекста; башня шумоподавления обучается отдельно, используя двунаправленное блочное внимание и поканальное перекрестное внимание для считывания семантической информации из контекстной башни, а затем выполняет блочную генерацию и шумоподавление. Такая конструкция позволяет избежать возложения на одну сеть одновременно функций представления контекста и итеративного шумоподавления, а также дает возможность повторно использовать возможности предварительно обученной авторегрессионной модели, не требуя обучения диффузионной языковой модели с нуля.
С точки зрения обучения и эффективности, ценность TwoTower заключается не только в ускорении вывода. Согласно информации из статьи, модель обучалась на примерно 2,1 триллиона токенов и была адаптирована на основе модели с открытыми весами гибридной архитектуры размером 30B. В отличие от проблемы снижения семантического понимания, часто возникающей у традиционных диффузионных языковых моделей, TwoTower сохраняет в системе знания о языке и длинном контексте, полученные существующей моделью, за счет сохранения замороженной авторегрессионной контекстной башни, а башня шумоподавления специализируется на решении проблемы параллельной генерации. Другими словами, это не просто жертва качеством ради скорости, а перепроектирование процесса генерации на основе разделения задач модели.
Ускорение генерации токенов в 2,42 раза имеет прямое значение для разработчиков и корпоративного развертывания. После того как приложения больших языковых моделей перешли к агентам, AI-программированию, чат-ботам поддержки, генерации баз знаний и обработке длинных документов, скорость вывода влияет на время ожидания пользователя, возможности параллельного обслуживания и стоимость вывода. Один агентный запрос может включать несколько раундов планирования, вызов инструментов, генерацию кода, проверку результатов и объяснение вывода; чем медленнее генерация токенов, тем дольше общее время выполнения задачи. Если модель может увеличить пропускную способность, сохраняя при этом качество, близкое к исходному, это позволит обрабатывать больше запросов на том же оборудовании или сократить время отклика при том же количестве запросов.
Это открытие исходного кода также делает TwoTower не просто лабораторной архитектурой. Страница Hugging Face в США показывает, что Nemotron-Labs-TwoTower-30B-A3B-Base-BF16 может быть загружена через Transformers, а также развернута с помощью vLLM, SGLang и Docker Model Runner. Для исследователей открытые веса облегчают воспроизведение экспериментов, сравнение режимов декодирования и изучение производительности диффузионных языковых моделей при генерации длинных текстов; для инженерных команд открытая модель может быть развернута в локальной тестовой среде для оценки стоимости вывода, использования видеопамяти, пропускной способности сервиса и стабильности качества.
Однако TwoTower не означает, что все текстовые задачи безусловно получат 2,42-кратное улучшение опыта. Фактическая скорость зависит от конфигурации оборудования, размера пакетной обработки, длины контекста, стратегии декодирования, фреймворка развертывания и типа задачи. Для коротких вопросов-ответов, низкой параллельности или сценариев с сильной зависимостью от порядка генерации выгода может быть не столь очевидной, как при генерации длинных текстов, дополнении кода и многошаговом выводе агентов. Сохранение моделью 98,7% качества также означает наличие определенной потери производительности, особенно в задачах, требующих математических расчетов, кода или строгих рассуждений; разработчикам необходимо проводить валидацию на своих бизнес-данных.
Открытие Nvidia исходного кода TwoTower отражает переход конкуренции в области больших языковых моделей от масштабирования параметров к более глубоким аспектам: эффективности генерации, стоимости вывода и возможностям инженерного развертывания. Более высокая скорость генерации токенов может приблизить AI-приложения к взаимодействию в реальном времени; открытые веса и поддержка основных фреймворков развертывания дают компаниям возможность тестировать новую архитектуру на своем оборудовании и в своих бизнес-процессах. Цель TwoTower — не заменить все авторегрессионные модели, а предложить новый путь генерации для сценариев с длинными текстами, высокой параллельностью, агентами и локальным выводом: сохранить способность существующих моделей понимать контекст, одновременно решая проблему узкого места поскорости генерации токенов с помощью диффузионного механизма шумоподавления.
