Репортаж от Wedoany，В процессе пост-обучения больших языковых моделей с использованием обучения с подкреплением этап rollout, на котором генерируется множество ответов для рассуждений, часто сопровождается высокими вычислительными затратами, при этом значительная часть сэмплов может не предоставлять эффективных обучающих сигналов. Для решения этой проблемы исследовательская группа из Департамента автоматизации Университета Цинхуа предложила оптимизационный фреймворк под названием POPO (Group Prioritized Off-Policy Optimization), направленный на значительное снижение потребления неэффективных сэмплов в обучении RLVR (обучение с подкреплением на основе проверяемых вознаграждений) за счет групповой офлайн-оптимизации политики.
Ключевое преимущество RLVR заключается в том, что сигналы вознаграждения могут автоматически проверяться с помощью правил. Однако при обучении с использованием таких методов, как GRPO (групповая относительная оптимизация политики), модель генерирует набор ответов на один и тот же промпт. Если все ответы в этом наборе верны или все неверны, дисперсия вознаграждения равна нулю, что приводит к исчезновению относительного преимущества внутри группы, и сэмплы практически не вносят вклада в обновление параметров. Такая ситуация, определяемая как «неэффективные сэмплы», весьма распространена в RLVR, особенно для слишком простых или слишком сложных задач, когда модель тратит значительные вычислительные ресурсы, не получая эффективного градиента.
Существующие методы борьбы с этим включают: DAPO, который расширяет кандидатный batch и выполняет дополнительный rollout для фильтрации неэффективных групп, но ценой увеличения затрат на генерацию; метод предиктивной выборки, оценивающий вероятность успеха промпта до rollout, но недостаточно стабильный при работе с большими объемами данных или малым количеством эпох; метод воспроизведения траекторий, который сохраняет исторически успешные ответы, но не справляется с оценкой эффективности внутри группы и смещением off-policy.
Основная идея POPO заключается в поддержании небольшого буфера воспроизведения (replay buffer), в котором хранятся эффективные группы ответов, полученные в ходе недавнего обучения. На каждом шаге обучения модель сначала выполняет rollout для текущего batch, затем делит группы ответов на эффективные (дисперсия вознаграждения больше нуля) и неэффективные (дисперсия равна нулю) на основе дисперсии вознаграждения. POPO сохраняет эффективные группы, а для позиций неэффективных групп не выполняет повторный rollout, а вместо этого извлекает из буфера последние эффективные группы для их заполнения. Эта стратегия позволяет, не увеличивая затраты на новый rollout, формировать обучающий batch в основном из эффективных сэмплов.
В отличие от распространенного воспроизведения на уровне траекторий, POPO выбирает воспроизведение на уровне групп. Группа включает в себя один промпт и соответствующий ему набор ответов, причем все данные группы получены от одной и той же исторической политики, что сохраняет внутреннюю согласованность группы и облегчает последующую off-policy коррекцию. Для выбора группы для воспроизведения POPO в основном руководствуется двумя критериями: «качество» (дисперсия вознаграждения не равна нулю) и «расстояние до текущей политики» (приоритет отдается недавно сохраненным эффективным группам).
Для решения проблемы смещения данных воспроизведения POPO вводит развязанную off-policy оптимизацию, разделяя роли «поведенческой политики» и «политики с проксимальными ограничениями». Для сэмплов воспроизведения алгоритм использует выборку по важности для коррекции off-policy смещения, одновременно сохраняя ограничения доверительной области, согласованные с on-policy сэмплами, что обеспечивает баланс между коррекцией смещения и стабильностью обучения.
В статье оценивается производительность POPO на трех типах задач: математические рассуждения, числовое планирование и визуальная геометрия. В задаче математических рассуждений обучение проводилось на моделях DeepSeek-R1-Distill-Qwen-1.5B и 7B на наборе данных DeepScaleR; в задаче числового планирования — на модели Qwen2.5-3B на подмножестве Countdown-34; в задаче визуальной геометрии — на модели Qwen2.5-VL-3B-Instruct на наборе Geometry3k. В качестве базовых методов сравнения использовались GRPO, DAPO, MoPPS, ARPO и другие.
Судя по кривым обучения, POPO на нескольких задачах сходится быстрее, чем GRPO, ARPO и MoPPS, а общая эффективность близка к DAPO, но при значительно меньших затратах на rollout. На DSR-1.5B средний балл POPO в распределении составил 55.1, что равно показателю DAPO, а средний балл вне распределения — 32.9, что немного выше 32.7 у DAPO; время обучения сократилось с 30 часов у DAPO до 16 часов. На DSR-7B средний балл POPO в распределении составил 63.3, что выше 63.2 у DAPO, а средний балл вне распределения — 51.2, что выше 50.8 у DAPO; время обучения сократилось с 55 часов до 34 часов. В задаче Countdown средняя точность POPO составила 60.4, что близко к 61.5 у DAPO, но количество rollout составило всего 205k (у DAPO — 877k), а время обучения сократилось с 5.6 часов до 3.2 часов. В задаче Geometry POPO достиг результата 50.0, что близко к 50.6 у DAPO, при количестве rollout 492k (у DAPO — 1438k), а время обучения сократилось с 11.2 часов до 6.8 часов.
Абляционные эксперименты подтвердили необходимость каждого компонента POPO. Метод поиска групп для воспроизведения с использованием KL-дивергенции (POPO-KL) показал близкую производительность, но с более низкой вычислительной эффективностью; метод, который только фильтрует неэффективные группы, но не заполняет batch (GRPO-filter), уступает POPO; воспроизведение без различения эффективных групп (POPO-ineff) привело к заметному снижению производительности; воспроизведение сэмплов из далекой истории (POPO-stale) привело к коллапсу производительности. Что касается цели оптимизации, простое использование данных воспроизведения как текущих on-policy данных приводит к коллапсу производительности, в то время как развязанная off-policy цель показала наилучшие результаты.
Дальнейший анализ показал, что POPO стабильно превосходит GRPO и приближается к DAPO при различных размерах групп ответов (k=4, 8, 16, 32), а также может применяться к другим базовым алгоритмам RLVR, таким как RLOO и PPO, и может комбинироваться с методами активной выборки, такими как MoPPS.
В статье отмечается, что основная ценность POPO заключается в переходе обучения RLVR от «больше генерации, больше фильтрации» к «меньше потерь» за счет кэширования и повторного использования уже созданных высококачественных эффективных сэмплов, что снижает потери от неэффективного rollout, сохраняя при этом стабильность обучения. На примере данных статьи, в задаче DeepScaleR-7B POPO достиг производительности, близкой к DAPO, используя всего около 30% бюджета rollout. В будущем команда планирует исследовать гибридную стратегию, сочетающую краткосрочный FIFO-кэш и долгосрочный резервуар, чтобы еще больше сократить количество онлайн rollout и увеличить контролируемое использование офлайн-данных.
Статья выполнена командой профессора Цзи Сянъяна из Департамента автоматизации Университета Цинхуа. Авторы: Исю Мао, Юнь Цю, Чимс Ван, Хэмин Цзоу и Сянъян Цзи (毛逸休, 曲韵, 王, 邹赫明, 季向阳). Первый автор, Исю Мао, является докторантом Департамента автоматизации Университета Цинхуа и в настоящее время проходит стажировку в команде больших языковых моделей Tongyi Qianwen компании Alibaba. Статья опубликована на arXiv под номером 2606.01281v1.
