Репортаж от Wedoany，Исследовательская группа из Чжэцзянского университета и компании Kuaishou представила MemGUI-Agent, который позволяет мобильному GUI Agent активно управлять контекстной памятью при выполнении длительных задач, предотвращая потерю ключевой информации. Группа, состоящая из сотрудников лаборатории APRIL Чжэцзянского университета и отдела технологий основной платформы Kuaishou, одновременно опубликовала набор данных MemGUI-3K для GUI Agent портативных устройств с наибольшей средней длиной шагов. Модель MemGUI-8B-SFT, обученная на этом наборе данных, достигла лучших результатов среди моделей с открытыми данными на бенчмарках длительных задач MemGUI-Bench и MobileWorld.
Ранее мобильные GUI Agent при выполнении длительных задач, включающих несколько приложений и множество шагов, часто сталкивались с деградацией информации. Ключевые данные, полученные на ранних этапах, такие как цены, контакты, характеристики и даты, на последующих шагах размывались, искажались или полностью забывались. Традиционные агенты в стиле ReAct добавляли каждый шаг размышлений, действий и результатов в контекст, что приводило к двум проблемам: во-первых, линейному росту истории, увеличению длины ввода и вычислительных затрат; во-вторых, затоплению ключевых фактов шумом, когда агент мог помнить, что проверял параметр, но забывал конкретное значение.
Основная идея MemGUI-Agent — Context-as-Action (ConAct), которая возводит управление контекстом в ранг действий, равнозначных нажатию на элементы интерфейса, вводу текста и прокрутке. На каждом шаге агент выводит не только следующее действие, но и то, как организовать свою рабочую память. ConAct разбивает контекст на три структурированных поля: Свёрнутая история действий (Folded Action History), хранящая сжатую траекторию, где модель сворачивает выполненные подзадачи в краткое изложение; Свёрнутое состояние UI (Folded UI State), содержащее полные ключевые факты из интерфейса, такие как номера телефонов, цены товаров, технические характеристики; Запись последнего шага (Recent Step Record), фиксирующая наблюдения, намерения, действия и результаты последнего шага.
Исследователи также создали набор данных MemGUI-3K для обучения моделей меньшего размера. Этот набор данных был расширен на основе 128 исходных задач из MemGUI-Bench с помощью замены сущностей, усиления операций с памятью и упрощения задач. В итоге он содержит 2956 успешных траекторий, охватывающих 26 Android-приложений и 7 функциональных сценариев, из которых извлечено 64430 SFT-образцов. Средняя длина траектории составляет 28,8 шага, 65,1% траекторий используют хотя бы одну операцию с памятью, а 88,7% траекторий содержат хотя бы одно сворачивание на уровне промежутка. Эти статистические данные показывают, что набор данных предназначен для обучения модели управлению рабочей памятью в длительных задачах.
На бенчмарке MemGUI-Bench MemGUI-Agent-235B (zero-shot) достиг 37,5% Pass@1, 62,5% Pass@3 и 46,8% IRR, что на 13,3 процентных пункта выше по Pass@1 по сравнению с базовой линией ReAct на той же модели 235B. MemGUI-8B-SFT на том же бенчмарке показал 23,4% Pass@1, 35,9% Pass@3 и 30,2% IRR, что соответственно на 14,0, 15,6 и 15,1 процентных пункта выше, чем у базовой линии Qwen3-VL-8B-Instruct. На внешнем бенчмарке MobileWorld GUI-Only MemGUI-Agent-235B достиг 29,1% успешности, что на 14,6 процентных пункта выше базовой линии; MemGUI-8B-SFT показал 17,9% успешности, превзойдя показатель OpenMobile-8B в 17,7%.
Абляционные эксперименты с компонентами показали, что добавление по отдельности операций с памятью UI, сворачивания истории или шагов самоописания даёт улучшение, но все три компонента необходимы вместе. Полный ConAct на MemGUI-Bench-40 достиг 40,0% Pass@1, что является значительным улучшением по сравнению с 5,0% у базовой линии ReAct. Анализ ошибок показал, что ConAct в основном уменьшает галлюцинации, вызванные контекстом: общее количество ошибок снизилось примерно на 41%, причём наиболее заметное улучшение наблюдалось в процессуальных и выходных галлюцинациях. Это исследование продвигает проблему памяти GUI Agent из внешних инженерных модулей внутрь самой стратегической модели, позволяя агенту учиться управлять процессом выполнения, одновременно выполняя действия.
Первым автором статьи является Лю Гуанъи, аспирант лаборатории APRIL Чжэцзянского университета, ответственным корреспондентом — профессор Чжэцзянского университета Лю Юн. Весь конвейер MemGUI-Agent является открытым: код, данные, модели, обучение и оценочные пайплайны уже доступны.
Узким местом длительных мобильных задач является необходимость для модели сохранять факты, производные от UI, которые появляются на разных экранах, шагах и в разных приложениях, включая цены, номера телефонов, характеристики товаров, содержимое сообщений в соцсетях и текст для копирования. Пассивное добавление истории не является ни компактным, ни надёжным. ConAct позволяет агенту на каждом шаге выводить пять структурированных блоков: размышление, свёртка, вызов инструмента, наблюдение UI и намерение действия. Вызов инструмента включает как обычные действия с UI, так и операции с памятью, такие как memory_add, memory_update и memory_delete. Это означает, что управление контекстом выполняется одной и той же мультимодальной стратегической моделью за один прямой проход.
Исследователи обнаружили, что простое применение протокола ConAct к существующим моделям не приводит к автоматическому улучшению. Zero-shot эксперименты на моделях Qwen3-VL разного размера показали, что только самая мощная Qwen3-VL-235B-Thinking значительно выигрывает от ConAct, в то время как модели меньшего размера или 235B-Instruct при использовании ConAct в zero-shot режиме показывают снижение производительности. Это подтверждает, что активное управление контекстом — это не просто трюк с промптами; модель должна научиться, когда сжимать историю, когда записывать в память UI и как генерировать повторно используемые описания шагов.
На этапе сбора данных авторы использовали Qwen3-VL-235B-Thinking в качестве модели-учителя, выполняя задачи в среде Android в соответствии с полным протоколом ConAct. Затем, с помощью фильтрации на уровне траекторий и фильтрации на уровне шагов по обоснованности, они гарантировали, что в обучающих данных под наблюдением не было избыточных, ошибочных или обходных шагов.
Из этого набора данных было извлечено 57951 обоснованный обучающий шаг и 6479 обоснованных тестовых шагов. Согласно статистике, средняя длина траектории в MemGUI-3K составляет 28,8 шага, медиана — 25 шагов; 23,8% свёрток являются свёртками на уровне промежутка, то есть сжатием нескольких шагов в краткое описание подзадачи.
В экспериментальном отчёте описаны две конфигурации агента: первая — MemGUI-Agent-235B, сохраняющая веса Qwen3-VL-235B-Thinking без изменений и использующая протокол ConAct в zero-shot режиме; вторая — MemGUI-8B-SFT, начиная с Qwen3-VL-8B-Instruct и проходящая LoRA SFT на MemGUI-3K. На MemGUI-Bench MemGUI-Agent-235B достиг 37,5% Pass@1, 62,5% Pass@3 и 46,8% IRR. По сравнению с базовой линией ReAct на том же backbone 235B, Pass@1 улучшился на 13,3 процентных пункта, Pass@3 — на 15,6 процентных пункта, IRR — на 16,8 процентных пункта. По сравнению с agentic workflow на базе Gemini-2.5-Pro, он также показал более высокую общую производительность.
На MobileWorld GUI-Only MemGUI-Agent-235B достиг 29,1% успешности, что на 14,6 процентных пункта выше, чем у базовой линии Qwen3-VL-235B-Thinking. MemGUI-8B-SFT показал 17,9% успешности, что на 8,5 процентных пункта выше, чем у Qwen3-VL-8B-Instruct, и также превзошёл показатель OpenMobile-8B в 17,7%.
Абляционные эксперименты с компонентами проводились на MemGUI-Bench-40. Pass@1 базовой линии ReAct составлял всего 5,0%. При добавлении только операций с памятью UI Pass@1 вырос до 17,5%; при добавлении только сворачивания истории — до 22,5%; при добавлении только шагов самоописания — до 25,0%. Полный ConAct обеспечил Pass@1 на уровне 40,0%, Pass@3 — 62,5%, IRR — 51,0%. Эти три компонента решают разные проблемы: сворачивание истории контролирует рост контекста, память UI сохраняет точные факты, а шаги самоописания предоставляют надёжный материал для последующих операций с памятью и сворачивания.
Примеры показывают, что в длительных мобильных GUI-задачах ключевая информация часто появляется лишь на одной промежуточной странице, но агенту необходимо точно использовать её десятки шагов спустя или даже после переключения приложений. Подход MemGUI-Agent заключается в следующем: при обнаружении ключевого факта активно записывать его в память UI, а после завершения этапной подзадачи сворачивать историю в компактную историю, что позволяет модели напрямую считывать структурированное состояние и переносить ранее увиденную информацию в последующие приложения.
Классификация неудачных случаев в zero-shot абляционной конфигурации на MemGUI-Bench-40 показывает, что полный ConAct снизил общее количество ошибок с 99 до 58, то есть примерно на 41%. При этом процессуальные галлюцинации уменьшились с 52 до 30, а выходные галлюцинации — с 30 до 13, что является наиболее заметным улучшением. Это указывает на то, что ConAct в основном решает проблему галлюцинаций, вызванных контекстом, в то время как улучшения в области пробелов в знаниях и понимании намерений невелики, что говорит о том, что знания модели о приложениях, понимание намерений задач и устойчивость к среде остаются последующими узкими местами.
Для задач долгосрочной мобильной автоматизации перенос проблемы памяти GUI Agent из внешних модулей внутрь стратегической модели, позволяя агенту не только выполнять действия, но и учиться управлять самим процессом выполнения, является важным шагом от простого нажатия к реальному выполнению задачи.
