Репортаж от Wedoany，Компания Google обновила бенчмарк Android Bench, используемый для оценки производительности больших языковых моделей (LLM) в задачах разработки под Android. Инженеры Google переработали методологию тестирования, добавили новые модели и разрешили разработчикам участвовать в создании тестовых наборов.
Основное изменение в обновлении — переход на фреймворк Harbor, который теперь отвечает за выполнение всех тестов Android Bench. Это изменение обеспечивает более согласованную оценку моделей, воспроизводимость результатов и возможность быстрее добавлять новые тестовые сценарии. Кроме того, новая система оценивает не только качество ответов, но и стоимость и эффективность конкретной LLM.
Сторонние разработчики теперь могут влиять на направление развития бенчмарка. Google призывает разработчиков делиться реальными рабочими задачами и обсуждать методы оценки моделей, что поможет регулярно обновлять тестовые наборы и точнее отражать сценарии использования LLM в разработке под Android.
В таблицу результатов добавлены несколько языковых моделей, включая Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Max и Qwen 3.7 Plus. В настоящее время тройку лидеров составляют Claude Fable 5, GPT 5.5 и Claude Sonnet 5.
