Репортаж от Wedoany，Burke, Inc. опубликовала новое исследование о надежности синтетических данных в коммерческих решениях и представила структуру FAR для оценки качества синтетических данных, которая измеряет их по трем параметрам: точность, достоверность и разрешение.
С ростом популярности вариантов синтетических данных академические круги и промышленность начали задаваться вопросом, могут ли они надежно направлять реальные решения. Исследование Burke сравнило различные методы синтеза, проверило, могут ли синтетические группы на основе больших языковых моделей (LLM) заменить респондентов-людей, сравнило производительность моделей генерации данных и синтетических групп, а также изучило важность качества исходных человеческих данных в сценариях синтетических данных.
Результаты показали, что синтетические группы на основе LLM могут быть полезны на ранних этапах исследования, но ненадежны на уровне решений, основанных на количественных выводах: при обычно цитируемом уровне точности 80% синтетические данные на основе LLM приводили к ошибочным выводам примерно в 60% протестированных бизнес-сценариев. Напротив, методы, использующие проверенные человеческие данные на уровне респондентов (называемые моделями генерации данных), показали значительно лучшие результаты, демонстрируя более широкий потенциал в приложениях поддержки принятия решений.
Ключевой частью исследования стала структура FAR от Burke, которая оценивает качество синтетических данных по трем параметрам: точность — соответствие синтетических данных исходному источнику фактов; достоверность — отражают ли синтетические ответы реальную вариативность, а не просто копируют существующие данные; разрешение — сохраняются ли взаимосвязи между переменными, сегментами рынка и бизнес-выводами.
Исследование также определило порог надежности решений, при котором синтетические методы с большей вероятностью сохраняют исследовательские выводы, что дает организациям важный сигнал для различения перспективных и ненадежных приложений.
Эли Мур, вице-президент по стратегии данных Burke, отметил, что организации все чаще слышат громкие заявления о синтетических данных, но ключевой вопрос не в том, звучат ли синтетические данные как клиенты, а в том, приводят ли они к тем же выводам, что и прямой диалог. Тания Фаррар, старший вице-президент по корпоративным инновациям Burke, указала, что искусственный интеллект влияет на то, как организации генерируют выводы и принимают решения, и есть возможность объединить высококачественные человеческие данные, передовое моделирование и экспертные оценки для создания более быстрых, умных и надежных результатов, сохраняя при этом реальный человеческий голос в центре исследований. Тара Маротти, президент и генеральный директор Burke, заявила, что цель компании всегда заключалась в помощи клиентам в принятии наилучших решений для их бизнеса, и это исследование помогает клиентам быть уверенными в преимуществах, ограничениях и наилучших способах применения каждого метода.
Эти выводы являются результатом работы Burke Labs, подразделения, занимающегося тестированием и ускорением новых решений в области ИИ и технологий для улучшения опыта респондентов, анализа и отчетности.
Burke, Inc. — ведущая консалтинговая компания по интеллектуальным решениям, помогающая организациям ускорять рост с помощью высококачественных исследований, передового анализа и экспертных рекомендаций в области инсайтов, стратегии, инноваций и обучения. Основанная в 1931 году, компания сочетает строгие измерения с человеко-ориентированным консультированием, помогая клиентам лучше понимать людей, рынки и возможности.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
