Репортаж от Wedoany，Недавно исследовательская группа Университета штата Пенсильвания опубликовала исследование надежности больших языковых моделей в медицинских консультациях. Согласно исследованию, искусственный интеллект в чат-ботах, отвечающих на повседневные вопросы обычных пользователей о здоровье, демонстрирует общую точность около 76,2%. Этот результат вновь привлек внимание к границам надежности ИИ в медицинских консультациях, обслуживании клиентов и сценариях с высокими рисками.
Исследование было сосредоточено на вопросах о здоровье, которые могут возникнуть у обычных пользователей интернета, а не только на тестовых заданиях из медицинских экзаменов или заранее подготовленных клинических случаях. Исследовательская группа организовала в Университете штата Пенсильвания конкурс по вопросам и ответам с ИИ под названием «Diagnose-a-thon». 34 участника представили 212 наборов подсказок и ответов, сгенерированных ИИ, на основе реальных или вымышленных вопросов о здоровье. Использовались такие модели, как ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro и Llama3-8b. Затем девять сертифицированных врачей оценили точность этих ответов и их потенциальный вред. Результаты показали, что около 76,2% ответов, сгенерированных ИИ, были признаны содержащими точную информацию, однако уровень ошибок превысил 20%. В такой области, как медицина, где допустимая погрешность крайне мала, этот показатель может повлиять на доверие пользователей к системе.
Исследование также выявило значительные различия в эффективности ИИ в зависимости от медицинской специальности. В таких областях, как акушерство и гинекология, оториноларингология, ответы ИИ были более эффективными и имели более низкий рейтинг потенциального вреда. В то же время в таких направлениях, как внутренние болезни, неврология и дерматология, эффективность ответов была ниже, а потенциальные риски — выше. Качество подсказок также влияло на результаты: более конкретные вопросы и запросы длиной от 60 до 250 символов чаще приводили к точным ответам.
Эти результаты имеют прямое значение для медицинских ИИ-систем и систем обслуживания клиентов. Если чат-боты по вопросам здоровья напрямую взаимодействуют с пациентами, пользователи часто воспринимают ответы как диагностические рекомендации или руководство к действию, в то время как модели могут не обладать способностью проводить физический осмотр, уточнять историю болезни, анализировать лабораторные и визуализационные данные или оценивать клинические риски. Для больниц, страховых компаний, аптечных платформ и цифровых медицинских предприятий ИИ больше подходит для выполнения таких задач, как первичная обработка информации, обобщение материалов перед приемом, объяснение часто задаваемых вопросов и помощь врачам в поиске информации. Окончательное решение, подтверждение и коммуникация должны оставаться за обученными врачами. Особенно в таких областях, как неврология и дерматология, которые в значительной степени зависят от профессионального опыта и клинических наблюдений, ответы ИИ должны быть интегрированы в рабочий процесс врача, а не служить окончательным основанием для самостоятельной диагностики пациентов.
Команда Университета штата Пенсильвания считает, что ИИ не заменит врачей-людей, но может повысить их способность обрабатывать информацию, объяснять медицинские знания и обслуживать пациентов. Результаты исследования будут представлены на конференции ACM по справедливости, подотчетности и прозрачности 2026 года, которая пройдет с 25 по 28 июня в Монреале, Канада. По мере того как чат-боты все активнее внедряются в системы здравоохранения, финансов, государственного управления и корпоративного обслуживания клиентов, точность, предупреждения о рисках, механизмы привлечения специалистов и границы ответственности станут ключевыми условиями для масштабного внедрения ИИ-ассистентов.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
