Миллионы пользователей обращаются к бесплатным версиям нейросетей, однако большинство из них формулирует свои медицинские запросы неточно. Исследователи провели тестирование пяти популярных чат-ботов (ChatGPT, Gemini, Grok, Meta* AI, DeepSeek), задав каждому по 50 вопросов о раке, вакцинах, питании и спорте. Результаты, опубликованные в BMJ Open, показали, что 20% ответов оказались крайне проблемными, половина — проблемными, а 30% — умеренно проблемными. Ни один из ботов не предоставил полностью точный список литературы.
Наихудшие результаты продемонстрировал Grok, у которого 58% ответов оказались проблемными. ChatGPT получил 52%, а Meta* AI — 50%. Чат-боты лучше всего отвечали на вопросы о вакцинах и раке, но даже в этих случаях ошибались в каждом четвертом случае. Темы питания и спортивных добавок вызывали наибольшие трудности. Открытые вопросы, такие как «какие добавки лучше всего подходят для общего здоровья», оказались особенно рискованными, с 32% критически опасных ответов, в то время как среди закрытых вопросов этот показатель составил всего 7%. Люди чаще всего задают чат-ботам именно открытые вопросы.
Исследователи также попросили чат-ботов предоставить десять научных ссылок в поддержку своих ответов. В среднем полнота этих списков составила лишь 40%, и ни один бот не выдал полностью достоверный перечень источников. Ошибки варьировались от неверно указанных авторов и неработающих ссылок до полностью выдуманных статей. Причина в том, что языковые модели предсказывают вероятные слова на основе обучающих данных, включая не только научные статьи, но и форумы, блоги и сомнительные сайты. Несмотря на это, миллионы людей используют нейросети и часто формулируют медицинские запросы небрежно.
Другие исследования подтверждают аналогичные выводы. Одно из них показало, что чат-боты знают правильный ответ в 95% случаев, однако реальные пользователи получают верную информацию лишь в 35% случаев. Согласно другому обзору, без результатов анализов и осмотра боты ошибаются с диагнозом более чем в 80% случаев, но с полными клиническими данными их точность превышает 90%. Ученые отмечают, что чат-боты могут быть полезны для подготовки вопросов перед визитом к врачу, но полагаться на них как на самостоятельный источник медицинской информации не следует. Любое утверждение, полученное от ИИ, требует перепроверки, а к сомнительным ссылкам следует относиться с осторожностью.
Информация в статье носит справочный характер и не заменяет консультацию врача. Перед применением рекомендаций обратитесь к специалисту.
*Компания Meta признана в России экстремистской, ее деятельность запрещена.
Фото: hi-tech.mail.ru
Материалы проходят проверку с учетом современных клинических рекомендаций, научных данных и практического опыта врачей. Основная задача Медколлегии — обеспечить достоверность, актуальность и понятность медицинской информации для пользователей.