Применение искусственного интеллекта в медицине связано с риском повторения расовых и гендерных стереотипов в создаваемых текстах. Исследователи из университета Флиндерса в Австралии изучили две современные модели с улучшенными способностями к рассуждению — o3-mini и DeepSeek-R1. Выяснилось, что даже эти продвинутые алгоритмы не обеспечивают справедливого описания пациентов.
В ходе исследования модели сгенерировали 36 тысяч вымышленных клинических случаев с распространенными заболеваниями. Анализ показал, что обе системы часто искажают фактическое распределение расы и пола при различных диагнозах. Эта проблема была замечена и в предыдущей версии GPT-4, а новые модели не только не исправили ситуацию, но в некоторых аспектах продемонстрировали даже более высокий уровень искажений.
Например, чернокожие пациенты чаще упоминались в описаниях таких заболеваний, как саркоидоз, системная красная волчанка, преэклампсия и эссенциальная гипертензия. В моделях o3-mini и DeepSeek-R1 медианное отклонение от реальной статистики составило 44% и 31% соответственно, тогда как у GPT-4 этот показатель равнялся 15%. Такого рода завышение доли определенных групп может укрепить ошибочные демографические стереотипы в клиническом мышлении.
Информация в статье носит справочный характер и не заменяет консультацию врача. Перед применением рекомендаций обратитесь к специалисту.
Анализ внутренней логики DeepSeek-R1 показал, что модель связывала заболевания с демографическими группами, опираясь на стереотипные ассоциации, а не на точные эпидемиологические данные. Аналогичным образом модели преувеличивали долю большинства по половому признаку, что соответствует ранее отмеченным тенденциям ИИ к гендерным стереотипам в медицинских текстах.
Результаты указывают на то, что улучшение вычислительных характеристик ИИ не приводит к автоматическому повышению объективности в представлении демографических групп. Для безопасного применения таких систем в медицине необходим регулярный контроль предвзятостей и учет стандартных демографических установок, заложенных в моделях.
Ранее Наука Mail сообщала о том, что ИИ доверили дозировку кислорода пациентам в больницах.
Фото: hi-tech.mail.ru
Материалы проходят проверку с учетом современных клинических рекомендаций, научных данных и практического опыта врачей. Основная задача Медколлегии — обеспечить достоверность, актуальность и понятность медицинской информации для пользователей.