Врачи могут по-разному трактовать один и тот же диагноз, что влияет на оценку искусственного интеллекта (ИИ), зависящую от мнения конкретного специалиста. Исследователи из Центра ИИ МГУ, совместно с AIRI и НМИЦ имени Алмазова, разработали метод, который учитывает уровень согласия между врачами.
Авторы представили два относительных показателя, которые сравнивают согласованность ответов модели и врачей с согласованностью мнений самих врачей. Кроме того, был создан алгоритм, который определяет, какие формулировки диагнозов являются совпадениями. Он объединяет оценки языковых моделей, данные из Международной классификации болезней и признаки схожести текстов.
Если врачи расходятся во мнениях, оценка ИИ по ответу одного специалиста может дать неполную картину. Мы предлагаем учитывать и ответы модели, и степень согласия между самими врачами. Это помогает понять, насколько выводы системы соответствуют экспертным оценкам. Однако такая проверка не заменяет оценку правильности диагнозов и безопасности применения системы в клинической практике.
Фото: hi-tech.mail.ru
Материалы проходят проверку с учетом современных клинических рекомендаций, научных данных и практического опыта врачей. Основная задача Медколлегии — обеспечить достоверность, актуальность и понятность медицинской информации для пользователей.

