Исследователи разработали инструмент G‑AUDIT для выявления скрытых проблем в данных, используемых для обучения медицинского искусственного интеллекта. Это связано с тем, что ИИ иногда делает выводы, основываясь на несущественных характеристиках, а не на действительно важных признаках, что можно сравнить с лошадью Ганса, которая «считала», улавливая незаметные подсказки своего хозяина. Например, модель, предназначенная для определения пола по глазам, могла ориентироваться не на биологические особенности, а на наличие туши для ресниц.
Инструмент анализирует обучающие данные и выявляет элементы, которые могут ввести ИИ в заблуждение. В одном из наборов данных о раке кожи были изображения из разных клиник, где случаи рака встречались с разной частотой, а качество аппаратуры также различалось. На фото из онкологических клиник зачастую попадались линейки, которые использовались для отслеживания роста новообразований. Это могло привести к тому, что ИИ ошибочно предполагал, что рак предсказывается линейкой или характеристиками камеры. В реальных условиях, например, при съемке на смартфон, этих факторов не будет, что сделает работу модели ненадежной.
G‑AUDIT проверяет различные типы данных, включая изображения и таблицы, и ранжирует признаки, которые могут привести к ошибочным выводам. Авторы подчеркивают, что важно не только проверять уже готовую модель, но и заранее идентифицировать потенциальные проблемы в данных. В будущем планируется развить этот инструмент и применить его не только в медицине.
Ранее Наука Mail сообщала о том, что хакеры научились подменять «воспоминания» ИИ, что стало новой угрозой.
Информация в статье носит справочный характер и не заменяет консультацию врача. Перед применением рекомендаций обратитесь к специалисту.
Фото: hi-tech.mail.ru
Материалы проходят проверку с учетом современных клинических рекомендаций, научных данных и практического опыта врачей. Основная задача Медколлегии — обеспечить достоверность, актуальность и понятность медицинской информации для пользователей.