Искусственный интеллект активно используется в медицинской сфере — от диагностики заболеваний до прогнозирования результатов лечения. Однако многие из этих систем функционируют как «черный ящик», предоставляя результаты без объяснения логики их принятия, что затрудняет врачам оценку возможных ошибок. Новые правила требуют большей прозрачности и контроля со стороны специалистов.
Одним из решений является использование концептуальных моделей ИИ, которые принимают решения на основе клинически значимых данных, таких как артериальное давление, температура, размеры опухолей и аномалии на изображениях. Врачи получают возможность видеть, какие факторы повлияли на результат, и могут детально его анализировать. Однако такие модели могут быть уязвимыми из-за «утечки информации», когда данные содержат скрытые аспекты, недоступные для человеческого восприятия. В результате система может выглядеть интерпретируемой, но фактически действовать как скрытый «черный ящик».
Вместо того чтобы ставить телегу впереди лошади, пока сфера ИИ стремительно внедряет модели для решения реальных проблем, мы сделали шаг назад, чтобы понять, что нужно для того, чтобы эти системы были безопасными и надежными. Наша работа была сосредоточена на выявлении ограничений и их устранении, чтобы мы могли более безопасно внедрять эти модели в клиническую практику
Фото: hi-tech.mail.ru
Материалы проходят проверку с учетом современных клинических рекомендаций, научных данных и практического опыта врачей. Основная задача Медколлегии — обеспечить достоверность, актуальность и понятность медицинской информации для пользователей.