Правда ли, что медицинский ИИ точнее врачей? Наш фреймворк помогает это выяснить
Что-то часто в последнее время нам обещают, что искусственный интеллект поставит диагноз точнее любого врача. По данным старшего научного сотрудника лаборатории «Сильный ИИ в медицине» AIRI Ильи Копаничука, такие заголовки — не более чем маркетинговая уловка.
Вместе с коллегами из ФГБУ «НМИЦ им. В. А. Алмазова» Минздрава России он опубликовал в Scientific Reports фреймворк, который проверяет качество медицинского ИИ без очковтирательства. Для нас, привыкших читать мелкий шрифт в договорах клиник, это повод разобрать, что стоит за красивыми процентами точности.
«Точность 90%» — и другие диагнозы из рекламного буклета
Главная проблема, которую вскрывает исследование, до боли знакома каждому, кто хоть раз заходил в частную клинику. Нам показывают красивый плакат с цифрой «90% точности», а на приёме — врач, который к этой цифре никакого отношения не имеет. По словам автора фреймворка, большинство медицинских тестов для ИИ устроены примитивно: модели предлагают выбрать один диагноз из короткого списка, а группа экспертов потом «голосует» за правильный ответ. В реальном приёме так не бывает — врач пишет диагноз в свободной форме и подбирает код МКБ потом, если нужно. Получается, «среднестатистический врач» из такого теста — фантом, не существующий ни в одной клинике.
Что проверяют по-честному
Команда AIRI собрала собственный датасет из 360 диалогов: 180 — реальных бесед врача с пациентом, 180 — диалогов модели с живым человеком. По меркам области, как отмечает автор, это вполне достаточный объём — для сравнения, Google опубликовался в Nature с 302 сэмплами. Вместо того чтобы сравнивать ИИ с усреднённым «консилиумом», фреймворк проверяет близость ответа модели к конкретным формулировкам конкретных экспертов. То есть отвечает на другой вопрос: достоин ли ИИ войти в пул реальных врачей, а не просто угадывать галочки в тесте.
Что спросить у клиники, если вам предлагают «диагностику ИИ»
Когда в следующий раз на сайте частной клиники вы увидите баннер «наш ИИ поставит диагноз точнее врача», не спешите записываться. По сути перед вами тот же коммерческий диагноз — только упакованный в нейросетевую обёртку. Имеете право потребовать: какая именно модель используется, на какой выборке она валидирована, проходила ли она клинические испытания по российским протоколам, и кто несёт ответственность за ошибочное заключение. Пока клиника не даст письменный ответ — это эксперимент за ваш счёт, и договор оказания медицинских услуг на таких условиях подписывать стоит только после консультации с юристом. Красивая цифра в рекламе и ваше здоровье в кабинете — это, как показывает свежее исследование, две очень разные истории.
