Риски использования неконтролируемого ИИ в медицинских системах

Исследование, проведённое Vanson Bourne среди 250 IT- и security-лидеров в здравоохранении США, оформлено в доклад «The Agentic AI Trust Gap: Why Healthcare Needs Identity-Led Governance» и вскрывает жёсткий разрыв между самоуверенностью топов и реальной картиной. Для пациента это транслируется в простую штуку: автономные агенты уже лезут в EHR и работают с персональными данными — без внятного аудита и понятной зоны ответственности.

Разрыв между self-confidence и фактами

86% руководителей уверены, что полностью контролируют действия ИИ-агентов. Параллельно 88% ожидают, что агенты будут работать с той или иной степенью автономности, а существующие IAM-фреймворки считают достаточными лишь 17%. Контроль — иллюзия, которую массово разделяет менеджмент.

Особенно показателен один пассаж: наличие Chief AI Officer проблему не закрывает. В организациях с такой позицией 73% всё равно фиксируют ИИ-инструменты без IT-одобрения. У систем с CIO — 54%, у CISO-led структур — 44%. Отдельная вывеска «за AI» не равно governance.

Почему это бьёт по пациенту

Автономный агент без нормальной идентичности в клинической системе — чёрный ящик. Он дёргает данные из EHR, формирует клинические записи и выгрузки PHI, а в логах невозможно отследить, кто или что санкционировал действие. Если алгоритм ошибётся в клиническом контексте, откроет доступ к чужим анализам или скорректирует схему лечения — разбираться будет некому. Аудит размывается, ответственность по HIPAA превращается в юридический туман.

В практической плоскости: ваши данные могут обрабатывать модели, которые никто не проверял, а клиника не сможет внятно объяснить, кто принял решение по вашему кейсу — врач, LLM или непонятный сервис-аккаунт.

Что имеет смысл спрашивать

Выбирая клинику или телемед-сервис с ИИ-фичами, не стесняйтесь уточнять:

проходил ли ИИ-модуль внутреннюю валидацию и есть ли у него документированная модель угроз;

как разграничены доступы — отдельная ли это identity или «позаимствованный» логин врача;

кто по документам отвечает за ошибочное решение алгоритма — клиника или вендор.

Imprivata в своём докладе продвигает переход к многоуровневому риск-ориентированному контролю и описывает пять опорных практик для управления агентским AI. Но пока эти практики не станут индустриальным стандартом, проверять придётся руками — на уровне конкретной клиники.