С нарастващото навлизане на изкуствения интелект (ИИ) в клиничната практика здравните организации трябва да подготвят конкретни процедури за реакция при инциденти, които могат да застрашат пациентската безопасност, да компрометират чувствителни данни или да нарушат работата на лечебните заведения. Това е основният акцент в новия Playbook for AI Clinical Resilience (PAICR), публикуван от Работната група по киберсигурност към Съвета за координация на здравния сектор (HSCC) в САЩ.
Документът от 26 страници предлага рамка за управление на рисковете от ИИ в болничната и извънболничната помощ. Разгледани са приложения, които подпомагат първоначалната оценка и триажа на пациенти, диагностиката, наблюдението на състоянието им, медицинската документация, планирането на графици и координацията на лечението. При подобни сценарии техническа неизправност, неточен резултат или неправомерно действие на автоматизирана система може да има последствия далеч отвъд обичайния ИТ инцидент.
Един универсален план не е достатъчен
Според HSCC броят и структурата на плановете за реакция трябва да отразяват клиничната значимост на съответния процес, функциите на използвания ИИ, степента му на автономност, интеграцията с медицинските системи и регулаторните изисквания.
При спешния триаж, интензивното наблюдение и подпомагането на хирургични решения грешките могат непосредствено да засегнат здравето на пациента. Затова тези приложения може да изискват отделни, подробно разработени процедури. Рисковете при административни задачи, например оптимизиране на графици, могат да бъдат обхванати от по-общи оперативни планове.
Различните типове ИИ също създават различни предизвикателства. Диагностичните и прогнозните модели могат да допускат погрешни класификации, да възпроизвеждат пристрастия или да влошават работата си с промяната на данните. Генеративните системи крият риск от подвеждаща информация, измислени отговори и изтичане на защитена здравна информация. Автоматизацията може да наруши целостта на данните или нормалното протичане на клиничните процеси, а системите за наблюдение – да генерират прекалено много предупреждения или да пропускат действително опасни състояния.
Особено внимание е необходимо при автономните ИИ агенти, които могат не само да препоръчват действия, но и да изпращат съобщения, актуализират медицински записи, маршрутизират случаи или задействат други инструменти. За тях HSCC препоръчва ограничени права за достъп, предварително разрешени действия, регистриране на изпълнението и задължително човешко одобрение преди промени, които могат да повлияят на пациента.
Необходима е точна инвентаризация на ИИ системите
Ключова стъпка е здравните организации да картографират използването на ИИ във всички етапи на предоставяне на медицинска помощ. Инвентаризацията трябва да описва предназначението на всяка система, входните и изходните данни, връзките с електронните здравни досиета и останалите клинични платформи, зависимостите между моделите и степента на човешки контрол.
При медицинските изделия с ИИ трябва да се документират и производителят, продуктовият модел, приложимите идентификатори, версиите на софтуера и модела, поддържаните конфигурации, локалните промени, външните услуги и възможностите за отдалечен достъп. Важни са също статусът на поддръжката и контактите за ескалация към производителя.
Разграничаването между регулирани медицински изделия, клиничен софтуер и административни приложения е съществено. Лечебното заведение не може автоматично да приема, че има право самостоятелно да променя всяка система. При регулирани изделия промени във функционалността или конфигурацията може да изискват разрешение или намеса от производителя.
Реакцията трябва да бъде предварително разпределена
PAICR предвижда плановете за реакция да бъдат интегрирани със съществуващите процедури за информационна сигурност, управление на качеството и клинични инциденти. Отговорностите трябва да са разпределени между медицинските специалисти, ИТ екипите, експертите по киберсигурност, управлението на риска, правните и регулаторните звена и ръководството. При регулирани или критични медицински системи трябва да участват и инженерите по медицинска техника, както и производителят, когато това е необходимо.
Активирането на процедурите следва да се основава на предварително определени и измерими показатели, а не само на сигнали, които могат да бъдат установени при последваща човешка проверка. Праговете за показатели като чувствителност, специфичност и честота на пропуснатите случаи трябва да бъдат определени според конкретния модел и клиничното му предназначение.
Преди спиране или връщане към предишна версия на критична система лечебното заведение трябва да оцени безопасността на алтернативния процес. Възстановяването на работата изисква както потвърждение, че производителят поддържа съответната версия и конфигурация, така и одобрение, че системата е безопасно интегрирана в местните клинични процедури.
Документът разграничава и различните регулаторни задължения. Изискванията на Американската агенция по храните и лекарствата (FDA) се отнасят до регулираните медицински изделия и съответните субекти, HIPAA урежда защитата на здравната информация и уведомяването при определени нарушения, а изискванията на Joint Commission са свързани с акредитацията и безопасността на пациентите. Тези направления трябва да бъдат отразени в отделни процедури, вместо да се обединяват в обща категория за съответствие.
Тестването е част от готовността
HSCC препоръчва плановете да бъдат подложени на редовни практически проверки. Настолните учения позволяват на ръководството, медицинските екипи, специалистите по сигурност и правните експерти да проиграят решенията и координацията при инцидент. Функционалните упражнения проверяват дали действително работят механизмите за откриване, ескалация, управление на достъпа, уведомяване на доставчици и поддържане на непрекъсваемостта на дейността.
При регулирани и критични медицински системи тестовете трябва да се провеждат в контролирана среда, освен ако производителят и лечебното заведение не са одобрили съвместно изпитване в реална експлоатация. Не трябва да се променят работещи медицински изделия или валидирани конфигурации единствено за целите на учение.
Основният принцип на PAICR е, че повече планове не означават непременно по-добра защита. Прекалено сложната структура може да забави реакцията в критичен момент. Затова организациите трябва да използват възможно най-малък брой ясни планове, допълнени с модули за конкретни сценарии. Целта е при възникване на проблем да е недвусмислено кой ръководи реакцията, какви действия са разрешени и как да бъдат ограничени рисковете за пациентите, без да се създават допълнителни опасности.
