С навлизането на автономните ИИ агенти в корпоративните и потребителските системи традиционният модел за управление на идентичността и достъпа се нуждае от сериозно преосмисляне. NIST предлага десет принципа, които поставят акцент върху уникалната идентичност на всеки агент, минималните привилегии, краткотрайния достъп, човешкия надзор и независимото регистриране на действията.

Националният институт за стандарти и технологии на САЩ (NIST) представи десет проектни принципа за системи за управление на идентичността и достъпа на ИИ агенти. Насоките обхващат както корпоративни, така и потребителски приложения и отразяват един от основните проблеми при разширяването на агентния ИИ: как да се предоставя автономност на софтуерни агенти, без те да получават неконтролирана власт върху данни, системи и услуги.

Документът е разработен от изследователи на NIST – Харолд Буут, Бил Фишър, Райън Галюцо и Том Кланси. Според тях принципите трябва да се прилагат в зависимост от риска на конкретните транзакции, средата на работа и ресурсите, с които агентите взаимодействат. Това не е универсален набор от задължителни технически изисквания, а начална рамка за проектиране и оценка на системи за управление на агентна идентичност.

Предложението идва в момент, когато ИИ агентите все по-често изпълняват задачи от името на хора и организации – използват външни инструменти, извикват API интерфейси, обработват чувствителна информация и взаимодействат с други агенти и услуги. В подобна среда идентичността вече не е просто въпрос кой потребител влиза в системата, а и кой софтуерен компонент действа, от чие име, с какви правомощия и в рамките на каква задача.

Десет принципа за управление на агентната идентичност

Първата група принципи определя как агентите трябва да бъдат идентифицирани и как да се проследява връзката им с лицата или организациите, които възлагат задачите.

1. Уникална и проверима идентичност

Всеки ИИ агент трябва да разполага със собствена идентичност, която може да бъде криптографски проверена. Тя трябва да го отличава от човешките потребители и традиционните служебни акаунти и, когато е възможно, да бъде обвързана с конкретно работно натоварване, среда и одобрена конфигурация.

NIST препоръчва жизненият цикъл на идентичността, удостоверенията и правата на агентите да бъде отделен от този на човешките потребители. Така се намалява възможността агент да се представя за човек или за друга системна идентичност, а действията му могат да бъдат проследени до конкретния софтуерен компонент.

2. Криптографска връзка между агента и възложителя

Агентът и субектът, който е възложил задачата – човек, организация, служебен акаунт или друг агент – трябва да останат криптографски свързани през целия процес на изпълнение.

Това създава проследима верига на доверие и позволява да се установи кой носи отговорност за дадено действие. При потребителски приложения NIST допуска и анонимни или псевдонимни транзакции, когато съществуват подходящи технологии за защита на личната информация.

Когато агент делегира задача на подчинен агент или външна услуга, правомощията трябва да се ограничават допълнително. Следващият участник във веригата не бива да получава повече права от тези, с които разполага първоначалният агент.

Достъп без постоянни привилегии

Следващите принципи са насочени към ограничаването на достъпа и предотвратяването на ситуации, при които компрометиран или манипулиран агент може да използва прекомерни правомощия.

3. Минимални привилегии и липса на постоянен достъп

Агентите не трябва да разполагат с постоянно активни права, когато не изпълняват задача. Достъпът им трябва да се предоставя само за конкретната операция и да обхваща минималния набор от ресурси, необходими за нейното изпълнение.

NIST поставя акцент и върху разделението на задълженията. Един агент не трябва да може да комбинира несъвместими привилегии по начин, който заобикаля организационните механизми за контрол.

Рискът е съществен: агент с широки постоянни права може да извърши непредвидени действия, да бъде манипулиран чрез злонамерени инструкции или да се превърне в средство за достигане до чувствителни данни и критични операции.

4. Временни разрешения и непрекъсната проверка

Правата трябва да се предоставят точно когато са необходими, за ограничен период и за конкретна аудитория или ресурс. Всяко извикване на инструмент, API операция или достъп до ресурс следва да преминава през проверка в реално време.

Решението трябва да отчита текущото състояние на системата, контекста на изпълнение и оценката на риска. При необичайно поведение или промяна в условията разрешенията трябва да могат да бъдат ограничени или отнети.

NIST препоръчва да се избягват дълготрайни токени за достъп и статични, повторно използваеми тайни. Вместо това агентите трябва да получават временни удостоверения при започване на конкретна задача. Така компрометирането на един токен не би осигурявало продължителен достъп до системите.

Човешки надзор и отделяне на политиките от ИИ логиката

Друг важен акцент е необходимостта автономността да има предварително определени граници, а решенията с висок риск да не се оставят единствено на агента.

5. Човешки контрол при действия с висок риск

Всяка организация трябва да определи прагове на риска, при които действията на агентите задължително се преглеждат и одобряват от човек. Системите трябва да насочват заявката към компетентния служител и да предоставят достатъчно информация за оценка на ситуацията.

NIST обръща внимание и на т.нар. умора от съгласия – ситуация, при която прекалено честите искания за одобрение водят до механично потвърждаване, без реална преценка на риска. Следователно човешкият надзор трябва да бъде насочен към съществените решения, а не да се превръща в непрекъснат поток от формални потвърждения.

Без ясни прагове за ескалация дефектен, халюциниращ или манипулиран агент може да предизвика действия с необратими последици.

6. Криптографски подписани мандати за изпълнение

Субектът, който възлага задачата, може да създаде криптографски подписан мандат, определящ очаквания резултат и ограниченията за действията на агента. Той може да бъде генериран при възлагането, да бъде част от корпоративна конфигурация или да произтича от предварително одобрен шаблон.

Последващите приложения и услуги могат да проверяват подписа и да използват зададените ограничения при вземането на решения за достъп. Така се създава допълнителна основа за контрол, одит и установяване на отговорността. В потребителски сценарии мандатите трябва да избягват ненужно разкриване на чувствителна информация за лицето, което е възложило задачата.

7. Архитектурно разделяне на логиката от контрола на достъпа

Един от най-съществените принципи е разделянето на системите, които определят какво агентът се опитва да направи, от механизмите, които решават какво има право да направи.

NIST предупреждава, че езиковите модели обработват данни и инструкции в общ поток от токени. Това не осигурява вградена граница между съдържание и управляващи инструкции. Затова злонамерен текст, обработен от агента, може да повлияе на поведението му – включително чрез атаки с внедряване на инструкции (prompt injection).

Според NIST тази граница трябва да бъде гарантирана архитектурно. Предпазните инструкции и ограниченията в самия модел не са достатъчни, ако агентът разполага с достъп до механизми, които могат да променят неговите удостоверения или да разширят правомощията му.

8. Детерминистични решения за достъп

Решенията за предоставяне или отказ на достъп трябва да се основават преди всичко на детерминистични механизми. Вероятностната информация, генерирана от ИИ моделите, може да подпомага оценката, но не трябва да бъде основният критерий за разрешаване на чувствителни операции.

Този подход прави контрола по-предвидим и ограничава възможността атака чрез внедряване на инструкции да промени правата на агента. Моделът може да предложи действие, но отделен механизъм трябва да провери дали то е допустимо спрямо предварително определените правила и ограничения.

Непрекъснато наблюдение и надеждни доказателства

Последните два принципа са насочени към откриването на отклонения и запазването на доказателства за действията на агентите.

9. Наблюдение на поведението и промените в риска

Агентите могат да изпълняват операции с честота и мащаб, които надхвърлят възможностите на човешкия контрол и на много традиционни системи за автоматизация. Затова NIST препоръчва специализирани показатели, прагове и политики за наблюдение на техните взаимодействия.

Системите трябва да откриват необичайно поведение, промени в конфигурацията и отклонения от първоначалния контекст на задачата. Особено внимание е необходимо при продължително работещи агенти и такива, които взаимодействат с множество инструменти и услуги.

10. Независими и защитени от подправяне записи

Организациите трябва да поддържат непрекъсната, защитена от манипулация история на идентичността на агента, делегираните му правомощия, възложената задача и извършените действия.

Тази инфраструктура за регистриране трябва да бъде независима от самия агент. Ако компрометиран агент може да променя собствените си записи, той би могъл да заличи или подмени следите от действията си.

NIST препоръчва доказателствата да се съхраняват в режим само за добавяне (append-only), така че да осигуряват надеждна основа за разследване на инциденти, анализ на отклонения и установяване на отговорност.

Един принцип не е достатъчен срещу сложните атаки

NIST подчертава, че отделните принципи трябва да се разглеждат като взаимно допълващи се механизми. Като пример изследователите посочват атаките тип „объркан заместник“ (confused deputy), при които чрез внедрена инструкция агент с широкообхватни права може да бъде подведен да извърши действие, което иначе не би трябвало да изпълнява.

За ограничаването на подобен сценарий не е достатъчно само да се проследява кой е възложил задачата. Необходими са и минимални привилегии, архитектурно разделяне между логиката на агента и контрола на достъпа, както и детерминистично прилагане на разрешените граници.

Изследователите признават, че съществуващите стандарти и технологии все още може да не осигуряват пълна поддръжка на всички предложени принципи при различните модели на внедряване. Някои от тях ще изискват допълнителна техническа работа и проверка в реални условия.

Следваща стъпка: практически демонстрации

Предложената рамка ще послужи като основа за демонстрации на Националния център за върхови постижения в киберсигурността към NIST. Целта е да се проучи как съществуващите стандарти и технологии могат да бъдат използвани за изграждане на надеждни механизми за идентичност, удостоверяване и оторизация на ИИ агенти.

За организациите основният извод е, че въвеждането на агентни системи не трябва да се разглежда единствено като внедряване на нов софтуерен инструмент. То променя модела на достъп до корпоративните ресурси и създава нов клас цифрови субекти, които могат да действат автономно, да делегират задачи и да взаимодействат с множество системи.

Затова управлението на агентите трябва да бъде включено в архитектурата за управление на идентичността и достъпа (IAM), а не да се оставя само на настройките на конкретния ИИ продукт. Уникалната идентичност, ограничените и временни права, независимият контрол и надеждните записи са условия за това автономността да не се превръща в неконтролиран достъп.