Американският Национален институт за стандарти и технологии (NIST) публикува първи проект на документ, който систематизира атаките срещу системи за машинно обучение, включително автономни ИИ агенти, и методите за ограничаване на последствията. Общественото обсъждане е отворено до 18 декември 2026 г.

Документът NIST SP 2400-102e2026, озаглавен Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, предлага обща терминология и йерархична класификация на атаките срещу системи със свръхинтелект (SI). Разработката се основава на преглед на научната литература, консултации със специалисти по адверсарно машинно обучение и изследвания на експерти от NIST.

Целта е да се създаде общ език за описване на заплахите, който да подпомогне бъдещи стандарти и практически ръководства за оценка и управление на сигурността на тези системи.

Класификация според типа система и етапа на атаката

Таксономията разграничава три основни категории системи: предиктивни модели за машинно обучение (PredML), генеративни системи със свръхинтелект (GenSI) и агентни SI системи. Атаките се класифицират според типа на системата, етапа от жизнения цикъл на машинното обучение, целите на нападателя, неговите възможности и нивото му на познаване на модела и процесите около него.

Документът разглежда не само самия модел, но и данните, обучението, тестването и внедряването, както и софтуерната и системната инфраструктура, в която той работи. Това включва например генеративни модели с достъп до частни данни или инструменти, чрез които могат да предприемат действия с реални последствия.

Сред разглежданите техники са манипулиране на обучаващи данни, злонамерени промени във входните данни, вмъкване на троянска функционалност, директно подаване на злонамерени инструкции, извличане на информация и непряка prompt injection атака. При предиктивните модели са включени и атаките чрез заобикаляне на защитите, отравяне на данни и нарушения на поверителността.

NIST добавя отделен индекс за атаките срещу агентни SI системи, който позволява по-прецизно ориентиране в документа и препращане към конкретни категории.

Ограниченията на защитните механизми

Докладът разглежда методи за смекчаване на атаките и управление на последствията през целия жизнен цикъл на системите. Важен акцент са ограниченията на съществуващите защитни техники.

Според NIST много от използваните мерки се основават на емпирични резултати – те изглеждат ефективни при определени тестове и условия, но не разполагат с формални гаранции за сигурност. За разлика от някои криптографски алгоритми, широко използваните алгоритми за машинно обучение нямат доказателства за сигурност в информационно-теоретичен смисъл.

Изследванията показват и теоретични ограничения пред възможността за пълна устойчивост на системите срещу адверсарни атаки. Например, ако даден модел запазва дори малка вероятност да произведе нежелано поведение, могат да съществуват входни инструкции, които да го предизвикат. Това означава, че процесите за настройване и подравняване на моделите не могат сами по себе си да гарантират пълно елиминиране на риска.

NIST подчертава, че тези ограничения не обезсмислят предварителното тестване и red teaming. Те могат да премахнат множество възможности за атака или да повишат необходимите усилия и способности на нападателя. Но организациите трябва да допълват тестовете с мерки за устойчивост, готовност за инциденти и управление на остатъчния риск, като приемат, че пробив е възможен.

Общественото обсъждане търси нови атаки и терминология

NIST очаква коментари по три основни въпроса: кои са най-новите атаки срещу съществуващите и агентните SI системи, кои защитни мерки са доказали ефективността си срещу тях и дали има нови понятия, които трябва да бъдат стандартизирани.

Институтът уточнява, че документът се фокусира върху атаките, специфични за адверсарното машинно обучение. Традиционните кибератаки срещу платформите и инфраструктурата, на които работят моделите, остават в обхвата на съществуващите таксономии за киберсигурност.

Докладът не определя какво ниво на риск трябва да приемат организациите – това зависи от конкретното приложение и контекста на използване. NIST обаче посочва необходимостта защитата на SI системите да обединява методите от областта на адверсарното машинно обучение с утвърдените практики за разработване на сигурен софтуер.

Част от по-широка инициатива за сигурност на автономните системи

Новият проект следва поредица от федерални насоки за защита на автономни системи и системи с ИИ. На 16 октомври NIST, NSA и CISA публикуваха десет доброволни практики за управление на инциденти по време на обучение и оценяване на системи със свръхинтелект. Те обхващат подготовката, откриването, реакцията, възстановяването и докладването, включително ситуации, при които агент предприема значими действия без изрично указание.

По-рано NSA публикува и насоки за прилагане на принципите на Zero Trust към оперативни технологични системи, използвани в отбраната, националната сигурност и критичната инфраструктура. В тях се предупреждава, че нападателите могат да използват възможностите на SI за автоматизиране на разузнаването, ускоряване на разработването на експлойти и провеждане на кибероперации в по-голям мащаб.

Общата посока на тези документи е преминаване от общи принципи за управление на риска при ИИ към конкретни оперативни мерки – непрекъснато наблюдение, ограничаване на действията, управление на инциденти и проверка на достъпа до системите.

NIST планира да актуализира таксономията с появата на нови атаки и защитни механизми.