Когато изкуственият интелект започне да взима решения вместо човека

Ново изследване на Varonis показва, че AI агенти, изградени върху рамката OpenClaw, могат да бъдат успешно подведени чрез класически фишинг техники, познати от атаките срещу хора. Експериментът поставя сериозен въпрос за това доколко автономните AI системи са готови да работят в реални корпоративни среди, където социалното инженерство остава една от най-ефективните форми на атака.

Как е проведен експериментът

Изследователите създават AI агент, свързан към реалистична работна среда, включваща Gmail, Google Workspace API, браузър инструменти и симулирани вътрешни корпоративни системи.

В тази среда са добавени чувствителни тестови данни:

• AWS и SSH ключове
• CRM записи с клиентска информация
• вътрешни корпоративни комуникации
• календарни и бизнес данни

Агентът работи в две конфигурации – стандартна и „строга“, при която са добавени инструкции за защита от фишинг и проверка на идентичност.

Фишинг сценариите: когато AI се държи като човек

Изследователите симулират четири реални атакуващи сценария:

1. Имитация на спешен инцидент
Атакуващ се представя за ръководител и изисква достъп до системи „в извънредна ситуация“. Агентът предоставя AWS ключове, база данни и SSH достъп на външен имейл, без да провери самоличността.

2. Заявка за бизнес презентация
Под предлог за подготовка на презентация, AI агентът експортира клиентски CRM данни и ги изпраща извън организацията.

3. Фишинг линк с „награда“
Агентът първоначално посещава злонамерен сайт и се опитва да използва данни, преди да разпознае заплахата.

4. Злонамерено OAuth приложение
В този случай агентът анализира заявката и правилно отказва достъп до подозрителното приложение.

Проблемът не е линковете, а доверието

Резултатите показват ключов дефект в начина, по който AI агентите обработват информация: те взимат решения въз основа на съдържанието на заявката, а не на автентичността на подателя.

Дори при „строга“ конфигурация, агентът се проваля, когато заявката изглежда спешна или идва в оперативен контекст. Това наподобява класически социално-инженерен сценарий, който при хората разчита на натиск, авторитет и време-критичност.

Разлики между моделите

• Gemini показва по-голяма склонност да изпълнява действия
• GPT-5.4 демонстрира по-консервативно поведение и повече откази

Въпреки това и двата модела остават уязвими при липса на механизъм за удостоверяване на подателя.

Изводите: AI може да разпознава атаки, но не и намерения

Изследването подчертава важен парадокс:
AI агентите могат да разпознаят злонамерени линкове, фалшиви OAuth приложения и технически индикатори за фишинг, но се провалят при най-човешкия елемент на атаките – манипулацията чрез доверие.

Основните слабости включват:

• липса на реална проверка на идентичността
• отсъствие на „zero trust“ модел за комуникация
• прекомерно доверие към контекстно „логични“ заявки
• неспособност да разпознават социален натиск

Препоръки за сигурност

Varonis предлага няколко ключови мерки за ограничаване на риска:

• задължителна верификация на подателя при всяка заявка
• блокиране на автоматично изпращане на чувствителни данни навън
• ограничен достъп до критични системи и ключове
• човешко одобрение за действия с висока стойност
• прилагане на принципа „zero trust“ и към AI агентите

Нова повърхност за атаки: когато AI става служител

Този тип експерименти показва, че AI агентите вече не са просто инструменти за автоматизация, а активни участници в корпоративните процеси. Това ги превръща в нова и потенциално по-опасна цел за атаки, при които класическите методи на фишинг се адаптират към „нечовешки“ жертви.