Чужди правителства и киберпрестъпни групи интегрират изкуствен интелект (ИИ) в своите операции – от разработване на фишинг кампании и усъвършенстване на зловреден софтуер до разпространение на пропаганда и автоматизиране на киберверигата на атака. Това става ясно от новия тримесечен доклад на OpenAI, озаглавен „Disrupting malicious uses of AI: an update“, който проследява най-новите случаи на злоупотреба с моделите ChatGPT и други генеративни инструменти.

ИИ в служба на познатите тактики

Докладът показва, че по-голямата част от чуждите злонамерени групировки и отделни лица не създават напълно нови методи на атака, а използват ИИ, за да ускорят и усъвършенстват вече познати тактики, техники и процедури (TTPs). Според OpenAI, хакерите „надграждат старите си схеми чрез ИИ, за да се движат по-бързо, а не за да открият нови офанзивни възможности“.

От февруари 2024 г. компанията активно следи използването на своите модели и вече е идентифицирала и блокирала над 40 мрежи, които са нарушавали политиките ѝ за етично използване. Сред тях има участници, свързани с Русия, Северна Корея и Китайската народна република, както и престъпни групи от Камбоджа, Мианмар и Нигерия.

Примери за злоупотреба с генеративни модели

OpenAI описва редица конкретни случаи, в които хакери са използвали ChatGPT и други ИИ системи за криминални цели:

• Руски групи са използвали модела, за да създават и оптимизират компоненти на зловреден код – включително отдалечен достъп (RAT), кражба на идентификационни данни и механизми за избягване на засичане.

• Севернокорейски оператори са експериментирали с ИИ при изграждане на C2 инфраструктури, фишинг страници и скриптове за автоматизация.

• Китайски акаунти, управлявани от технически компетентни, но не особено опитни лица, са използвали ChatGPT за създаване на фишинг шаблони и за проучване на методи за контрол на процеси, криптирани комуникации и изпълнение на отдалечен код.

Компанията уточнява, че не е открита доказателствена връзка между достъпа до моделите и появата на нови офанзивни способности, които не биха могли да бъдат постигнати чрез публично достъпни източници.

Пропаганда и политическо влияние

Докладът обръща внимание и на опитите за използване на ИИ при операции за влияние. Китайски акаунти, например, са опитвали да накарат модела да създава предложения за „системи за наблюдение на социални медии“ – с потенциална цел да се следи общественото мнение и дисидентската активност.

В други случаи руски кампании, като вече познатата „Stop News“, са използвали ChatGPT за генериране на съдържание за фалшиви новинарски сайтове и скриптове за кратки пропагандни видеа, публикувани в социалните мрежи.

Любопитна подробност е, че някои лица вече премахват ем тирета (—) от генерираните от ChatGPT текстове, за да прикрият произхода на съдържанието – признак, че се адаптират към стилистичните особености на модела.

От фишинг до финансови измами

Освен държавните оператори, OpenAI наблюдава и масово използване на ИИ от международни измамни мрежи, които се представят за финансови консултанти или работодатели. Тези групи създават фалшиви профили в социалните мрежи, реклами и сайтове на несъществуващи компании, за да примамват жертви към лични чатове или фалшиви инвестиционни платформи.

Повечето от тези измами използват ChatGPT за елементарни задачи като превод, проверка на текст или формулиране на съобщения, което доказва, че престъпният „репертоар“ остава същият – просто се автоматизира.

Как реагира OpenAI

OpenAI подчертава, че когато засече дейност, нарушаваща нейните политики, незабавно блокира съответните акаунти и в някои случаи споделя информация с партньори и служби за сигурност. Целта е да се повиши осведомеността за злоупотребите и да се подобрят защитите за крайните потребители.

Компанията уверява, че е „посветена на откриването, предотвратяването и прекъсването на опитите за злоупотреба с моделите ѝ за злонамерени цели“.

Докладът е поредното напомняне, че генеративният ИИ се превръща в инструмент не само за иновации, но и за киберпрестъпност. Въпреки че засега повечето атакуващи използват технологиите по познати пътища, експертите предупреждават, че в бъдеще автоматизацията може да направи злонамерените кампании още по-мащабни, персонализирани и трудни за засичане.