Изследователи на Google засекли първи случай на вероятно ИИ-генериран zero-day exploit

Екипът на Google Threat Intelligence Group (GTIG) съобщи за първи известен случай, при който заплаха от тип zero-day вероятно е била разработена с помощта на изкуствен интелект. Според анализаторите атакуващите са използвали голям езиков модел (LLM), за да открият и превърнат в работещ exploit логическа уязвимост в популярен open-source инструмент за уеб администрация.

Уязвимостта е позволявала заобикаляне на двуфакторната автеникация (2FA) в неназованата платформа. Макар атаката да е била спряна преди да започне масова експлоатация, случаят показва, че киберпрестъпните групи все по-активно интегрират ИИ в процесите по откриване и разработване на уязвимости.

Как Google разбира, че exploit-ът е създаден с ИИ

Според GTIG самият Python код е съдържал множество признаци, характерни за съдържание, генерирано от LLM модели.

Сред индикаторите са:

• прекомерно подробни и „образователни“ docstring коментари;
• структуриран „учебникарски“ Python стил;
• халюциниран CVSS рейтинг;
• прекалено чиста и стандартизирана логика на кода.

Изследователите смятат, че това е силен сигнал за използване на ИИ при създаването на exploit-а.

От Google подчертават, че няма доказателства техният модел Gemini да е използван в атаката.

ИИ вече открива логически уязвимости

Особено притеснителен е типът на откритата слабост. Вместо класически memory corruption проблем или грешка при обработка на входни данни, exploit-ът е базиран на високо ниво логическа уязвимост – категория, в която съвременните ИИ модели започват да показват сериозни способности.

Това е важна промяна в пейзажа на киберзаплахите. Досега автоматизираното откриване на уязвимости основно разчиташе на fuzzing, static analysis и ръчни техники. Сега ИИ започва да анализира сложни бизнес логики и сценарии на удостоверяване, което значително разширява атакуващата повърхност.

Китайски и севернокорейски групи вече използват ИИ

GTIG посочва, че държавно подкрепяни групи от Китай и Северна Корея вече използват ИИ за разработване на експлойти и анализ на уязвимости.

Сред наблюдаваните групи са:

• APT27
• APT45
• UNC2814
• UNC5673
• UNC6201

Според Google това е продължение на тенденцията, описана още в докладите от началото на годината, но с много по-високо ниво на автоматизация и зрялост.

Руски операции използват ИИ за прикриване и дезинформация

Google съобщава и за руски кампании, използващи ИИ за прикриване на злонамерен код и за информационни операции.

Сред примерите са:

• използване на ИИ-генериран „decoy code“ в malware семействата CANFAIL и LONGSTREAM;
• операцията „Overload“, при която са използвани клонирани гласове и фалшиви видеа с журналисти за прокарване на антиукраински послания.

Това показва, че ИИ вече се използва не само за технически атаки, но и за мащабни психологически и информационни операции.

Android malware използва Gemini API за автономни действия

В доклада се споменава и Android backdoor-ът PromptSpy, документиран по-рано от ESET.

Според GTIG malware-ът съдържа модул с име „GeminiAutomationAgent“, който използва hardcoded prompt за взаимодействие с устройството чрез ИИ модел.

Целта е била:

• заобикаляне на защитните механизми на LLM системата;
• анализ на интерфейса и координатите на елементите;
• автоматизирано взаимодействие с устройството;
• възпроизвеждане на PIN кодове и lock pattern автентикация.

Това е пореден пример как ИИ постепенно се превръща в компонент от модерния malware toolkit.

Индустриализация на достъпа до премиум ИИ модели

Google предупреждава, че киберпрестъпниците вече изграждат цели инфраструктури за мащабна употреба на premium AI услуги.

Сред използваните техники са:

• автоматизирано създаване на акаунти;
• proxy relay инфраструктури;
• pooling на акаунти;
• споделено използване на платени ИИ модели.

Това позволява на атакуващите да автоматизират разузнаването, писането на код, създаването на phishing съдържание и разработването на malware с много по-нисък праг за навлизане.

Нов етап в еволюцията на киберзаплахите

Случаят, описан от GTIG, вероятно ще остане като един от първите документирани примери за ИИ-асистирано създаване на zero-day exploit.

Макар ИИ все още да не заменя напълно човешките offensive security специалисти, технологията вече започва да ускорява процесите по откриване на логически слабости, автоматизиране на exploit development и мащабиране на атаките.

За защитниците това означава нова реалност – свят, в който ИИ няма да бъде само инструмент за защита, а и активен компонент в арсенала на атакуващите.