Изследователи по сигурността разкриха и Google вече е поправил три свързани уязвимости, засягащи различни компоненти на AI‑асистента Gemini. Тези пропуски – наречени от Tenable „Gemini Trifecta“ – позволяваха на атакуващи да инжектират злонамерени подсказки (prompt injection), да манипулират персонализирането на търсения и дори да извеждат запазена лична информация и данни за местоположение извън системата.

Какви бяха слабостите (в резюме)

Tenable и изследователката Лив Матан описват три отделни вектора на атака, всеки по същество използващ възможностите на Gemini, за да превърне самия ИИ в „превозно средство“ за атаката – а не само в нейна цел:

1. Log‑to‑prompt injection (Gemini Cloud Assist)

   • Gemini Cloud Assist може да обобщава логове и да извлича информация от облачни услуги. Атакуващ можеше да скрие зловредна подсказка в поле като User‑Agent на HTTP заявка; при обобщение тази подсказка би била третирана като нормален вход и би инструктирала Gemini да изпълни допълнителни заявки или да търси чувствителна информация в облака (IAM, активи и т.н.).

2. Search‑injection (Search Personalization model)

   • Този вектор позволявал на нападател да „отрови“ хром историята на потребителя (например чрез JavaScript), така че при следващо взаимодействие Gemіni с персонализирания модел на търсене атакуващите вмъкнати инструкции да бъдат обработени като легитимни потребителски заявки — с потенциал да изтече запазена информация или местоположение.

3. Indirect prompt injection (Gemini Browsing Tool)

   • Gemini Browsing Tool прави вътрешни обаждания, за да обобщава съдържанието на уеб страници. Чрез внимателно създадено съдържание атакуващ би могъл да предизвика обобщение, което вгражда чувствителни данни и да ги изпрати към външен злонамерен сървър.

Защо беше опасно

Комбинацията от тези слабости показваше, че AI не е само цел — AI може да бъде и инструмент, чрез който да се извърши ексфилтрация. Някои от най-сериозните последици включват:

• извеждане на запазена лична информация и данни за местоположение;

• провеждане на автоматизирано разузнаване на облачна инфраструктура (IAM, публични активи) и изграждане на по-нататъшни атаки;

• възможност за създаване на заявки, които изглеждат „потребителски и легитимни“, затруднявайки детекцията.

Какво предприе Google

След отговорното разкриване Google въведе незабавни мерки за втвърдяване, сред които е спиране на рендирането на хипервръзки в отговорите при лог‑резюмации, както и допълнителни защити срещу prompt injection. Компанията също е внедрила други защити за ограничаване на правомощията на инструментите и за валидиране/санитизация на входните данни, въпреки че някои от точните мерки не бяха публично детайлизирани.

Какво означава това за организации и потребители (риск и готовност)

• AI инструменти с достъп до чувствителни ресурси са потенциален високорисков вектор. Ако AI‑агент има права да чете облачни логове, да извиква API или да чете локални/запазени данни, пробив в обработката на входа може да се използва за ескалация.

• Персонализацията и кеширането на потребителски данни изискват специална защита — атака, която „отравя“ историята или друг кеширан персонализиран източник, може да промени следващите отговори на модела.

• Моделите, които обобщават свободен текст или уеб страници, трябва да бъдат предпазени от изпращане на резултатите автоматично към външни сървъри или да инжектират съдържание в контекста на сесията.

Практически препоръки (какво да направите сега)

За организации, внедрили Gemini или други вътрешни/облачни AI услуги:

1. Ограничете правомощията (principle of least privilege). Дайте на моделите и помощните им агенти само нужните права (read‑only, ограничени API scopes).

2. Санитизирайте и валидирайте входовете. Всички данни, които AI обобщава (логове, история, страници), трябва да минават през слоеве за откриване на скрити инжекции (напр. необичайни шаблони, Base64, control characters, long headers).

3. Сегментиране на данни. Изолирайте чувствителните логове/активи от общите обобщителни канали; забранете автоматично включване на чувствителни полета в отговорите на AI.

4. Ограничете автоматичните експортни пътища. Блокирайте или проследявайте всеки опит моделът да изпраща данни към външни сървъри; детектирайте аномалии в изходящи HTTP заявки.

5. Ползване на prompt‑hardening практики. Използвайте шаблони за системни подсказки, whitelist/blacklist за позволени действия и детекция на контекстуални инжекции.

6. Логване и мониторинг на AI‑интеракции. Водете атестация кои подсказки/истории са повлияли на решенията; настройте аларми за необичайни обобщения, големи заявки към Cloud Asset API и т.н.

7. Sandboxing и детонация. Изпълнявайте автоматично детонация на външни връзки и съмнителни обобщения в изолирана среда преди да позволите представяне на резултата на потребител или автоматизирана интеграция.

8. Ограничете персонализацията от недоверени източници. Не приемайте имплицитно данни от интернет страници/3rd‑party скриптове за използване в персонализационни модели без проверка.

9. Редовни тестове — red teaming & adversarial prompt testing. Провеждайте упражнения, които включват и prompt injection сценарии, за да валидирате защитите.

10. Информирайте и обучавайте екипите. Разяснете на DevOps, SRE и на екипи по облачната сигурност, че AI‑функционалностите са нов клас атаки и изискват специални контроли.

Свързани разработки и тенденции

Отчитайки описания риск, други доклади показват как злоупотребите с AI‑агенти стават все по-чести — например злоупотреби с Notion AI, когато инструкции се крият в PDF (white‑text‑on‑white background), за да накарат агента да екфилтрира данни. Това подсилва наблюдението, че всяка автоматизирана верига от „агенти + външни конектори“ разширява атакуемата повърхност значително.

Gemini Trifecta е ясен сигнал: при масово внедряване на AI трябва да гледаме не само какво моделът може да прави, а и какво може да направи при злонамерен вход. Защитата изисква съчетание от принципи за ограничаване на привилегиите, строг входен контрол, мониторинг и редовно тестване. Организациите, които приемат AI, трябва да включат тези контроли в архитектурните си стандарти — иначе рискуват AI да бъде не само цел, но и средство за атака.