Изследване, представено чрез програмата за уязвимости 0din на Mozilla, разкрива как изкуственият интелект на Google Gemini за Workspace може да бъде използван за фишинг атаки чрез подмолни инструкции, скрити в текстовото съдържание на имейл съобщения. Методът разчита на т.нар. „промпт инжекция“ – манипулация на поведението на ИИ модела чрез внедрени инструкции, които потребителят не вижда, но моделът изпълнява.

Как работи атаката

Изследователят Марко Фигероа, ръководител на програмите за откриване на уязвимости в генеративен ИИ към Mozilla, демонстрира как може да се създаде имейл със скрита инструкция в края на съобщението, оформена с HTML и CSS така, че да не се визуализира – чрез бял шрифт с размер нула. Gmail не показва този скрит текст, а в съобщението няма прикачени файлове или линкове, което увеличава шанса то да премине през филтрите и да достигне до входящата поща.

Когато потребителят отвори имейла и поиска от Gemini да обобщи съдържанието, ИИ моделът интерпретира и изпълнява скритата инструкция. В демонстрацията Gemini генерира резюме, в което се твърди, че паролата на потребителя за Gmail е компрометирана и се предоставя телефонен номер за „поддръжка“. Подобни съобщения изглеждат достоверни, тъй като идват от вграден инструмент на Google Workspace.

Уязвимостта остава

Въпреки че подобни атаки с промпт инжекция са известни още от 2024 г., а Google твърди, че са въведени мерки за защита, демонстрацията показва, че уязвимостта остава експлоатируема. Това е сериозен проблем, защото потребителите често се доверяват на автоматичните резюмета, без да подозират, че могат да бъдат манипулирани отвътре.

Мерки за защита

Фигероа предлага няколко техники за откриване и смекчаване на атаката:

• Филтриране на скрито съдържание: Сканиране и премахване на HTML/CSS елементи, които правят текста невидим.

• Постпроцесинг на резюмета: Анализ на генерираното от Gemini съдържание за тревожни съобщения, URL адреси или телефонни номера с цел маркиране и допълнителна проверка.

• Потребителско обучение: Подчертаване на факта, че ИИ резюметата не са надежден източник за сигурност и не трябва да се възприемат като официални предупреждения.

Google заяви, че няма доказателства за реално използване на описаната уязвимост, но потвърди, че усилено работи по допълнителни защитни мерки чрез т.нар. red-teaming тестове. Компанията подчертава, че някои от мерките все още се въвеждат.

Случаят с Gemini подчертава рисковете от автоматизирана обработка на съдържание чрез ИИ в корпоративна среда. Служители, които разчитат на инструменти като Gemini за обобщение на съобщения, могат неволно да станат жертви на фишинг атаки без да отварят линкове или прикачени файлове. Това показва необходимостта от по-силна интеграция на сигурността в самите ИИ модели и постоянен мониторинг от страна на организациите, използващи такива решения.