Изследователи откриха нова уязвимост в уеб браузъра OpenAI ChatGPT Atlas, която може да позволи на злонамерени лица да инжектират вредни инструкции в паметта на ИИ-асистента и да изпълняват произволен код.
„Този експлойт може да позволи на нападателите да заразят системи със злонамерен код, да си осигурят привилегии за достъп или да внедрят зловреден софтуер,“ заяви в доклад Ор Ешид, съосновател и изпълнителен директор на LayerX Security.
Атаката в своята същност използва уязвимост от тип cross-site request forgery (CSRF), която може да бъде експлоатирана за инжекция на злонамерени инструкции в постоянната памет на ChatGPT. Засегнатата памет може да се запази през устройства и сесии, позволявайки на нападателя да извършва различни действия, включително поемане на контрол над акаунта на потребителя, браузъра или свързаните системи, когато логнат потребител опита да използва ChatGPT за легитимни цели.
Паметта, въведена от OpenAI през февруари 2024 г., е предназначена да позволява на ИИ чатбота да запомня полезни детайли между чатовете, за да направи отговорите му по-персонализирани и релевантни. Това може да включва всичко – от името на потребителя и любимите му цветове до интересите и хранителните предпочитания.
Механизъм на атаката и рискове
Атаката представлява значителен риск за сигурността, тъй като чрез замърсяване на паметта позволява на злонамерените инструкции да се запазят, освен ако потребителите изрично не отидат в настройките и не ги изтрият. По този начин полезна функция се превръща в мощно оръжие, което може да се използва за изпълнение на код, предоставен от нападателя.
„Онова, което прави този експлойт уникално опасен, е, че той цели постоянната памет на ИИ, а не само сесията на браузъра,“ отбеляза Мишел Ливай, ръководител на изследванията по сигурност в LayerX Security. „Чрез комбиниране на стандартна CSRF със запис в паметта, нападателят може незабележимо да засади инструкции, които оцеляват през устройства, сесии и дори различни браузъри.“
„В нашите тестове, след като паметта на ChatGPT беше замърсена, последващи ‘нормални’ промптове можеха да задействат изтегляне на код, ескалация на привилегии или ексфилтрация на данни, без да задействат значимите защитни мерки.“
Атаката се развива по следния начин:
- Потребителят се логва в ChatGPT.
- Потребителят е подмамен да стартира злонамерен линк чрез социално инженерство.
- Злонамерената уеб страница задейства CSRF заявка, използвайки факта, че потребителят вече е автентифициран, за да инжектира скрити инструкции в паметта на ChatGPT без негово знание.
- Когато потребителят зададе въпрос към ChatGPT за легитимен случай, замърсените памети се активират, водейки до изпълнение на код.
Допълнителни технически детайли за извършването на атаката са пазени в тайна. Според LayerX, проблемът се влошава от липсата на надеждни антифишинг контроли в ChatGPT Atlas, което оставя потребителите до 90% по-изложени в сравнение с традиционни браузъри като Google Chrome или Microsoft Edge.
В тестове срещу над 100 реални уеб уязвимости и фишинг атаки, Edge спря 53% от тях, последван от Google Chrome с 47% и Dia с 46%. В контраст, Perplexity Comet и ChatGPT Atlas спряха само 7% и 5.8% от злонамерените уеб страници.
Това отваря вратата за широк спектър от сценарии на атака, включително такъв, при който заявка на разработчик към ChatGPT за писане на код може да накара ИИ агента да вмъкне скрити инструкции като част от усилията по кодиране.
По-широк контекст и предупреждения
Това развитие идва на фона на демонстрация от NeuralTrust за атака с инжекция на промпт, засягаща ChatGPT Atlas, при която omnibox-ът може да бъде джейлбрейкнат чрез маскиране на злонамерен промпт като безобиден URL. То също така следва доклад, според който ИИ агентите са станали най-често срещаният вектор за ексфилтрация на данни в корпоративни среди.
„ИИ браузърите интегрират приложения, идентичност и интелигентност в една единствена повърхност за заплахи от ИИ,“ заяви Ешид. „Уязвимости като ‘Tainted Memories’ са новият верига на доставки: те пътуват с потребителя, замърсяват бъдещата работа и заличават границата между полезната автоматизация на ИИ и скрит контрол.“
„С оглед на факта, че браузърът става общ интерфейс за ИИ, и с новите агентни браузъри, които вкарват ИИ директно в опита от сърфиране, предприятията трябва да третират браузърите като критична инфраструктура, защото това е следващата граница на продуктивността и работата с ИИ.“
