Изследователи в областта на киберсигурността са открили критичен недостатък в сигурността на доставчика на изкуствен интелект (AI) като услуга Replicate, който би могъл да позволи на заплахи да получат достъп до собствени модели на AI и чувствителна информация.

„Експлоатирането на тази уязвимост би позволило неоторизиран достъп до ИИ подсказките и резултатите на всички клиенти на платформата Replicate“, заяви фирмата за облачна сигурност Wiz в доклад, публикуван тази седмица.

Проблемът произтича от факта, че моделите на ИИ обикновено са пакетирани във формати, които позволяват произволно изпълнение на код, което нападателят би могъл да използва за извършване на атаки срещу различни наематели чрез злонамерен модел.

Replicate използва инструмент с отворен код, наречен Cog, за контейнеризиране и пакетиране на модели за машинно обучение, които след това могат да бъдат разгърнати или в самостоятелна среда, или в Replicate.

Wiz заяви, че е създал измамен контейнер Cog и го е качил в Replicate, като в крайна сметка го е използвал, за да постигне отдалечено изпълнение на код в инфраструктурата на услугата с повишени привилегии.

„Подозираме, че тази техника за изпълнение на код е шаблон, при който компаниите и организациите стартират модели на изкуствен интелект от ненадеждни източници, въпреки че тези модели са код, който потенциално може да бъде злонамерен“, заявиха изследователите по сигурността Шир Тамари и Саги Цадик.

След това разработената от компанията техника за атака използва вече установена TCP връзка, свързана със сървърна инстанция на Redis в рамките на клъстера Kubernetes, хостван на платформата Google Cloud Platform, за да инжектира произволни команди.

Нещо повече, тъй като централизираният сървър Redis се използва като опашка за управление на множество клиентски заявки и техните отговори, с него може да се злоупотреби за улесняване на атаките между наемателите чрез манипулиране на процеса с цел вмъкване на неправомерни задачи, които биха могли да повлияят на резултатите от моделите на други клиенти.

Тези недобросъвестни манипулации не само застрашават целостта на моделите с изкуствен интелект, но също така създават значителни рискове за точността и надеждността на резултатите, управлявани от изкуствен интелект.

„Атакуващият би могъл да отправи запитване към частните модели на ИИ на клиентите, като потенциално изложи на показ патентовани знания или чувствителни данни, участващи в процеса на обучение на моделите“, казват изследователите. „Освен това прихващането на подкани би могло да разкрие чувствителни данни, включително лична информация (PII).

Недостатъкът, който беше отговорно разкрит през януари 2024 г., оттогава е отстранен от Replicate. Няма доказателства, че уязвимостта е била използвана в естествени условия за компрометиране на данни на клиенти.

Разкритието идва малко повече от месец, след като Уиз подробно описа вече поправени рискове в платформи като Hugging Face, които биха могли да позволят на хакери да увеличат привилегиите си, да получат кръстосан достъп до моделите на други клиенти и дори да превземат тръбопроводите за непрекъсната интеграция и непрекъснато внедряване (CI/CD).

„Злонамерените модели представляват сериозен риск за системите за изкуствен интелект, особено за доставчиците на услуги с изкуствен интелект, тъй като атакуващите могат да използват тези модели, за да извършват атаки с кръстосани наематели“, заключават изследователите.

„Потенциалното въздействие е опустошително, тъй като нападателите могат да получат достъп до милионите частни модели и приложения на ИИ, съхранявани в доставчиците на ИИ-като-услуга.“