В една постоянна игра на „бий къртицата“ защитниците и нападателите използват изкуствения интелект, за да наклонят баланса на силите в своя полза.

ИИ все още не ни замества, но тези, които знаят как да използват ИИ, ще заменят тези, които не знаят как да го използват.

Изкуственият интелект в момента е в центъра на вниманието на всички, особено в сектора на киберсигурността. В една постоянна игра на „бий къртицата“ както защитниците, така и нападателите използват изкуствения интелект, за да наклонят баланса на силите в своя полза. Преди да разберем как защитниците и нападателите използват ИИ, трябва да признаем трите най-разпространени вида модели на ИИ, които са в обращение в момента.

Как три модела на изкуствен интелект подпомагат защитниците

Генериращият ИИ, контролираното машинно обучение и неконтролираното машинно обучение са три основни типа модели на ИИ. Инструментите за генериращ ИИ, като ChatGPT, Gemini и Copilot, могат да разбират човешки входни данни и да предоставят резултати в отговор, подобен на човешкия. Забележително е, че генеративният ИИ непрекъснато усъвършенства своите резултати въз основа на взаимодействието с потребителя, което го отличава от традиционните системи за ИИ. Моделите за машинно обучение без наблюдение са чудесни за анализиране и идентифициране на модели в огромни неструктурирани или немаркирани данни. Алтернативно, контролираните алгоритми за машинно обучение правят прогнози от добре маркирани и добре структурирани набори от данни.

Нека разберем как тези модели могат да бъдат приложени, за да допълнят човешките изследователи и продуктите за сигурност.

• Представете си, че генерирате резюме с изкуствен интелект, разбираем за човека доклад за всички събития и сигнали за сигурност с едно кликване на бутон, който дори нетехнически човек може да прочете и разбере. Това е чудесен пример за генеративен ИИ в действие.
• Представете си конвергирана мрежа и философия за сигурност, базирана на облачни технологии, като SASE (Secure Access Service Edge), която обработва трилиони мрежови потоци. На практика е невъзможно за всеки отделен човек (или дори за екипи) да пресее такъв голям обем от данни за мрежата и сигурността, за да идентифицира злонамерени модели. Необучаваното машинно обучение може не само да открие модели, но и да ги съпостави с други събития в областта на сигурността.
• Представете си, че анализирате всички данни за сигурността и технически данни, откривате модели и предвиждате атаки, преди да са се случили: Сбъдната мечта за изследователите в областта на сигурността благодарение на контролираното машинно обучение.

Злоупотреба с моделите на изкуствения интелект

Въпреки медийната шумотевица, използването на ИИ от киберпрестъпниците все още е в начален стадий. Това не означава, че ИИ не се използва за злонамерени цели, но също така не е причина за упадъка на човешката цивилизация, както твърдят някои. Киберпрестъпниците използват ИИ за много специфични задачи, а именно:

• Писане на хипер-таргетирани имейли за BEC.
• Създаване на нови варианти на съществуващ зловреден софтуер с цел избягване на откриване (т.нар. полиморфен зловреден софтуер).
• Сканиране и анализиране на кода за идентифициране на уязвимости в целевите системи.
• Създаване на видео- и гласови имитации (синтетични медии, deepfakes) за атаки със социален инженеринг.

Заплахите също така започнаха да създават свои собствени частни и нецензурирани модели (като PoisonGPT, WolfGPT и FraudGPT), тъй като публично достъпните модели с изкуствен интелект като ChatGPT получават етично обучение и се управляват от правила за модериране на съдържанието, които прилагат известна цензура. Някои от тези инструменти, като WormGPT, са осмивани за това, че са евтини заместители на ChatGPT и все още са подложени на същите ограничения.

Как киберпрестъпниците атакуват, злоупотребяват и използват като оръжие LLM

Съществуват шест основни начина, по които  заплахите атакуват и злоупотребяват с големи езикови модели.

1. Чрез насочване към подкана: Да речем, че една пясъчна кутия използва изкуствен интелект за анализ на кода на зловреден софтуер. Нападателите вмъкват „злонамерена“ подкана в кода, който заблуждава нейното предвиждане или откриване. Тази техника се нарича „инжектиране на подкана“. Съществуват и други враждебни техники за подсказване, като например обфускация и „Do Anything Now“, които нападателите могат да използват, за да заблудят, компрометират или въоръжат ИИ с думи.
2. Чрез насочване на отговора: Какво се случва, ако нападателите анализират някаква част от кода или набор от данни, които включват частна или поверителна информация, като например твърдо кодирани пароли или търговски тайни. Тази несигурна обработка на изхода може да доведе до изтичане на данни и други инциденти със сигурността.
3. Като се насочите към модела: Системите с изкуствен интелект са податливи на пристрастия. Една система за сигурност с ИИ може да категоризира трафика от Япония като нискорисков. Нападателите могат да се възползват от този недостатък и да използват VPN, за да маскират трафика си. Нападателите могат също така да се възползват от халюцинациите на ИИ. Заплахата среща халюцинация на непубликуван пакет, създава злонамерен полезен товар със същото име, публикува го и заблуждава системата, че е част от нея.
4. Като се насочва към данните за обучение: Медиите често споменават за атаки срещу данни за обучение на ИИ, но е доста трудно да се получи достъп до тях. По-вероятно е нападателите да използват техники като „отравяне на обратна връзка“, при които се използва човешка обратна връзка за манипулиране на LLM. Например, когато зададете въпрос на LLM, получавате отговор с опция за обратна връзка „палец нагоре“ или „палец надолу“, което помага на модела да научи кое е релевантно и кое – не. Това може да се използва от нападателите за манипулиране на LLM.
5. Като се насочат към инфраструктурата: Моделите с изкуствен интелект се хостват на сървъри за изчисления в облак и в центрове за данни. Нападателите могат да започнат разпределена атака за отказ на услуга (DDoS) в опит да нарушат или изключат технологията. Възможни са и атаки по веригата на доставки. Нападателите могат да атакуват партньор от веригата за доставки и да използват повишаване на привилегиите и странично движение, за да манипулират или деактивират модела на ИИ.
6. Като се насочат към хора, API или системи, използващи резултатите: Злонамерени хакери могат да заразят лаптопите на жертвите със зловреден софтуер и да използват GenAI, за да похитят финансовите транзакции на компанията. LLM имат свои собствени API, които трети страни могат да използват за изграждане на персонализирани инструкции и интеграции. Ако тези интеграции имат уязвимости, лошите  могат да се възползват от тях или да изградят злонамерени приставки, за да извършват атаки от типа „човек по средата“.

ИИ все още не ни замества, но тези, които знаят как да използват ИИ, ще заменят тези, които не знаят как да го използват. Тъй като технологиите се развиват толкова бързо и в толкова много едновременни посоки, е трудно да сме в течение на тяхното развитие и нарастващите рискове. Всяко бързо развитие като изкуствения интелект въвежда много нови инструменти, тактики и възможности за експлоатация, считани преди това за немислими. Екипите по сигурността трябва да инвестират в усъвършенствани и конвергентни модели за сигурност, които осигуряват цялостен преглед и управление на разнообразните повърхности за атаки. Използването на алгоритми за машинно обучение може допълнително да подобри възможностите за откриване и реагиране на заплахи.

Автор: Етай Маор, главен стратег по сигурността и основател на Лабораторията за изследване на киберзаплахите (CTRL) в Cato Networks. Преди това е бил главен директор по сигурността в IntSights и е заемал висши позиции в областта на сигурността в IBM и Лабораториите за изследване на киберзаплахите на RSA Security. Адюнкт-професор в Бостънския колеж, той има бакалавърска степен по компютърни науки и магистърска степен по антитероризъм и кибертероризъм от Университета Райхман (IDC Herzliya), Тел Авив.