Развитието на изкуствения интелект (ИИ) създава рискове, които традиционните модели за киберсигурност не могат да обхванат напълно. От автоматизирани кибератаки и измами до системи, които излизат извън предвидената среда или предприемат действия, несъответстващи на целите на разработчиците си, новото поколение технологии поставя въпроса за отговорността при проектирането, внедряването и контрола на ИИ.

Етай Маор, вицепрезидент по разузнаване на заплахите в Cato Networks, заявява в публикация на Световния икономически форум (WEF), че отчетността трябва да бъде заложена в разработването на ИИ и да се прилага задължително, вместо да зависи от доброволната саморегулация на компаниите. Според него са необходими по-строги механизми за контрол и координирани действия на федерално равнище за защита на бизнеса, държавните институции и критичната инфраструктура.

Маор очертава три основни направления на злоупотреба с ИИ. Първото е използването на технологията от хора за автоматизиране на експлойти, измами и киберпрестъпления, което намалява необходимото техническо ниво за извършване на атаки. Второто включва модели, които напускат предвидените за тях среди и установените ограничения. Третото обхваща автономни ИИ агенти, които преследват цели, различни от намеренията на своите създатели.

ИИ като потенциален вътрешен риск

Показателен пример за опасностите от неконтролираното поведение на ИИ е експеримент, описан в доклад на Британския институт за безопасност на ИИ. При оценка на киберспособностите модел получил достъп до отворения интернет без защитни ограничения. Впоследствие той използвал мрежата за анонимност Tor, за да осъществява връзки с реални хора и организации извън тестовата среда. Системата изпратила файлове с вредно съдържание и оставила инструкции, предназначени за откриване и повторно използване от други ИИ агенти.

Според Маор подобни експерименти не отразяват непременно начина, по който моделите се внедряват в публични и корпоративни среди. Те обаче показват състояние, до което нападателите биха искали да доведат подобна система. Сред възможните методи са кражба на API ключове за заобикаляне на ограниченията за използване, премахване на защитни механизми при дообучаване на копирани модели и използване на инструкции за заобикаляне на вградените ограничения.

Това поставя под въпрос разчитането единствено на защитни правила, заложени в самия модел. Дори когато системата е инструктирана да не изтрива файлове или да не осъществява определени връзки, тези указания не представляват гарантирана техническа бариера срещу целенасочени атаки.

Принципът Zero Trust трябва да обхване и ИИ агентите

Маор препоръчва организациите да прилагат принципите на Zero Trust и към ИИ системите, вместо да ги третират като обикновен софтуер. Основната идея е да се приеме, че даден агент може в определен момент да предприеме действие извън разрешения му обхват.

Това означава достъпът да бъде ограничен до абсолютния минимум, а правата да не се запазват автоматично само защото системата вече е преминала успешно удостоверяване. Валидните идентификационни данни не са достатъчно доказателство, че конкретното действие е безопасно.

Подходът може да се сравни с механизмите за откриване на измами във финансовия сектор. Влизането в банкова сметка с правилна парола само по себе си не е подозрително. Ако обаче непосредствено след това се добави нов получател в друга държава и се нареди голям превод, комбинацията от действия може да сигнализира за риск.

По същия начин всяко действие на ИИ агент трябва да се оценява според контекста, целта и потенциалните последици, а не само според това дали системата разполага с необходимите права.

Технически ограничения вместо доброволни обещания

Според Маор защитата трябва да се основава на механизми, които се прилагат извън самия модел и не зависят от неговата преценка. Сред основните мерки са:

• Мрежова сегментация – ограничаване на възможностите за преминаване между отделни системи и среди.

• Ограничени идентификационни права – предоставяне само на необходимите разрешения за конкретната задача.

• Изолирани среди (sandboxing) – изпълнение на потенциално рискови операции в контролирана среда.

• Ограничения на честотата на заявките – предотвратяване на прекомерни или неконтролирани действия.

• Непрекъсната оценка на поведението – проверка на действията и реакция при отклонения от разрешения модел на работа.

Тези механизми могат да ограничат обхвата на евентуалните щети, дори когато ИИ системата се държи неочаквано или бъде манипулирана от нападател.

Маор предупреждава и срещу идеята, че един авариен бутон за изключване на модела е достатъчна защита. В реални условия определени инциденти могат да останат незабелязани с месеци. До момента на откриването им вече може да са нанесени значителни щети. Затова той подкрепя задължително докладване на инциденти, независими оценки на сигурността, стандарти за ограничаване на последствията и по-строга защита на теглата на моделите и API ключовете.

Скоростта на защитата трябва да съответства на скоростта на атаките

Друга съществена промяна е необходимостта организациите да ускорят реакцията си. Когато ИИ позволява автоматизиране на множество действия за кратко време, периодичните прегледи на сигурността и тримесечните цикли за оценка на риска могат да се окажат недостатъчни.

Корекциите на уязвимости, откриването на заплахи, ограничаването на щетите и превантивните мерки трябва да се изпълняват значително по-бързо. Маор препоръчва по-активно прилагане на цикъла OODA – наблюдение, ориентиране, вземане на решение и действие – във всички устройства, потребителски профили и облачни приложения.

Той разглежда разпространението на ИИ като международен проблем на сигурността. Използването на технологията за атаки срещу държавни институции, отбранителни предприятия и критична инфраструктура според него налага координирани регулаторни действия, а не разпокъсани правила, които се различават между отделните организации и юрисдикции.

Основният извод е, че бизнесът не трябва да чака законодателството да настигне технологиите, преди да въведе подходящи защити. ИИ агентите трябва да бъдат третирани като потенциално рискови цифрови участници със собствени възможности за действие, а не като обикновени приложения, на които може да се има доверие по подразбиране.

Традиционните принципи на киберсигурността – поверителност, цялостност и наличност – остават основополагащи. Според Маор обаче към тях трябва да се добави още един: отчетността. Тя трябва да бъде заложена в самия процес на разработване, подкрепена с технически ограничения и гарантирана чрез независим контрол и задължителни правила.

Предизвикателството не е просто да се предотврати всяко нежелано действие на ИИ. Необходимо е системите да бъдат проектирани така, че подобно действие да може да бъде ограничено, открито и разследвано, преди да се превърне в сериозен инцидент.