Търсене
Close this search box.

NIST предупреди, че няма сигурен начин за защита от атаки за „отравяне“ на модели на изкуствен интелект, които стават все по-интензивни и мащабни.

Заплахите използват неправилно функциониращи системи с изкуствен интелект, причинени от „ненадеждни данни“, предупреждава нова консултация на Националния институт по стандартизация и технологии (NIST).

Новият доклад на NIST относно надеждния и отговорен ИИ разкрива как хакерите могат умишлено да „отровят“ системите с ИИ и да предизвикат тяхното неправилно функциониране, което след това могат да използват.

Тревожно е, че в доклада се отбелязва също, че разработчиците нямат сигурен начин да се предпазят от подобни атаки.

Един от авторите на доклада, компютърният учен от NIST Апостол Василев, заяви, че настоящите стратегии за смекчаване на последиците, използвани за борба с подобни атаки, не могат да гарантират защита.

„Описваме и настоящите стратегии за смекчаване на последиците, за които се съобщава в литературата, но тези налични защити понастоящем нямат солидни гаранции, че напълно намаляват рисковете“, каза той. „Насърчаваме общността да предложи по-добри защити.“

Към проблемите, с които се сблъскват организациите, внедряващи изкуствен интелект, се добавя и фактът, че методите за атака, описани в доклада на NIST, изискват малко предварителни познания за самата система и не се ограничават до най-сложните атаки.

Съавторът, професор Алина Опря от Североизточния университет, отбеляза: „най-малко от тези атаки са сравнително лесни за осъществяване и изискват минимални познания за системата на ИИ и ограничени възможности на противника“.

Четири основни типа атаки, използвани за атакуване на уязвими системи с изкуствен интелект

Докладът на NIST очертава четирите основни типа атаки, използвани за компрометиране на технологиите на ИИ: атаки за отравяне, избягване, защита на личните данни и злоупотреба.

Атаките с отравяне изискват хакери да получат достъп до модела по време на фазата на обучение, като използват повредени данни, за да променят из основи изводите на системата. Като подават на системата за изкуствен интелект непроверени данни, нападателите могат да повлияят на нейното поведение след внедряването ѝ.

Например чатботът може да бъде накаран да генерира обидни или заплашителни отговори на подкани, като се инжектира злонамерено съдържание в модела, докато той се обучава.

Подобно на атаките за отравяне, атаките за злоупотреба се извършват и когато данните, използвани за обучение, се използват за създаване на уязвимости в системата. Злоупотребата се различава по това, че вместо вмъкване на злонамерено съдържание, използвано за предизвикване на нежелано поведение от ИИ, при атаките за злоупотреба се използва невярна информация, която идва от уж легитимен източник, за да се компрометира системата.

Атаките за заобикаляне се извършват след внедряването на система с изкуствен интелект и включват  заплахи, които използват фини промени във входящите данни, за да се опитат да изкривят предвидената функция на модела.

Един от примерите, посочени в доклада, включва използването на малки промени в пътните знаци, за да накара автономното превозно средство да ги изтълкува погрешно и да реагира по потенциално опасен, непредписан начин.

Атаките срещу неприкосновеността на личния живот се случват и по време на фазата на внедряване на системите с изкуствен интелект. Атаката срещу неприкосновеността на личния живот включва заплахи, които взаимодействат със системата за ИИ, за да получат информация за ИИ, която след това могат да използват, за да открият слабости, които могат да кешират.

Чатботовете са ясен пример за този вид вектор на атака, при който нападателите могат да задават на ИИ легитимни, на пръв поглед безобидни въпроси и да използват отговорите, за да подобрят разбирането си за данните, използвани за обучение на модела.

Както и при атаките за отравяне и злоупотреба, възможността да се влияе върху данните, върху които се обучават моделите, в крайна сметка води до възможност да се влияе върху системата на ИИ, така че атаките за защита на личните данни също се основават на тази концепция, като се опитват да накарат самия ИИ да предаде важна информация, която може да се използва за компрометиране на системата.

 

 

 

Източник: itpro.co.uk

Подобни публикации

13 декември 2024

Silent Push набра 10 млн. долара за платформа з...

Фирмата за разузнаване на заплахи Silent Push е депозирала 10 млн. ...
13 декември 2024

Фишинг - тихият предвестник на пробивите

Фишингът е една от най-разпространените тактики, техники и процедур...
13 декември 2024

Фалшиви ИТ работници превеждат милиони на Север...

В четвъртък Министерството на правосъдието на САЩ обяви обвиненията...
12 декември 2024

Изследователи разбиват Microsoft Azure MFA за е...

Изследователи разбиха метод за многофакторно удостоверяване (MFA) в...
12 декември 2024

Apple пусна големи актуализации на сигурността ...

В Купертино денят на кръпките е сряда тихоокеанско време. Екипът за...
12 декември 2024

27 услуги за DDoS атаки са свалени от Европол

Международна операция на правоприлагащите органи, насочена срещу ра...
12 декември 2024

Ключове за разбиране на MDR, EDR, NDR, XDR (ЧАС...

Еволюция на решенията за откриване и реагиране (DR) През последното...
Бъдете социални
Още по темата
12/12/2024

Пионерът в симетричната кри...

Бъдещето, в което се използват квантови...
08/12/2024

„Стачка“ на роботи поражда ...

Тест в Шанхай разкрива способността на...
28/11/2024

Microsoft отхвърля твърдени...

Microsoft отхвърли твърденията, разпространявани онлайн, че...
Последно добавени
13/12/2024

Silent Push набра 10 млн. д...

Фирмата за разузнаване на заплахи Silent...
13/12/2024

Фишинг - тихият предвестник...

Фишингът е една от най-разпространените тактики,...
13/12/2024

Фалшиви ИТ работници превеж...

В четвъртък Министерството на правосъдието на...
Ключови думи

Абонамента е почти завършен.

На посоченият от Вас e-mail е изпратено съобщение за потвърждаване на абонамента.

Моля, проверете електронната си поща за да потвърдите.

Благодарим за доверието!