Търсене
Close this search box.

Представлява ли ChatGPT киберзаплаха?

ChatGPT е едно от най-бързо развиващите се потребителски приложения, което със своята многофункционалност привлече милиони потребители веднага след старта си през ноември 2022 г.

Националният център за киберсигурност (NCSC) на Обединеното кралство публикува блог, разглеждащ някои от проблемите на киберсигурността на големите езикови модели (LLMs) и AI чатботовете.

ChatGPT и LLMs — какви са те и как да работят?

ChatGPT, както и конкурентите му като Bard на Google, са AI чатботове, които използват LLM технология. Те не са „изкуствен общ интелект“, но скоростта им е впечатляваща и резултатите изглеждат убедителни.

ChatGPT се основава на езиков модел, наречен GPT-3, който използва дълбоко обучение за създаване на човешки текст. LLM е мястото, където алгоритъмът е обучен на голямо количество текстови данни. Това често се изтрива от интернет (уеб страници, онлайн съдържание и т.н.) и може да включва и други източници като публикации в социалните медии, книги и (в някои случаи) научни изследвания. Алгоритмите анализират взаимоотношенията между различните думи и превръщат това в вероятностен модел. Когато на алгоритъма се задава въпрос (подкана), той отговаря въз основа на взаимоотношенията на думите в неговия модел. Понастоящем данните в модела обикновено са статични, след като са били обучени. Той обаче може да бъде усъвършенстван, като се използва „фина настройка„ (обучение за допълнителни данни) и „бързо увеличаване„ (напр. „като се вземе предвид тази информация [да се постави съответният документ], как бихте описали…“.

Въпроси, които трябва да бъдат разгледани

Както при всяка технология, LLM създават както възможности, така и рискове, и е важно да сте наясно с последните. Например NSCS обсъжда въпроси с:

  • Точност: те могат да объркат нещата, да „халюцинират“ неправилните факти и да изглеждат изчерпателни, докато пропускат ключови части от информация.
  • Пристрастия: предубежденията са едно от големите притеснения около ИИ и все още са проблем за LLM. Това не е изненадващо предвид данните от обучението им — обемът на данните, използвани за обучение, означава, че не е възможно да се филтрира обидно, предубедено или неточно съдържание, което може да доведе до „противоречиво“ съдържание в модела. Чатботовете също могат да бъдат наивни, когато им бъде зададен водещ въпрос и да се принудят да създадат токсично съдържание.
  • Конфиденциалност: въпреки че понастоящем LLM не добавят автоматично информация от заявки в своите модели за други заявки, блогът на NCSC все още обсъжда редица опасения относно включването на поверителна или чувствителна информация в заявка. Поради това той препоръчва да не включвате такава информация в запитванията към публичните LLM или да подавате запитвания, които биха довели до проблеми, ако бъдат оповестени публично (напр. главен изпълнителен директор, който пита „как най-добре да съкратите служител“). Въпреки това частните LLM (напр. предлагани от доставчик на облак), които могат да бъдат самостоятелно хоствани, могат да предложат по-малък риск тук. След това съветът е да се проверят съответните ПУ и да се разбере как се използват и споделят данните (например как се управляват данните, използвани за фина настройка или бързо увеличаване). Важно е също така да се извърши задълбочена оценка на сигурността (която, според NCSC, трябва да се позовава на принципите си за сигурност на машинното обучение и насоки за осигуряване на вашата инфраструктура и вериги за доставка на данни).
  • Киберсигурност: LLM могат да бъдат проблематични от гледна точка на киберпространството по редица начини. Например:

 

  • Фишинг имейли: LLM вероятно ще помогнат на кибер престъпниците да пишат по-убедителни фишинг имейли на няколко езика (помагайки на технически способни хакери да преследват цели в други юрисдикции, дори когато им липсват съответните езикови умения).
  • Злонамерен софтуер: Те също могат да пишат зловреден софтуер. Едно голямо притеснение е, че LLM могат да помогнат на по-малко квалифицирани киберпрестъпници да пишат високо способен зловреден софтуер. Понастоящем това се счита за „нисък риск“, тъй като понастоящем технологията е по-подходяща за прости задачи. Този анализ обаче вероятно ще се промени, тъй като технологията се подобрява. Квалифициран киберпрестъпник също ще може да използва LLM, за да спести време, „вероятно е да може да накара LLM да пише способен зловреден софтуер“ и също така може да го използва, за да помогне по други начини (напр. да съветва за технически проблеми с достъпа до данни/системи веднъж в организацията). Следователно съществува риск, който би могъл да позволи на киберпрестъпниците да извършват атаки, които са извън настоящите им възможности.
Източник: По материали от Интернет

Подобни публикации

18 юни 2024

Koсмосът: Последната граница за кибератаки

Неспособността да си представим – и да се подготвим за –...
18 юни 2024

Лондонските болници още не могат да се съвземат...

Няколко лондонски болници, които все още не са се справили с кибера...
17 юни 2024

Арестуваха британец от Scattered Spider

22-годишен британски гражданин, за когото се предполага, че е свърз...
17 юни 2024

Adobe с вътрешни проблеми на фона на опасения, ...

Adobe гаси пожар на два фронта заради политиката си за използване н...
17 юни 2024

Потребностите от електроенергия в центровете за...

Новото партньорство на Google с базираната в Невада компания NV Ene...
17 юни 2024

Microsoft поправи безкликова уязвимост в Outlook

Morphisec предупреждава, че една от уязвимостите, които Microsoft о...
17 юни 2024

ASUS предупреждава за проблеми при 7 рутера

ASUS пусна нова актуализация на фърмуера, която отстранява уязвимос...
16 юни 2024

CISA предупреждава за бъг в Windows, използван ...

Американската агенция за киберсигурност и инфраструктурна сигурност...
16 юни 2024

Бивш служител е осъден на 32 месеца затвор за и...

Бивш служител на National Computer Systems (NCS), отговарящ за осиг...
Бъдете социални
Още по темата
05/05/2024

Олимпиада под прицел

Въпреки че служителите на Олимпийските игри...
20/03/2024

Kои приложения използват на...

Въпреки че “неограничените” планове за интернет...
28/02/2024

Предимства на включването н...

Кибератаките се развиват и стават все...
Последно добавени
18/06/2024

Koсмосът: Последната границ...

Неспособността да си представим – и...
18/06/2024

Лондонските болници още не ...

Няколко лондонски болници, които все още...
17/06/2024

Арестуваха британец от Scat...

22-годишен британски гражданин, за когото се...
Ключови думи

Абонамента е почти завършен.

На посоченият от Вас e-mail е изпратено съобщение за потвърждаване на абонамента.

Моля, проверете електронната си поща за да потвърдите.

Благодарим за доверието!