ChatGPT е едно от най-бързо развиващите се потребителски приложения, което със своята многофункционалност привлече милиони потребители веднага след старта си през ноември 2022 г.

Националният център за киберсигурност (NCSC) на Обединеното кралство публикува блог, разглеждащ някои от проблемите на киберсигурността на големите езикови модели (LLMs) и AI чатботовете.

ChatGPT и LLMs — какви са те и как да работят?

ChatGPT, както и конкурентите му като Bard на Google, са AI чатботове, които използват LLM технология. Те не са „изкуствен общ интелект“, но скоростта им е впечатляваща и резултатите изглеждат убедителни.

ChatGPT се основава на езиков модел, наречен GPT-3, който използва дълбоко обучение за създаване на човешки текст. LLM е мястото, където алгоритъмът е обучен на голямо количество текстови данни. Това често се изтрива от интернет (уеб страници, онлайн съдържание и т.н.) и може да включва и други източници като публикации в социалните медии, книги и (в някои случаи) научни изследвания. Алгоритмите анализират взаимоотношенията между различните думи и превръщат това в вероятностен модел. Когато на алгоритъма се задава въпрос (подкана), той отговаря въз основа на взаимоотношенията на думите в неговия модел. Понастоящем данните в модела обикновено са статични, след като са били обучени. Той обаче може да бъде усъвършенстван, като се използва „фина настройка„ (обучение за допълнителни данни) и „бързо увеличаване„ (напр. „като се вземе предвид тази информация [да се постави съответният документ], как бихте описали…“.

Въпроси, които трябва да бъдат разгледани

Както при всяка технология, LLM създават както възможности, така и рискове, и е важно да сте наясно с последните. Например NSCS обсъжда въпроси с:

  • Точност: те могат да объркат нещата, да „халюцинират“ неправилните факти и да изглеждат изчерпателни, докато пропускат ключови части от информация.
  • Пристрастия: предубежденията са едно от големите притеснения около ИИ и все още са проблем за LLM. Това не е изненадващо предвид данните от обучението им — обемът на данните, използвани за обучение, означава, че не е възможно да се филтрира обидно, предубедено или неточно съдържание, което може да доведе до „противоречиво“ съдържание в модела. Чатботовете също могат да бъдат наивни, когато им бъде зададен водещ въпрос и да се принудят да създадат токсично съдържание.
  • Конфиденциалност: въпреки че понастоящем LLM не добавят автоматично информация от заявки в своите модели за други заявки, блогът на NCSC все още обсъжда редица опасения относно включването на поверителна или чувствителна информация в заявка. Поради това той препоръчва да не включвате такава информация в запитванията към публичните LLM или да подавате запитвания, които биха довели до проблеми, ако бъдат оповестени публично (напр. главен изпълнителен директор, който пита „как най-добре да съкратите служител“). Въпреки това частните LLM (напр. предлагани от доставчик на облак), които могат да бъдат самостоятелно хоствани, могат да предложат по-малък риск тук. След това съветът е да се проверят съответните ПУ и да се разбере как се използват и споделят данните (например как се управляват данните, използвани за фина настройка или бързо увеличаване). Важно е също така да се извърши задълбочена оценка на сигурността (която, според NCSC, трябва да се позовава на принципите си за сигурност на машинното обучение и насоки за осигуряване на вашата инфраструктура и вериги за доставка на данни).
  • Киберсигурност: LLM могат да бъдат проблематични от гледна точка на киберпространството по редица начини. Например:

 

  • Фишинг имейли: LLM вероятно ще помогнат на кибер престъпниците да пишат по-убедителни фишинг имейли на няколко езика (помагайки на технически способни хакери да преследват цели в други юрисдикции, дори когато им липсват съответните езикови умения).
  • Злонамерен софтуер: Те също могат да пишат зловреден софтуер. Едно голямо притеснение е, че LLM могат да помогнат на по-малко квалифицирани киберпрестъпници да пишат високо способен зловреден софтуер. Понастоящем това се счита за „нисък риск“, тъй като понастоящем технологията е по-подходяща за прости задачи. Този анализ обаче вероятно ще се промени, тъй като технологията се подобрява. Квалифициран киберпрестъпник също ще може да използва LLM, за да спести време, „вероятно е да може да накара LLM да пише способен зловреден софтуер“ и също така може да го използва, за да помогне по други начини (напр. да съветва за технически проблеми с достъпа до данни/системи веднъж в организацията). Следователно съществува риск, който би могъл да позволи на киберпрестъпниците да извършват атаки, които са извън настоящите им възможности.
Източник: По материали от Интернет

Подобни публикации

18 февруари 2025

Infostealer е открит в американски военни и отб...

Израелската фирма за киберсигурност Hudson Rock твърди, че в америк...
18 февруари 2025

Десетки италиански уебсайтове са обект на руски...

По данни на италианската национална агенция за киберсигурност ACN о...
18 февруари 2025

Киберпрестъпниците крадат мощта на ИИ, а вие пл...

Атакуващите използват големи езикови модели (LLM) в т.нар. експлойт...
18 февруари 2025

Cisco: Новите смарт суичове осигуряват следващо...

Cisco твърди, че новите интелигентни суичове и решения за защитна с...
17 февруари 2025

Японски художник излага оковано във верига куче...

Изложба в галерия в Токио, в която оковано във верига куче-робот се...
17 февруари 2025

Русия насочва организациите към фишинг с код на...

Свързана с Русия заплаха, проследена като Storm-2372, е насочена къ...
17 февруари 2025

Полицията конфискува 127 сървъра на непробиваем...

Дни след като няколко правителства обявиха санкции срещу услугата з...
17 февруари 2025

Изтеглянето на DeepSeek е спряно в Южна Корея

Китайският стартъп за изкуствен интелект DeepSeek временно е спрял ...
Бъдете социални
Още по темата
02/02/2025

Геймърите с по-ниски социал...

Ново проучване, публикувано в Computers in...
18/07/2024

Сигурността в облака и експ...

Въпреки че изкуственият интелект е на...
05/05/2024

Олимпиада под прицел

Въпреки че служителите на Олимпийските игри...
Последно добавени
18/02/2025

Infostealer е открит в амер...

Израелската фирма за киберсигурност Hudson Rock...
18/02/2025

Десетки италиански уебсайто...

По данни на италианската национална агенция...
18/02/2025

Киберпрестъпниците крадат м...

Атакуващите използват големи езикови модели (LLM)...
Ключови думи

Абонамента е почти завършен.

На посоченият от Вас e-mail е изпратено съобщение за потвърждаване на абонамента.

Моля, проверете електронната си поща за да потвърдите.

Благодарим за доверието!