ChatGPT е едно от най-бързо развиващите се потребителски приложения, което със своята многофункционалност привлече милиони потребители веднага след старта си през ноември 2022 г.

Националният център за киберсигурност (NCSC) на Обединеното кралство публикува блог, разглеждащ някои от проблемите на киберсигурността на големите езикови модели (LLMs) и AI чатботовете.

ChatGPT и LLMs — какви са те и как да работят?

ChatGPT, както и конкурентите му като Bard на Google, са AI чатботове, които използват LLM технология. Те не са „изкуствен общ интелект“, но скоростта им е впечатляваща и резултатите изглеждат убедителни.

ChatGPT се основава на езиков модел, наречен GPT-3, който използва дълбоко обучение за създаване на човешки текст. LLM е мястото, където алгоритъмът е обучен на голямо количество текстови данни. Това често се изтрива от интернет (уеб страници, онлайн съдържание и т.н.) и може да включва и други източници като публикации в социалните медии, книги и (в някои случаи) научни изследвания. Алгоритмите анализират взаимоотношенията между различните думи и превръщат това в вероятностен модел. Когато на алгоритъма се задава въпрос (подкана), той отговаря въз основа на взаимоотношенията на думите в неговия модел. Понастоящем данните в модела обикновено са статични, след като са били обучени. Той обаче може да бъде усъвършенстван, като се използва „фина настройка„ (обучение за допълнителни данни) и „бързо увеличаване„ (напр. „като се вземе предвид тази информация [да се постави съответният документ], как бихте описали…“.

Въпроси, които трябва да бъдат разгледани

Както при всяка технология, LLM създават както възможности, така и рискове, и е важно да сте наясно с последните. Например NSCS обсъжда въпроси с:

• Точност: те могат да объркат нещата, да „халюцинират“ неправилните факти и да изглеждат изчерпателни, докато пропускат ключови части от информация.
• Пристрастия: предубежденията са едно от големите притеснения около ИИ и все още са проблем за LLM. Това не е изненадващо предвид данните от обучението им — обемът на данните, използвани за обучение, означава, че не е възможно да се филтрира обидно, предубедено или неточно съдържание, което може да доведе до „противоречиво“ съдържание в модела. Чатботовете също могат да бъдат наивни, когато им бъде зададен водещ въпрос и да се принудят да създадат токсично съдържание.
• Конфиденциалност: въпреки че понастоящем LLM не добавят автоматично информация от заявки в своите модели за други заявки, блогът на NCSC все още обсъжда редица опасения относно включването на поверителна или чувствителна информация в заявка. Поради това той препоръчва да не включвате такава информация в запитванията към публичните LLM или да подавате запитвания, които биха довели до проблеми, ако бъдат оповестени публично (напр. главен изпълнителен директор, който пита „как най-добре да съкратите служител“). Въпреки това частните LLM (напр. предлагани от доставчик на облак), които могат да бъдат самостоятелно хоствани, могат да предложат по-малък риск тук. След това съветът е да се проверят съответните ПУ и да се разбере как се използват и споделят данните (например как се управляват данните, използвани за фина настройка или бързо увеличаване). Важно е също така да се извърши задълбочена оценка на сигурността (която, според NCSC, трябва да се позовава на принципите си за сигурност на машинното обучение и насоки за осигуряване на вашата инфраструктура и вериги за доставка на данни).
• Киберсигурност: LLM могат да бъдат проблематични от гледна точка на киберпространството по редица начини. Например:

• Фишинг имейли: LLM вероятно ще помогнат на кибер престъпниците да пишат по-убедителни фишинг имейли на няколко езика (помагайки на технически способни хакери да преследват цели в други юрисдикции, дори когато им липсват съответните езикови умения).
• Злонамерен софтуер: Те също могат да пишат зловреден софтуер. Едно голямо притеснение е, че LLM могат да помогнат на по-малко квалифицирани киберпрестъпници да пишат високо способен зловреден софтуер. Понастоящем това се счита за „нисък риск“, тъй като понастоящем технологията е по-подходяща за прости задачи. Този анализ обаче вероятно ще се промени, тъй като технологията се подобрява. Квалифициран киберпрестъпник също ще може да използва LLM, за да спести време, „вероятно е да може да накара LLM да пише способен зловреден софтуер“ и също така може да го използва, за да помогне по други начини (напр. да съветва за технически проблеми с достъпа до данни/системи веднъж в организацията). Следователно съществува риск, който би могъл да позволи на киберпрестъпниците да извършват атаки, които са извън настоящите им възможности.