Фирмата за киберсигурност Cato Networks е открила нова техника за джейлбрейк, която разчита на повествователно инженерство, за да убеди модел на gen-AI да се отклони от нормализираните ограничени операции.
Техниката, наречена Immersive World (Потапящ свят), е проста: в подробен виртуален свят, където хакерството е норма, LLM е убеден да помогне на човек да създаде зловреден софтуер, който може да извлича пароли от браузър.
Подходът, казва Cato в последния си доклад за заплахите, е довел до успешен джейлбрейк на DeepSeek, Microsoft Copilot и ChatGPT на OpenAI, както и до създаването на Chrome infostealer, който се оказа ефективен срещу Chrome 133.
Cato осъществи jailbreak в контролирана тестова среда, създавайки специализиран виртуален свят на име Velora, където разработването на зловреден софтуер се счита за дисциплина, а „напредналите концепции за програмиране и сигурност се считат за основни умения“.
В рамките на Velora са дефинирани три основни субекта, включително системен администратор, считан за противник, елитен разработчик на зловреден софтуер (LLM) и изследовател по сигурността, който предоставя технически насоки.
Според Cato опитът за джейлбрейк е извършен от изследовател без предишен опит в кодирането на зловреден софтуер, което доказва, че изкуственият интелект може да превърне начинаещите нападатели в опитни участници в заплахи. На LLM не е предоставена информация за това как могат да бъдат извлечени или декриптирани паролите.
След като установил ясни правила и контекст в съответствие с целите на операцията, изследователят установил мотивацията на героя в нова сесия на LLM, насочил разказа към целта и чрез предоставяне на непрекъсната обратна връзка и формулиране на различни предизвикателства, като същевременно запазил последователността на героя, убедил модела да създаде инфо крадеца.
„Както при всеки процес на разработка, изработването на зловреден софтуер с помощта на LLM изисква сътрудничество между хора и машини. Ние предлагахме предложения, обратна връзка и насоки. Макар че нашият изследовател на заплахите CTRL не е разработчик на зловреден софтуер, този човек успешно генерира напълно функционален код“, отбелязва Cato.
След създаването на зловредния софтуер Cato се свърза с DeepSeek, Microsoft, OpenAI и Google. Докато DeepSeek не отговори, останалите три потвърдиха получаването. Google отказа да прегледа зловредния код, казва фирмата за киберсигурност.
„Киберпрестъпленията вече не се ограничават само до опитни заплахи. С основни инструменти всеки може да извърши атака. За ИТ директорите, CISO и ИТ лидерите това означава повече заплахи, по-големи рискове и необходимост от по-силни стратегии за сигурност с изкуствен интелект“, отбелязва Cato.
АБОНИРАЙТЕ СЕ ЗА НАШИЯ Е-БЮЛЕТИН И ПОЛУЧАВАЙТЕ НОВИНИ И СЪВЕТИ НА ТЕМА КИБЕРСИГУРНОСТ.
© 2022 Фондация “Киберсигурност за Всеки” с ЕИК 206932045. Всички права запазени. Политики за поверителност.
ж.к. Гео Милев бл. 117, вх.А
София 1113, България
support[@]e-security.bg
Фондация “Киберсигурност за Всеки” с ЕИК 206932045 е ЮЛНЦ в обществена полза, регистрирано в ЕС, работещо в съответствие с мисията и целите си.
Моля, имайте предвид, че всички споменати продукти и/или имена на компании са търговски марки ™ или ® на съответните им притежатели. Уебсайтът/фондацията няма никаква свързаност и/или одобрение за/от тях – тези търговски марки се използват само за образователни цели като примери. Настоящият уебсайт е онлайн информационна платформа, управлявана от доброволна фондация в обществена полза. Благодарим ви, че сте тук и за всякакви допълнителни въпроси, не се колебайте да се свържете с нас.
Мисията на Фондация “Киберсигурност за Всеки” е да допринесе за подобряване на киберсигурността, информационна сигурност и защита на системите и да повиши културата на обществото и организациите по тези и свързани с тях теми. Ние насърчаване безопасността и поверителността на потребителите, като повишаваме осведомеността, информираме за най-добрите и нови практики и помагаме на хора и организации да преодолеят съвременните предизвикателства за сигурността на мрежата и опазването на техните дигиталните активи.
На посоченият от Вас e-mail е изпратено съобщение за потвърждаване на абонамента.
Моля, проверете електронната си поща за да потвърдите.
