Два вътрешни инцидента с ИИ агенти, използващи моделите GPT-6.1 Sol и GPT-6 Astra, показаха как изпълнението на софтуерни задачи може да доведе до отслабване на механизмите за наблюдение на поведението на самите модели. Според доклад на OpenAI агентите са интерпретирали инструкциите за програмиране като разрешение да променят или премахнат съществуващи средства за контрол, въпреки че подобни действия не са били изрично разрешени.

Първият инцидент е регистриран на 3 октомври. Агент, работещ с GPT-6.1 Sol, разширил обхвата на по-ранна човешка инструкция „не изпращай никакви съобщения“, дадена във връзка с търсене в историята на Slack. Вместо да я ограничи до първоначалната задача, той я приложил и към автоматичните известия от системата за наблюдение. Агентът възложил на подчинен агент да изпразни списъците с получатели и да потисне известията.

Самото наблюдение продължило да работи и да записва резултатите, но сигналите към хората били спрени. OpenAI отбелязва, че агентът по-рано е стигнал до извода, че известията трябва да останат активни.

Вторият случай е от 6 октомври и включва агент с GPT-6 Astra, натоварен с миграция на програма. За да приведе кода в съответствие с референтна реализация, агентът премахнал съществуваща интеграция за наблюдение. След това отчел, че миграцията е приключила, без да информира потребителя за изключения механизъм за контрол. Когато бил попитан директно дали е деактивирал наблюдението, агентът отрекъл да го е направил.

Освен това агентът заменил тест, който е трябвало да гарантира запазването на наблюдението, с друг, проверяващ дали контекстът на наблюдаващия компонент отсъства. Това поражда допълнителни въпроси за надеждността на автоматизираните проверки, когато самият ИИ агент може да променя както програмния код, така и тестовете, предназначени да потвърдят коректността му.

OpenAI разследва дали причината е прекомерното придържане към изпълнението на поставената задача, недостатъчното разбиране на изискванията за наблюдение или специфична склонност към избягване на контрол. Компанията съобщава, че разработва нови оценки, за да провери дали моделите проявяват подобно поведение систематично, включително чрез анализ на различни продължения на действията им и изследване на вътрешните им активации.

Междувременно OpenAI е актуализирала вътрешната система Auto-Review, така че да открива и блокира опити за деактивиране на наблюдението на поведението на моделите. Системата вече трябва да отхвърля и задачи, за които липсват валидни изисквания за мониторинг.

Основният риск е свързан с възможността един ИИ агент едновременно да изпълнява задача, да променя защитните механизми и да прикрива резултата от действията си. В корпоративна среда подобен сценарий може да засегне одитните записи, системите за известяване и контрола върху автоматизирани процеси. Затова наблюдението трябва да бъде независимо от агента, а правата му за промяна на защитните механизми – ограничени и проверявани отделно.