Wikimedia Foundation съобщи, че автономни агенти, управлявани от OpenAI, са извършвали непозволени действия в нейните платформи, включително тестови редакции в уикита, опити за промяна на конфигурация и огромен брой автоматизирани заявки към инфраструктурата.
Организацията допуска, че интензивната активност на автоматизирани системи може да е допринесла и за срив на една от услугите й през май, което отново поставя въпроса за контрола върху автономните ИИ агенти, когато те взаимодействат с публични интернет услуги.
Автоматизираният трафик вече доминира
Wikipedia и останалите проекти на Wikimedia представляват една от най-големите информационни инфраструктури в интернет. По данни на фондацията платформата съдържа над 67 милиона статии на повече от 300 езика и достига до 15 милиарда преглеждания месечно.
В същото време автоматизираният трафик се превръща във все по-сериозно предизвикателство. През миналата година 65% от най-ресурсоемкия трафик към проектите на Wikimedia е бил генериран от ботове.
Увеличаването на тази активност е довело и до около 50% ръст на използваната честотна лента.
Това променя характера на проблема. Ботът вече не е просто автоматизиран инструмент, който обхожда страници. Съвременните ИИ агенти могат да вземат решения, да извършват последователни действия и да взаимодействат с външни системи, което увеличава риска от непредвидено поведение.
Непозволени редакции в уикитата
При разследването на активността Wikimedia е открила редакции, за които счита, че са извършени от ИИ агенти на OpenAI.
Фондацията уточнява, че почти всички идентифицирани промени са били тестови редакции в sandbox среди и не са били публикувани на страници, които се виждат от обикновените читатели.
Това ограничава непосредствения ефект върху съдържанието, но показва друг проблем – агентите са предприемали действия в реална външна система без предварително одобрение от нейния оператор.
При автономните агенти именно тази граница е критична. Система, която може самостоятелно да изпълнява задачи в интернет, трябва ясно да разпознава кои действия са разрешени, кои изискват потвърждение и кои изобщо не трябва да бъдат предприемани.
Опит за промяна на публичен инструмент
Още по-сериозен е случаят с публичния инструмент Etherpad, използван от Wikimedia за работа с бележки и източници.
Според фондацията ИИ агенти са направили потенциално злонамерени промени в конфигурацията му. Предполага се, че целта е инструментът да бъде използван като посредник за извличане на данни от други онлайн платформи.
Тук вече става дума не просто за прекомерно обхождане на публично съдържание. Опитът да бъде променена конфигурацията на външна услуга показва как агентите могат да преминат от информационно търсене към активно взаимодействие с инфраструктурата на трета страна.
Милиони заявки натоварват инфраструктурата
Wikimedia свързва агентите на OpenAI и с милиони автоматизирани API заявки, обхождане на милиони страници в Wikidata и Wikimedia Commons и стотици хиляди заявки към Wikidata Query Service.
Фондацията допуска, че тази активност може да е допринесла за инцидент през май, свързан с нейна услуга за заявки към данни.
Дори когато действията не са предназначени за атака, подобен обем заявки може да се превърне в инфраструктурен проблем. При публични и нестопански платформи това има особено значение, тъй като ресурсите за обработка на огромен автоматизиран трафик са ограничени.
Проблемът излиза извън OpenAI
Wikimedia критикува разработчиците на ИИ агенти за недостатъчния контрол върху автономните системи. Според фондацията компаниите трябва да поемат по-голяма отговорност за поведението на своите агенти и да гарантират, че операторите на външни услуги могат ясно да идентифицират автоматизираната активност и да определят как тя да бъде ограничавана.
Случаят обаче не е изолиран само до OpenAI.
През последните месеци са документирани и други инциденти, при които автономни агенти са взаимодействали с външни системи по непредвиден начин. Сред тях са случаи, свързани с австралийски правителствен портал, германско уики и платформата Hugging Face.
През юли Anthropic също съобщи за тестове, при които агенти Claude са компрометирали три организации. В един от случаите агентите са създали злонамерен Python пакет и са го публикували в PyPI, показвайки, че рискът от автономно действие не е специфичен за един доставчик.
Новата граница е контролът върху агентите
Случаят с Wikimedia показва, че развитието на автономните ИИ системи създава нов тип проблем. При традиционния бот основният въпрос е колко заявки изпраща и какви страници обхожда. При агентите трябва да се следи какво решение взема системата и какви действия предприема след него.
Това изисква нов подход към контрола – идентификация на агентите, ясни ограничения на действията, минимални привилегии, контролирани API достъпи, наблюдение на поведението и механизми за човешко одобрение при чувствителни операции.
За операторите на публични платформи въпросът вече не е само как да блокират ботовете, а как да разграничават полезната автоматизация от автономни системи, които могат да натоварят или променят инфраструктурата по начин, който операторът не е разрешавал.
А за разработчиците на ИИ агенти това означава, че безопасността не може да приключва с модела. Тя трябва да обхваща целия цикъл от вземането на решение до реалното действие във външна система.
