Пропуск в проверката на собствеността върху акаунти в платформата Hugging Face е позволил на изследователи да поемат контрола над профила, публикуващ популярния ИИ модел за преобразуване на текст в реч Kokoro. Моделът се използва в проекти и инструменти на Google, NVIDIA, AMD, Intel и Amazon Web Services. Експериментът показва как компрометиран акаунт може да се превърне в канал за атака по веригата на доставки, без да е необходимо внедряване на зловреден код.
Промяна в теглата, без промяна в програмния код
Изследователите демонстрират сценарий, при който променят теглата на невронната мрежа така, че Kokoro да генерира аудио, различно от съдържанието на подадения текст. При това не се налага промяна в приложението, което изпълнява модела.
„Променихме това, което моделът казва, чрез фина настройка на невронните му тегла. Същият входен текст. Същият гласов файл. Същата конфигурация. Същият код за изпълнение – нито един ред от приложението не е променен“, обяснява изследователят по сигурността Алон Херц.
Според екипа именно това прави атаката трудна за откриване с традиционни средства за защита. Тъй като се променят само теглата на модела, в пакета няма непременно зловреден код или характерен подпис, който антивирусните скенери да идентифицират.
Kokoro е модел с отворени тегла, който преобразува текст в реч. Поддържа няколко езика и предлага повече от 50 предварително зададени гласа. Въпреки че разработчикът Hexgrad не е публикувал актуализация от април 2025 г., проектът продължава да се използва активно – според изследователите има близо 13 милиона изтегляния месечно в Hugging Face.
Хранилището в GitHub и Python пакетът в PyPI също не са получавали актуализации от приблизително същия период.
Достъпът е получен чрез регистрация на домейна на разработчика
Екипът на Херц е успял да поеме контрола над акаунта на Kokoro в Hugging Face чрез регистрация на домейна hexgrad.com, посочен в публичния файл DONATE.md на проекта.
След регистрацията изследователите използвали домейна, за да задействат процедура за възстановяване на паролата на акаунта на издателя. Така получили контрол над профила, без да се налага да пробиват самата платформа.
В контролиран експеримент екипът променил теглата на модела само за 87 секунди, използвайки графичен ускорител за игри. След модификацията Kokoro генерирал умишлено подменен аудиоизход.
Изследователите тествали променения модел локално чрез стандартния механизъм за изпълнение. Те подчертават, че не са качвали модифицираните тегла в Hugging Face, тъй като това би могло да изложи на риск множество работещи системи, които разчитат на модела.
Според Херц тестове с друг акаунт са показали, че платформата не маркира подобна промяна като подозрителна. Една подменена версия би запазила видимите характеристики на легитимно издание – издателя, начина на доставка, файловия формат и архитектурата. Размерите на файловете също биха останали сходни, а самият пакет не би съдържал зловреден софтуер.
Рискът засяга цялата екосистема на отворените модели
Kokoro е само пример за по-широк проблем. Компрометиран акаунт на издател може да разпространява подменени тегла чрез обичайни актуализации. Рискът е особено сериозен за системи, които автоматично изтеглят нови версии на модели, без допълнителна проверка на произхода и целостта им.
Изследователят предупреждава, че опасност има дори когато акаунтът не е бил превзет. Потребител може да поддържа привидно легитимен проект и в даден момент да публикува злонамерена актуализация.
Херц критикува липсата на достатъчно проверки в Hugging Face. Според него платформата не удостоверява дали акаунтите продължават да се управляват от първоначалните си собственици и не проверява систематично моделите и наборите от данни, които се публикуват.
Проблемът не се ограничава до самата платформа. Теглата и наборите от данни се разпространяват допълнително чрез огледални хранилища, конвертирани версии, GitHub издания, регистри на пакети, инструкции за внедряване и директни изтегляния. Така една компрометирана версия може да достигне до множество системи извън първоначалния канал за разпространение.
Херц съобщава за проблема на Hugging Face с надеждата за бърза реакция, но по думите му не е получил отговор.
Случаят показва, че сигурността на ИИ моделите не зависи единствено от качеството на кода или от проверката за зловреден софтуер. Самите тегла са част от изпълнимата логика на модела и тяхната цялост и произход трябва да бъдат проверявани. При автоматично обновяване на модели компрометирането на акаунта на издателя може да се превърне в атака по веригата на доставки, която остава незабелязана от стандартните инструменти за защита.









