Ново изследване показва колко крехки могат да бъдат системите за препоръки, които стоят зад платформи като TikTok, Spotify и други социални и стрийминг услуги. Според учените, едва 40 координирани потребители са достатъчни, за да влошат значително качеството на съдържанието, което се препоръчва на останалите потребители.

Изследването е проведено от Джовани Де Тони и екип учени от Европейска комисия и Fondazione Bruno Kessler.

Как работи манипулацията

Съвременните recommendation engines все по-често използват механизми, които позволяват на потребителите сами да влияят върху съдържанието чрез бутони като „Not Interested“ или „Не ме интересува“.

Идеята е алгоритмите да ограничават нежеланото съдържание и да подобряват персонализацията. На практика обаче това създава нова възможност за координирана манипулация.

Изследователите установяват, че малка група потребители, представляваща около 1% от активните участници в дадена среда, може умишлено да „обучава“ алгоритъма чрез фалшиви сигнали.

Резултатът:

• до 20% спад в качеството на препоръките;
• до 60% по-слабо откриване на релевантно съдържание;
• масово повтаряне на едни и същи публикации и видеа;
• в някои случаи до 80% повторяемост на съдържанието в потребителските feed-ове.

Атаката не нарушава системата – тя я „претоварва“

Особено интересен е фактът, че нападателите не „чупят“ алгоритъма директно. Вместо това те злоупотребяват с начина, по който системата управлява т.нар. risk budget – механизъм, предназначен да ограничава нежеланото съдържание.

Всеки сигнал „Не ме интересува“ кара алгоритъма да става по-предпазлив и по-агресивно да филтрира съдържание за всички останали потребители.

Така сравнително малка група може постепенно да влоши качеството на препоръките в глобален мащаб, без да се налага компрометиране на акаунти или сложни технически атаки.

Данните идват от реална социална платформа

За тестовете учените използват публичен dataset от китайската видео платформа Kuaishou – една от големите short-form video услуги в Азия.

Симулациите показват, че дори минимално количество координирани действия е достатъчно, за да изкриви работата на recommendation engine-а.

Това поставя сериозни въпроси пред платформите, които все повече разчитат на автоматизирани алгоритми за:

• съдържателна модерация;
• персонализация;
• рекламен таргетинг;
• engagement оптимизация;
• ограничаване на harmful content.

Проблем и за европейските регулации

Темата става още по-чувствителна заради Европейски съюз и новите изисквания към големите онлайн платформи.

DSA задължава платформите да оценяват риска от:

• координирани манипулации;
• злоупотреба с алгоритми;
• дезинформационни кампании;
• организирани опити за влияние върху потребителското съдържание.

Изследването показва, че дори системи, създадени с идеята да бъдат по-безопасни и по-контролируеми, могат да се окажат уязвими към сравнително елементарни coordinated behavior атаки.

Решение има – но цената е по-сложна архитектура

Изследователите предлагат решение чрез индивидуално калибриране на „risk threshold“ за всеки потребител, вместо използването на глобален модел за цялата платформа.

При тестовете този подход значително намалява ефекта от атаките и почти елиминира проблема с повтарящото се съдържание.

На практика това означава:

• по-сложни recommendation модели;
• по-големи изчислителни ресурси;
• по-фина персонализация;
• по-трудна манипулация от координирани групи.

Алгоритмите вече са критична инфраструктура

Случаят показва колко силно алгоритмите влияят върху начина, по който хората възприемат света онлайн. От новини и музика до политическо съдържание и видеа – recommendation системите вече са основен филтър за информацията, която достига до милиарди потребители.

А това означава, че дори сравнително малки coordinated manipulation кампании могат да имат много по-голямо въздействие, отколкото изглежда на пръв поглед.