Задълбочаващ се проблем с онлайн екстремизма
В Нова Зеландия се разработва инструмент, който ще пренасочва потребители на ChatGPT, показващи признаци на насилствен екстремизъм, към комбинация от човешка помощ и специализиран чатбот за дерaдикализация.
Инициативата е отговор на растящите опасения за безопасност и на редица съдебни дела срещу компании в сферата на ИИ, обвинявани в неспособност да предотвратят, а понякога и да улеснят насилие. Пример за това е случаят с 18-годишния Джеси ван Роутселар, който извърши фатален убийствен инцидент в училище в Канада, след като платформата го е блокирала без да уведомява властите.
Ролята на ThroughLine
Стартиращата компания ThroughLine, наета от OpenAI, Anthropic и Google, вече пренасочва потребители, които показват риск от самонараняване, домашно насилие или хранителни разстройства, към налични човешки услуги.
Сега ThroughLine разширява обхвата си, като включва и предотвратяване на насилствен екстремизъм, като използва комбинация от:
- Чатбот, обучен да реагира на признаци на радикализация
- Препращане към реални специалисти и услуги
Компанията работи съвместно с инициативата The Christchurch Call, създадена след терористичния акт в Крайстчърч през 2019 г., за да осигури експертна насока.
Как ще работи инструментът за дерaдикализация
Според основателя на ThroughLine, Елиът Тейлър, технологията ще е хибриден модел, който комбинира ИИ чатбот с човешки надзор и препращане към услуги за психично здраве.
- Не се използват обичайните базови данни на големи езикови модели (LLM)
- Работи се с експерти по екстремизъм и психично здраве
- Потребителите в криза ще се насочват към човешки оператори или налични служби, като се взема предвид географско и тематично съвпадение
Въпреки че технологията се тества, конкретна дата за пускане все още не е определена.
Значение за платформите и обществото
Експерти подчертават, че успехът на инструментите зависи от:
- Качеството на последващите мерки – наблюдение и подкрепа след първоначалния контакт
- Структурите и отношенията, към които се пренасочват потребителите
- Предпазване от ескалация на опасното поведение
Чрез такъв подход, Тейлър обяснява, че потребителите често споделят неща онлайн, които биха се стеснявали да кажат на човек, и резкото прекъсване на разговора може да остави индивида без помощ, увеличавайки риска.
Анализ
Инициативата в Нова Зеландия демонстрира няколко важни тенденции:
- Растящата нужда от интегрирана безопасност в ИИ платформите, особено при младежи и уязвими групи
- Разширяване на традиционните услуги за психично здраве към предотвратяване на екстремизъм
- Предизвикателството за правителства и компании да балансират свобода на словото и безопасност
Това е пример за стратегическо прилагане на ИИ не само за обработка на данни, но и за реално социално въздействие.
