Анализ показва тревожна тенденция за алгоритмично пристрастие в популярни модели за генеративен ИИ

Ново изследване на учени от MIT Center for Constructive Communication разкрива, че някои от най-популярните модели за генеративен ИИ могат да предоставят по-неточни или непълни отговори на определени групи потребители.

Според анализа системи като GPT-4, Claude 3 Opus и Llama 3 показват по-ниска точност и по-висока склонност към отказ от отговор, когато взаимодействат с потребители, представени като:

• хора с по-слаб английски език

• потребители с по-ниско формално образование

• хора извън Съединените щати

Изследователите предупреждават, че подобно поведение може да доведе до разпространение на неточна информация именно сред групите, които имат най-малка възможност да проверят достоверността ѝ.

Как е проведено изследването

Екипът от MIT Center for Constructive Communication разработва експериментален метод, при който едни и същи въпроси се задават на моделите, но от името на различни измислени потребители.

Всеки въпрос е придружен от кратка биография, описваща предполагаемия автор на запитването, включително:

• ниво на образование

• владеене на английски език

• държава на произход

Тази методология позволява на изследователите да анализират дали моделите реагират различно в зависимост от социалния и образователния профил на потребителя.

Резултатите показват, че точността на отговорите намалява, когато моделите „смятат“, че въпросът идва от потребител с по-ниско образование или по-слаб английски.

Най-големият спад в точността

Според съавтора на изследването Джад Кабара, най-изразените отклонения се наблюдават при комбинация от два фактора.

Най-голям спад в точността се регистрира при потребители, които едновременно:

• не са носители на английски език

• имат по-ниско ниво на образование

Кабара предупреждава, че подобни ефекти могат да се натрупват и взаимно да се усилват, което създава риск ИИ системите несъзнателно да дискриминират определени групи потребители.

Разлики според националността

Изследването открива и различия, свързани с националността на потребителите.

Например моделът Claude 3 Opus показва значително по-ниска точност, когато въпросите са представени като зададени от потребители от Иран, дори когато образователният им профил е идентичен с този на други потребители.

Подобни резултати подсказват, че географският или културният контекст също може да влияе върху поведението на ИИ системите.

Повече откази за отговор

Освен по-ниската точност, изследователите откриват и значителни разлики в честотата на отказите за отговор.

В един от тестовете моделът Claude 3 Opus отказва да отговори на почти 11% от въпросите, когато те са представени като зададени от потребители с по-ниско образование и слаб английски.

За сравнение, в контролната група този процент е едва 3.6%.

Това означава, че едни и същи въпроси могат да получат различно отношение от системата в зависимост от профила на потребителя.

Патронизиращи и подигравателни отговори

При анализ на отказите учените установяват и друг проблем – тонът на някои отговори.

В определени случаи системите:

• използват покровителствен тон

• подценяват знанията на потребителя

• имитират „счупен“ английски език

• преувеличават диалектни особености

Подобни реакции се разглеждат като форма на алгоритмично пристрастие, което може да повлияе негативно на начина, по който потребителите възприемат ИИ системите.

Избирателно избягване на чувствителни теми

Изследователите откриват и селективно избягване на определени теми, когато въпросите идват от потребители, представени като живеещи в държави като Иран или Русия.

Сред темите, по които чатботовете по-често отказват отговор, са:

• ядрена енергетика

• анатомия

• научни и технически въпроси

Любопитното е, че същите модели отговарят на тези въпроси, когато са зададени от потребители от други държави.

Рискът при масовото внедряване на ИИ

Изследването поставя важен въпрос за бъдещето на генеративния ИИ.

Когато подобни системи се използват в образование, работа и ежедневна комуникация, алгоритмичните пристрастия могат да задълбочат съществуващи социални неравенства.

Ако ИИ системите предоставят по-неточна информация именно на хората с по-малко ресурси или по-ниско образование, това може да доведе до по-широко разпространение на дезинформация и неправилни решения.

Затова изследователите подчертават, че разработчиците на ИИ трябва да обръщат по-голямо внимание на начина, по който моделите реагират на различни типове потребители, особено когато тези технологии се използват в глобален мащаб.