Днес финландски стартъп пусна многоезичен модел с изкуствен интелект, който според компанията е „важен етап“ по пътя към придобиване на LLM за всеки език на ЕС.

Базираната в Хелзинки компания Silo AI нарича новия голям езиков модел Viking 7B. Той обхваща датски, фински, исландски, норвежки и шведски, както и английски и езици за програмиране. Оценките показват най-добро в класа си представяне на всички скандинавски езици – без да се прави компромис с изходите на английски език.

Питър Сарлин, главен изпълнителен директор на Silo AI, заяви, че компанията му вече е „на прав път“ към крайната си цел.

„Това издание бележи важна стъпка в продължаващите ни усилия за разработване на ефективни езикови модели за всички официални езици на ЕС“, каза той.

„Със семейството модели Viking ние потвърждаваме ангажимента си към цифровия суверенитет на Европа.“

Семейство LLM на Silo AI

Компанията Silo е специализирана в областта на езиците с ниски ресурси, за които липсват езикови данни, които обикновено са необходими за обучение на модели на ИИ.

Без LLM на тези езици цели общности ще пропуснат да се възползват от безброй услуги – от машинен превод до персонализирано здравеопазване.

За да запълни недостига на данни, Silo прилага различни техники. Една от тях е оптимизиране на архитектурите на моделите за предварително обучение. Друга включва преведени двойки от езици с високи и ниски ресурси.

Няколко от техниките използват междуезиков сигнал, който засилва връзките между езиците.

„Това позволява на модела да обобщава и да прилага научените модели на различни езици – дори на такива с ограничени данни за обучение“, казва Сарлин.

Нови параметри

Viking 7B със 7 милиарда параметри е първата версия от семейството модели, обявено миналия месец. Silo също така планира да пусне 13B и 33B версии. Контролните точки и за двата тези LLM бяха пуснати днес.

С разширяването на параметрите моделите ще подобрят разбирането си за подсказките и капацитета си за нюансирани резултати. Но те ще се нуждаят и от по-големи изчислителни ресурси, което води до по-високи разходи и консумация на енергия.

За да се пестят тези ресурси, Silo обучи Viking на LUMI – най-мощния суперкомпютър в Европа и третия най-екологичен в света в списъка Top500.

След като ресурсите са под контрол и производителността е доказана, сега Silo планира да интегрира всички езици на ЕС.

„Смятаме, че многоезичните LLM представляват част от цифровата инфраструктура на Европа“, каза Сарлин.