Търсене
Close this search box.

Клиентите на AWS ще могат да създават LLM с многотрилионни параметри

AWS вече ще предлага базирани на графични процесори Nvidia Grace Blackwell екземпляри Amazon EC2 и Nvidia DGX Cloud

AWS и Nvidia обявиха разширяване на стратегическото си сътрудничество, което ще доведе до появата на новата платформа Blackwell GPU в платформата AWS.

Хиперскалерът ще предлага графичните процесори Nvidia GB200 Grace Blackwell Superchip и B100 Tensor Core в ход, предназначен да помогне на клиентите да отключат и използват нови възможности за генеративен изкуствен интелект.

Сътрудничеството води до интеграция между най-новите многонишкови системи на Nvidia, които разполагат с платформата Blackwell от следващо поколение на производителя на чипове и софтуер за ИИ, усъвършенстваната сигурност на системата Nitro на AWS и услугата за управление на ключове (AWS KMS), петабитовата мащабна мрежа Elastic Fabric Adapter (EFA) и хипермащабния клъстер UltraCuster на Amazon Elastic Compute Cloud (Amazon EC2).

 

В съобщението си компаниите заявиха, че тази комбинация от технологии ще позволи на клиентите да изграждат и изпълняват в реално време изводи за големи езикови модели (LLM) с много трилиони параметри по-ефективно, отколкото предишното поколение графични процесори Nvidia в Amazon EC2.

„Следващото поколение процесори Grace Blackwell на NVIDIA бележи значителна стъпка напред в генеративния изкуствен интелект и GPU изчисленията“, коментира Адам Селипски, главен изпълнителен директор на AWS.

„В комбинация с мощната мрежа Elastic Fabric Adapter Networking на AWS, хипермащабното клъстериране на Amazon EC2 UltraClusters и усъвършенстваните възможности за виртуализация и сигурност на нашата уникална система Nitro, ние правим възможно за клиентите да изграждат и изпълняват модели на големи езици с много трилиони параметри по-бързо, в огромен мащаб и по-сигурно, отколкото където и да било другаде.“

Ускоряване на LLM чрез AWS

Като част от разширеното партньорство, платформата Blackwell на Nvidia, която разполага с GB200 NVL72, вече ще бъде достъпна чрез платформата AWS, в комплект със 72 графични процесора Blackwell и 36 графични процесора Grace, свързани помежду си чрез пето поколение Nvidia NVLink.
Платформата ще се свърже с мрежата EFA на AWS и ще използва усъвършенстваната виртуализация Nitro System на облачния гигант и хипермащабните клъстери EC2 UltraClusters.
AWS заяви, че тази комбинация ще позволи на клиентите да мащабират до хиляди GB200 Superchips и да ускорят работните натоварвания за изводи за ресурсоемки модели на езици с много трилиони параметри.

Освен това AWS планира да предлага екземпляри на EC2 с новите графични процесори B100, разположени в EC2 UltraClusters, за ускоряване на обучението и изводите на генеративния изкуствен интелект в по-голям мащаб.

GB200 ще бъдат налични в платформата DGX Cloud на Nvidia, за да помогнат за ускоряване на разработването на генеративен ИИ и LLM, които имат възможност да достигнат над 1 трилион параметъра.

Подобрена сигурност

AWS и Nvidia също така надграждат съществуващите мерки за сигурност на ИИ, като комбинацията от AWS Nitro System и GB200 на Nvidia има за цел да предотврати достъпа на неоторизирани потребители до теглата на моделите.

GB200 работи, за да позволи физическо криптиране на връзките NVLink между графичните процесори и криптира прехвърлянето на данни от процесора Grace към графичния процесор Blackwell, докато EFA ще криптира данните в сървърите за разпределено обучение и изводи.

GB200 също така ще се възползва от способността на системата AWS Nitro да разтоварва входно-изходните функции за функции от хост CPU/GPU към специализиран хардуер на AWS, като същевременно прилага подобрена сигурност за защита на кода и данните на клиентите по време на обработката.

Според AWS с GB200 в Amazon EC2 клиентите ще могат да създадат надеждна среда за изпълнение заедно със своята инстанция EC2, като използват AWS Nitro Enclaves за криптиране на данните за обучение и теглата с AWS KMS.

Потребителите могат да заредят енклава от инстанцията GB200 за директна комуникация със суперчипа, което ще позволи на KMS да комуникира директно с енклава и да прехвърля ключов материал директно и сигурно.

След това aнклавът е в състояние да предаде този материал на GB200 по сигурен начин и по начин, който не позволява на операторите на AWS никога да получат достъп до ключа или да декриптират данните за обучение или теглата на модела.

Повече подробности за „Проект Ceiba“

Обявени за първи път на AWS re:Invent 2023, Nvidia и AWS си сътрудничат и за създаването на един от най-бързите суперкомпютри с изкуствен интелект в света.

Наречен „Project Ceiba“, новият суперкомпютър ще бъде хостван в AWS и ще се използва от Nvidia за усъвършенстване на ИИ за LLM, графика и симулация, дигитална биология, роботика, самоуправляващи се автомобили, както и за Nvidia Earth 2 за прогнозиране на климата.

Суперкомпютърът ще разполага с 20 736 графични процесора B200 и се изгражда с помощта на новата система Nvidia GB200 NVL72, която разполага с NVLink от пето поколение, която се свързва с 10 368 графични процесора Grace. Тя ще използва и четвърто поколение EFA мрежа за мащабиране, предлагайки до 8000 Gbps на суперчип с ниска латентност и висока пропускателна способност на мрежата.
Двойката заяви, че тази комбинация ще позволи обработката на до 400 екзафлопа ИИ и шесткратно увеличение спрямо по-ранните планове за изграждане на Ceiba върху архитектурата Hopper.

„ИИ прави пробиви с безпрецедентни темпове, което води до нови приложения, бизнес модели и иновации в различни индустрии“, коментира Дженсън Хуанг, основател и главен изпълнителен директор на Nvidia.

„Нашето сътрудничество с AWS ускорява новите възможности за генеративен ИИ и предоставя на клиентите безпрецедентна изчислителна мощ, за да разширят границите на възможното.“

Източник: itpro.co.uk

Подобни публикации

21 април 2024

Как OpenAI и Microsoft събудиха заспал софтуере...

Само преди десетилетие най-големият технологичен звяр в света беше ...
20 април 2024

Готви се нова методика за удостоверяване на съо...

Актуализирането на методиката за удостоверяване на съответствието н...
20 април 2024

Критична уязвимост на Forminator за WordPress и...

Плъгинът Forminator за WordPress, използван в над 500 000 сайта, е ...
20 април 2024

Бандата "Медуза" нанася нов удар

Въпреки че общинската агенция уверява обществеността, че малцина са...
19 април 2024

Пробиха MITRE чрез нулевите дни на Ivanti

Корпорацията MITRE твърди, че подкрепяна от държавата хакерска груп...
19 април 2024

Замбия арестува 77 души в операция за киберпрес...

Компанията за фалшиви телефонни центрове извършва онлайн  и други и...
Бъдете социални
Още по темата
21/04/2024

Как OpenAI и Microsoft събу...

Само преди десетилетие най-големият технологичен звяр...
18/04/2024

Групата "Sandworm" е основн...

Но дори и да се е...
17/04/2024

Последни тенденции при злов...

В днешната дигитална ера киберсигурността се...
Последно добавени
21/04/2024

Как OpenAI и Microsoft събу...

Само преди десетилетие най-големият технологичен звяр...
20/04/2024

Готви се нова методика за у...

Актуализирането на методиката за удостоверяване на...
20/04/2024

Критична уязвимост на Formi...

Плъгинът Forminator за WordPress, използван в...
Ключови думи

Абонамента е почти завършен.

На посоченият от Вас e-mail е изпратено съобщение за потвърждаване на абонамента.

Моля, проверете електронната си поща за да потвърдите.

Благодарим за доверието!