Microsoft установи, че софтуерен дефект, въведен през юли, е причинил глобалния срив на Microsoft 365 на 12 ноември. В комбинация с увеличен мрежов трафик и намален капацитет проблемът е довел до отказ на над 80% от сървърите на мрежовата инфраструктура, обслужваща услугите на компанията.
Три фактора предизвикали каскадния отказ
В предварителния доклад за инцидента, публикуван в Microsoft 365 Admin Center, компанията посочва три основни фактора:
- неоткрит софтуерен дефект в мрежовите шлюзове;
- рязко увеличаване на трафика след автоматично пренасочване на Microsoft Teams;
- предварително намален капацитет на сървърната инфраструктура.
Сривът започва в 11:20 ч. източноамериканско време на 12 ноември и продължава до 11:10 ч. на следващия ден, когато Microsoft потвърждава, че услугите са напълно възстановени. Прекъсването продължава близо 24 часа и засяга потребители по целия свят.
Сред засегнатите услуги са Outlook, Exchange Online, Teams и Copilot. Потребителите губят достъп до електронната си поща, а доставянето на съобщения е сериозно забавено.
Дефектът останал незабелязан повече от три месеца
Според Microsoft проблемният код е въведен през юли с актуализация за сървърите, обслужващи мрежовите шлюзове на Microsoft 365. Тя е внедрена и работи повече от три месеца, без да предизвика видими проблеми.
Дефектът обаче можел да доведе до прекомерно натоварване при определени условия на трафика, вследствие на което сървърите спирали да отговарят на заявките.
Тестовете преди внедряването не открили проблема. Microsoft обяснява, че лабораторните изпитвания използвали по-слаби машини с по-малко процесорни ядра от тези в производствената инфраструктура. При реалните сървъри с повече ядра и по-нов хардуер дефектът се проявил по-силно.
Компанията признава, че стандартните ѝ тестове за натоварване не са възпроизвели необходимата комбинация от трафик и хардуерни характеристики.
Пренасочването на Teams задейства проблема
Непосредственият фактор за активирането на дефекта е автоматичното пренасочване на Microsoft Teams към мрежовата инфраструктура, използвана от Exchange Online. Това се случва приблизително 15 часа преди основния срив и увеличава натоварването върху съответните сървъри.
Допълнително усложнение е, че близо 14% от капацитета на сървърите на мрежовите шлюзове вече е бил недостъпен заради друг, несвързан с този инцидент проблем. Според Microsoft наличният ресурс е бил достатъчен да поеме това намаление, но съчетанието с допълнителния трафик е задействало скрития софтуерен дефект.
След като част от сървърите спрели да отговарят, системите автоматично пренасочили потребителските заявки към останалите работещи машини. Допълнителното натоварване обаче довело до отказ и на тях.
За по-малко от два часа дефектът се разпространил в цялата сървърна инфраструктура. В най-тежкия момент над 80% от сървърите били неотзивчиви.
Механизмите, предназначени да ограничават разпространението на проблеми между отделните региони, също не успели да изолират отказа. Така първоначалният проблем прераснал в глобално прекъсване.
Защо възстановяването отне толкова време
Различните услуги на Microsoft 365 не били засегнати по еднакъв начин. Teams, OneDrive и SharePoint можели да преминат към алтернативна инфраструктура и да възстановят работата си по-рано. Exchange Online не разполагал със същата възможност за прехвърляне, което оставило потребителите без достъп до пощенските им кутии.
Възстановяването било затруднено и от натрупания трафик. При рестартиране на засегнатите сървъри те бързо се претоварвали от чакащите заявки.
След идентифицирането на дефекта инженерите на Microsoft разработили корекция и я внедрили върху засегнатите сървъри. Това позволило постепенно стабилизиране на услугите през 13 ноември. Компанията потвърдила прекратяване на активното въздействие върху клиентите в 11:10 ч. източноамериканско време.
Microsoft обещава допълнителни защитни мерки
След инцидента компанията е увеличила капацитета на инфраструктурата, подобрила е наблюдението и е добавила допълнителни механизми за защита срещу ситуации, при които пренасочването на трафика може да предизвика каскаден отказ.
Чарлс Ламанна, изпълнителен вицепрезидент на Microsoft, отговарящ за Copilot, агентите и платформата, поднесе извинения на клиентите в публикация в социалната мрежа X. Той призна въздействието върху ежедневната работа и бизнес операциите на засегнатите организации.
Разследването продължава. Microsoft очаква да публикува окончателен доклад за инцидента по-късно тази седмица.
Случаят показва как дефект, останал незабелязан при тестовете в продължение на месеци, може да предизвика мащабен отказ при промяна на натоварването. Комбинацията от софтуерен проблем, недостатъчен резервен капацитет и неуспешно ограничаване на пренасочения трафик превърна локален технически дефект в глобално прекъсване на облачни услуги.









