Неотдавнашните новини за глобални ИТ смущения, причинени от актуализация на съдържанието на доставчик на продукти за сигурност, предизвикаха важни разговори за процесите за осигуряване на качеството на продуктите за крайни точки и актуализациите на съдържанието. В WatchGuard, с повече от 30 години опит в тази индустрия, познаваме добре чувствителността на процеса на актуализация и искахме да се възползваме от тази възможност, за да подчертаем процесите, които сме въвели, за да защитим нашата ценна партньорска общност и клиентите си от последиците от погрешно въвеждане на актуализация.

Продуктите за сигурност на крайни точки са тясно свързани с операционната система (ОС) и затова изискват по-строги процеси за качество. Уникалността на тези продукти и изискванията за привилегирован достъп до операционната система правят процеса на разработка и осигуряване на качеството (ОК) по-труден от този на други видове софтуер. Поради това, че този тип софтуер се изпълнява на десетки до стотици милиони крайни точки и в изключително разнообразни условия, не можем да тестваме всички  среди, в които продуктът ще работи в крайна сметка. За да решат този проблем, техническите екипи на WatchGuard са въвели процес, който, запазвайки ритъма на версиите, ограничава възможността за нарушаване на нормалната работа.

Процес на актуализиране на продукти за крайни точки на WatchGuard

Фаза 1 – Предварителен преглед за приятели и семейство:

Процесът, който е обяснен в тази техническа статия, започва, след като екипът по качеството завърши всички вътрешни процедури за алфа и бета тестване на новата версия. След като софтуерът е сертифициран, започваме с етап, който наричаме вътрешно тестване „Приятели и семейство“; по същество, защото започва да бъде точно това – тестване на новото решение от приятели и семейство в производството.

Първоначално, преди близо 10 години, започнахме с обновяване на личните си системи – както корпоративните, така и личните устройства у дома. Вътрешните ни системи WatchGuard са сред първите, които се включват в разгръщането на Friends & Family – не само личните компютри, но и производствените сървъри.

С течение на времето тази среда стана много по-разнообразна, със стотици акаунти и хиляди крайни точки. Някои от най-стратегическите ни партньори и някои администратори на клиенти пожелаха да се присъединят към ранното приемане на новите ни версии, което добавя тези клиентски среди към ранното тестване на Friends & Family.

Всички системи, включени в този етап, са подложени на строг мониторинг. Добавихме разширена телеметрия, за да проверим дали новата версия не се държи различно от тази, която се обновява. Сред разширените данни качваме и следим за потенциални сривове и грешки, но също така и данни за състоянието, като например изразходвана памет или средно използване на процесора.

В зависимост от промените поддържаме този етап достатъчно дълго време, за да проверим дали както първоначалното внедряване е било успешно, така и дали то също работи правилно за достатъчен период от време.

Нашият екип по поддръжката също е много активен по време на този етап, за да идентифицира евентуални нови проблеми. Всъщност те предоставят основния принос за вземане на решение дали можем да преминем към следващия етап от процеса на пускане на обновяването. Когато нашият екип по поддръжката е доволен от версията и всички показатели са под определените параметри, ние продължаваме.

Фаза 2 – Контролиран предварителен преглед:

Следващата стъпка за нас е да уведомим в конзолата в облака, че е налична нова версия. Целта е да предоставим на нашите партньори и клиенти известие, че могат да започнат да внедряват новата версия. Възможно е, както е описано в тази техническа статия, да извършите обновяването на системите си по контролиран начин.

Ние оставаме на този етап в продължение на няколко седмици, като следим броя на новите устройства, които се обновяват. Както и на етапа „Приятели и семейство“, нашите екипи по поддръжката са много активни в идентифицирането на аномални поведения, които биха могли да са свързани с новата версия.

Етап 3 – Процес на автоматично обновяване:

След като сме се уверили, че новата версия ни устройва, започваме фазите на автоматично надграждане. Отново броят на фазите зависи от промените, но обикновено те са разделени на три-четири етапа, по време на които започваме да прокарваме обновяването на клиентите в тези етапи.

Процес на актуализиране на съдържанието на WatchGuard:

Процесът на предоставяне на актуализации на съдържанието е подобен. В този случай разполагаме с етапна среда, подобна на нашата „Приятели и семейство“, със стотици акаунти и хиляди устройства. След като съдържанието е сертифицирано, първо публикуваме актуализацията в тази среда. Подобно на етапа на „Приятели и семейство“, тази среда е силно наблюдавана за данни за състоянието. Всяко отклонение от предишната линия на изпълнение се оценява и тества повторно в тази среда. Едва когато този процес приключи – без да са отчетени нови проблеми – изпращаме актуализацията на нашите партньори и клиенти.

Искам да се възползвам от тази възможност, за да призная усилията и произтичащата от тях стойност на работата, която нашите вътрешни екипи за разработка, осигуряване на качеството, DevOps и поддръжка извършват ежедневно, за да гарантират, че поддържаме решението в актуално състояние срещу нови заплахи и избягваме проблеми за нашите партньори и клиенти. Искам също така да потвърдя постоянния ангажимент на WatchGuard да преразглежда, преработва и развива тези процеси, както е необходимо, за да продължи да печели вашето доверие.

И накрая, аз съм в бранша повече от двадесет и пет години и знам болката, причинена от неуспешно внедряване, и не ми харесва да виждам как това се случва на други компании. Когато това се случи, нашият импулс е да удвоим усилията си, за да проверим дали предпазваме партньорите и клиентите си от реални заплахи, и да останем бдителни в постоянното преоценяване на вътрешните си процеси.

Автор: Гилермо Гомес Сантамария