Pod ostrzałem krytyki znalazła się firma cybernetyczna CrowdStrike, która opublikowała wstępny przegląd po incydencie przedstawienie dodatkowych informacji na temat nieudanej aktualizacji co spowodowało awarię milionów urządzeń Microsoftu 19 lipcapowodując globalny chaos.
W aktualizacji opublikowanej wcześniej, 24 lipca, firma poinformowała, iż podjęła próbę udostępnienia aktualizacji konfiguracji treści dla swojego czujnika Falcon na hostach Windows wczesnym rankiem w piątek.
Ta aktualizacja „szybkiej odpowiedzi” stanowiła część normalnych mechanizmów dynamicznej ochrony używanych przez platformę Falcon do prowadzenia działań wykrywania i naprawiania cyberzagrożeń. Zasadniczo aktualizacje są używane przez CrowdStrike do identyfikowania nowych wskaźników zachowań aktorów zagrożeń i ulepszania ich możliwości wykrywania i zapobiegania.
Takie aktualizacje dostarczane w chmurze normalnie przechodziłyby bez zwracania na siebie uwagi. Jednak ta aktualizacja spowodowała awarię hostów Windows z systemem Falcon sensor 7.11 i nowszym, które były w tym czasie online.
Problem w rzeczywistości sięga lutego 2024 r., kiedy opublikowano wersję czujnika Falcon 7.11 zawierającą szablony umożliwiające wykrywanie nowej techniki ataku polegającej na nadużywaniu nazwane rury – kanał komunikacji klient-serwer. Te szablony zostały później poddane testom obciążeniowym i zatwierdzone do użytku przed udostępnieniem do produkcji. W ciągu kolejnych tygodni wdrożono trzy kolejne wystąpienia szablonów, również bez incydentów.
Przewińmy do 19 lipca, kiedy to dwa dodatkowe szablony instancji dla tej samej techniki ataku zostały przygotowane do wdrożenia. Jednak tym razem, jak twierdzi CrowdStrike, błąd w automatycznym walidatorze treści używanym do sprawdzania aktualizacji umożliwił jednemu z nich przejście kontroli walidacji „pomimo zawierania problematycznych danych o treści”.
Został on wdrożony na podstawie testów przeprowadzonych w marcu, ale po otrzymaniu i załadowaniu problematycznej zawartości pliku kanału 291 wystąpił stan wykraczający poza zakres pamięci, wyzwalając wyjątek, który przeciążył systemy operacyjne Windows.
Błędna aktualizacja była dostępna przez nieco ponad godzinę i kwadrans, zanim CrowdStrike ją cofnął, od 04:09 UTC do 05:27 UTC (5:09 BST do 06:27 BST) w piątek, ale to wystarczyło, aby spowodować ponad osiem milionów urządzeń na całym świecie do awarii i wyświetlenia niesławnego niebieskiego ekranu śmierci, którego zdjęcia obiegły cały świat.
Dyrektor generalny CrowdStrike George Kurtz ponownie przeprosił klientów i inne osoby dotknięte tą sytuacją – w tym wiele tysięcy osób, których loty zostały opóźnione lub odwołane.
„Całe CrowdStrike rozumie powagę i wpływ sytuacji. gwałtownie zidentyfikowaliśmy problem i wdrożyliśmy poprawkę, co pozwoliło nam skupić się pilnie na przywracaniu systemów klientów jako naszym najwyższym priorytecie” — powiedział Kurtz.
Kurtz podkreślił, iż ani firma Microsoft, ani ona sama nie padły ofiarą żadnego cyberataku, potwierdził też, iż komputery z systemami Linux i Mac nie zostały nim dotknięte.
„CrowdStrike działa normalnie, a ten problem nie wpływa na nasze systemy platformy Falcon. Nie ma to wpływu na żadną ochronę, jeżeli zainstalowany jest czujnik Falcon. Usługi Falcon Complete i Falcon OverWatch nie są zakłócone” – powiedział.
„Zmobilizowaliśmy cały CrowdStrike, aby pomóc Tobie i Twoim zespołom. jeżeli masz pytania lub potrzebujesz dodatkowego wsparcia, skontaktuj się z przedstawicielem CrowdStrike lub działem pomocy technicznej.
„Wiemy, iż przeciwnicy i źli aktorzy będą próbowali wykorzystać takie wydarzenia. Zachęcam wszystkich do zachowania czujności i upewnienia się, iż współpracujecie z oficjalnymi przedstawicielami CrowdStrike. Nasz blog i wsparcie techniczne przez cały czas będą oficjalnymi kanałami najnowszych aktualizacji.
Kurtz dodał: „Nic nie jest dla mnie ważniejsze niż zaufanie i pewność, jakie nasi klienci i partnerzy włożyli w CrowdStrike. Gdy rozwiążemy ten incydent, zobowiązuję się zapewnić pełną przejrzystość tego, jak do tego doszło i jakie kroki podejmujemy, aby zapobiec ponownemu wystąpieniu czegoś podobnego”.
Co się potem dzieje?
CrowdStrike opracował obszerny plan wstępny, który ma na celu zapobiegnięcie wystąpieniu podobnego incydentu w przyszłości.
Obejmuje to poprawę odporności szybkich aktualizacji poprzez przeprowadzanie większej liczby testów deweloperskich, testów aktualizacji i wycofywania, testów obciążeniowych, testowania rozmycia i wstrzykiwania błędów, testów stabilności i testów interfejsu treści. Do systemu walidatora treści ma zostać dodanych więcej kontroli walidacyjnych, a inne komponenty konfiguracji mają zostać ulepszone pod kątem istniejącej obsługi błędów.
Przyszłe wdrożenia szybkiego reagowania będą teraz również realizowane etapowo, stopniowo wdrażane w większych częściach bazy czujników Falcon, zaczynając od tzw. wdrożenia „canary”. W ramach tego wydajność czujników i systemów zostanie objęta ulepszonym monitorowaniem, a klienci otrzymają większą kontrolę nad dostarczaniem takich aktualizacji, które będą teraz również zawierały notatki o wydaniu.
