Większość czujników CrowdStrike Falcon dotknięty nieudaną szybką aktualizacją odpowiedzi zostały ponownie uruchomione przed weekendem 27 i 28 lipca, podczas gdy realizowane są prace nad usunięciem skutków incydentu z 19 lipca, który spowodował awarię ponad ośmiu milionów komputerów z systemem Windows.
Pisanie na LinkedIn 26 lipcaDyrektor generalny CrowdStrike George Kurtz, który od początku incydentu regularnie przekazywał informacje na jego temat, powiedział, iż w czwartek 25 lipca „ponad 97%” czujników Windowsa było ponownie online.
„Ten postęp jest zasługą niestrudzonych wysiłków naszych klientów, partnerów i poświęcenia naszego zespołu w CrowdStrike. Rozumiemy jednak, iż nasza praca nie pozostało ukończona i przez cały czas jesteśmy zaangażowani w przywracanie każdego dotkniętego systemu” — powiedział Kurtz.
„Do naszych klientów, których to przez cały czas dotyczy, wiedzcie, iż nie spoczniemy, dopóki nie osiągniemy pełnego powrotu do zdrowia. W CrowdStrike naszą misją jest zdobycie waszego zaufania poprzez ochronę waszych operacji. Jest mi niezmiernie przykro z powodu zakłóceń spowodowanych tą awarią i osobiście przepraszam wszystkich, których to dotyczy. Chociaż nie mogę obiecać perfekcji, mogę obiecać odpowiedź, która jest skupiona, skuteczna i z poczuciem pilności”.
Kurtz powiedział, iż działania naprawcze zostały znacznie ułatwione dzięki wykorzystaniu zautomatyzowanych technik odzyskiwania i mobilizacji wszystkich możliwych zasobów w celu wsparcia poszkodowanych klientów. Powtórzył zaangażowanie CrowdStrike w jego podstawową misję – powstrzymanie naruszeń – ale z nowym naciskiem na kontrolę klienta i odporność, jak szczegółowo opisano we wstępnym raporcie firmy dotyczącym incydentu w zeszłym tygodniu.
Aktualizacja naprawcza zostanie niedługo wdrożona
Tymczasem CrowdStrike potwierdzono w siostrzanym tytule Computer Weekly TechTarget Security przed weekendem udało się ostatecznie naprawić błąd logiczny, który spowodował chaos, a w tej chwili realizowane są intensywne testy przed wdrożeniem aktualizacji, które ma zostać udostępnione w najbliższych dniach.
Zanieczyszczona aktualizacja była częścią szybkiego wdrożenia, zwykle stosowanego przez CrowdStrike w celu ulepszenia dynamicznych mechanizmów ochrony swojej platformy Falcon – innymi słowy, została zaprojektowana w celu identyfikowania nowych problemów z cyberbezpieczeństwem i pomagania klientom w ich łagodzeniu.
Firma stale przeprowadza takie aktualizacje, ale tym razem problematyczna zawartość pliku kanału przeszła przez czujne oko automatycznego walidatora treści CrowdStrike. Te dwa problemy łącznie doprowadziły do stanu poza zasięgiem pamięci, który wywołał wyjątek przytłaczający system operacyjny Windows i powodujący awarię i zamknięcie podatnych urządzeń, co doprowadziło do niesławnego niebieskiego ekranu śmierci.
CrowdStrike stara się zapobiec powtórzeniu się tego problemu w przyszłości, zwiększając odporność aktualizacji szybkiego reagowania dzięki udoskonalonym testom na wielu poziomach i dodając odświeżone kontrole poprawności do zautomatyzowanego narzędzia do walidacji treści, które dotychczas zawodziło.
Firma planuje również wdrażanie szybkich aktualizacji w sposób etapowy, wdrażając je wolniej na wszystkich czujnikach Falcon i korzystając z wdrożeń „kanarkowych”, mających na celu sygnalizowanie poważnych problemów, zanim się rozprzestrzenią.
Dzięki temu działanie czujników i systemów będzie lepiej monitorowane, a klienci CrowdStrike otrzymają w pewnym momencie więcej opcji samodzielnego zarządzania szybkimi aktualizacjami.
Wpływ na życie realne
Tymczasem skutki awarii są przez cały czas odczuwalne w realnym świecie, w wyniku czego linie lotnicze na całym świecie musiały opóźniać, przekładać i odwoływać loty.
Jedną z historii, które się pojawiły, jest historia 83-letniego mężczyzny, który stał się obiektem poszukiwań prowadzonych przez władze USA. Patrick Baileyktóry miał lecieć z Florydy do Kalifornii 19 lipca, został zakwaterowany w miejscowym hotelu, gdy odwołano jego lot.
Chociaż Bailey wymeldował się następnego ranka, przypadkowo zostawił telefon komórkowy w pokoju i zaginął na kilka dni. Bailey ostatecznie pojawił się w Kalifornii 28 lipca, zamiast tego decydując się na podróż długodystansowym autobusem Greyhound przez USA.
