Porównanie programów ochronnych w listopadzie 2023 r.
To była ostatnia edycja badania w roku 2023 długoterminowej serii testów „Advanced In The Wild Malware Test”. Podczas tej wielomiesięcznej analizy, wykonywanej 6 razy do roku w środowisku rzeczywistym, skupiamy się na ocenie skuteczności programów do zabezpieczania Windows przeciwko realistycznym zagrożeniom pochodzącym z różnych źródeł w Internecie.
Listopad 2023 roku stał pod znakiem PUA/PUP, które z racji swojej specyfiki nie jest złośliwym oprogramowaniem, ale może wyrządzać pewne szkody osobom o małej wiedzy technicznej. O wielkości skali systemu potencjalnie niechcianego niechaj zaświadczy fakt, iż prawie ¼ adresów internetowych in-the-wild obejmowała instalatory rozszerzeń do przeglądarek, paski narzędzi, czy inne aplikacje, które mogą być uciążliwe.
Finalnie prawdziwego szkodliwego systemu pozostało 245 próbek. Do najbardziej interesujących zaliczamy następujące rodziny:
- Doina
- Jaik
- Boigy
- Fugrafa
- VBA.Trojan.d
- Mint.Zard
- MSIL.PasswordStealerA
- CryptZ.Marte
- Strictor
- Shellcode.Loader.Marte
Do klasyfikacji zagrożeń wykorzystujemy opinię silnika naszego partnera technologicznego, MKS_VIR sp. z o.o. Interesujące jest, iż aż 74/245 próbek zostało zidentyfikowanych jako 0-day (nie mających przypisanych jeszcze sygnatur).
Nasze testy są zgodne z wytycznymi Anti-Malware Testing Standards Organisation. Szczegóły na temat badania dostępne są na tej stronie, a także w naszej metodologii.
Jak w 3 krokach oceniamy testowane rozwiązania?
W dużym skrócie na testy z serii Advanced In The Wild Malware Test składają się 3 duże procedury, które następują po sobie:
Dobieranie próbek do testu i analizowanie logów malware
Na bieżąco gromadzimy złośliwe oprogramowanie w postaci prawdziwych adresów URL z Internetu. Wykorzystujemy szerokie spektrum wirusów z różnych źródeł, a są to publiczne feedy i honeypoty. Dzięki temu test obejmuje najbardziej aktualny i zróżnicowany zestaw zagrożeń.
Analizowane próbki w Windows przechodzą weryfikację na podstawie setek reguł – najczęściej stosowanych technik przez autorów złośliwego systemu (LOLBINs). Monitorujemy procesy systemowe, połączenia sieciowe, rejestr Windows oraz inne zmiany dokonywane w systemie operacyjnym, aby dowiedzieć się, co tak naprawdę zaświadczało o szkodliwości danej próbki podczas jej analizy.
W następnym kroku każda próbka złośliwego systemu w systemach z zainstalowanymi produktami bezpieczeństwa jest w tym samym czasie pobierana z rzeczywistego adresu URL przez przeglądarkę.
Co następuje dalej?
Symulowanie rzeczywistego scenariusza ochrony systemu
W badaniu symulujemy rzeczywisty scenariusz wtargnięcia zagrożenia do systemu z adresu URL. Może to być strona internetowa przygotowana przez oszusta albo link wysłany ofierze przez komunikator, mail, dokument. Link następnie jest otwierany w systemowej przeglądarce (korzystamy z Firefox).
Na końcowy wynik składają się dwa scenariusze blokowania danego zagrożenia:
- Jeśli link do pliku jest gwałtownie identyfikowany i blokowany w przeglądarce, to wówczas przypisujemy wynik tzw. PRE-LANUCH, gdzie dane zagrożenie jest zatrzymywane na wczesnym etapie, jeszcze przed uruchomieniem.
- POST-LANUCH: o ile malware zostanie pobrane, dopuszczone do uruchomienia i skutecznie zatrzymane, to przypisujemy ten poziom, oceniając realną skuteczność produktu zabezpieczającego przeciwko zagrożeniom, w tym 0-day.
O ile poziom Pre-Lanuch wskazuje na malware, które zostało gwałtownie wykryte i zablokowane, zanim aktywowało swój złośliwy ładunek, o tyle poziom Post-Lanuch odnosi się do zagrożenia wychwyconego dowolną technologią producenta (lokalną albo w chmurze) już po detonacji w systemie. Należy podkreślić, iż na tym poziomie radzą sobie najlepiej te rozwiązania, które dysponują zróżnicowaną ochroną w postaci wielu warstw zabezpieczeń.
Ocena czasu naprawy incydentu (ang. Remediation Time)
W dalszej kolejności, oprócz detekcji i blokowania zagrożeń 0-day, obliczamy czas potrzebny do automatycznego naprawienia skutków incydentu dla danej próbki malware (ang. Automatic Average Remediation Time).
Testowane produkty konfigurujemy w taki sposób, aby usuwanie skutków ataku i naprawy systemu było podejmowane automatycznie, bez pytania użytkownika o decyzję.
Finalnie, dla każdej próbki malware – od momentu jej uruchomienia – odmierzamy czas potrzebny do wykrycia szkodliwej aktywności po automatyczną naprawę incydentu.
Wyniki w listopadzie 2023
W listopadzie 2023 r. wykorzystaliśmy 245 unikalnych próbek malware pochodzących z Internetu.
Testowane rozwiązania do zainstalowania w domu i małym biurze:
- Avast Free Antivirus
- Eset Smart Security
- F-Secure Total
- G Data Total Security
- Kaspersky Plus
- Malwarebytes Premium
- Quick Heal Total Security
- Webroot Antivirus
- Xcitium (Comodo) Internet Security
- Nazwa ukryta 1 – test prywatny 1
- Nazwa ukryta 2 – test prywatny 2
Rozwiązania dla biznesu i instytucji rządowych:
12. Emsisoft Business Security
13. ThreatDown Endpoint Protection
14. Xcitium ZeroThreat Advanced
Najważniejsze dane techniczne oraz wyniki są dostępne na stronie RECENT RESULTS wraz z krajobrazem zagrożeń, który został opracowany na podstawie danych telemetrycznych z testu.
W pigułce krajobraz zagrożeń z testu
Na podstawie danych telemetrycznych przygotowaliśmy następujące zestawienie:
- W teście wzięło udział 14 rozwiązań ochronnych.
- Finalnie wykorzystaliśmy 245 unikalnych adresów URL z malware.
- Podczas analizy każda próbka szkodliwego systemu dokonywała średnio 63 potencjalnych niebezpiecznych akcji w systemie Windows.
- Najwięcej malware pochodziło z serwerów zlokalizowanych w USA, Holandii i Niemiec.
- Do hostowania malware najczęściej używano domen: .com, .top, .br
- Średni czas automatycznego usuwania skutków incydentu przez wszystkich producentów wynosił: 104 sekund.
- Najszybszy średni czas Automatic Average Remediation Time uzyskał producent F-Secure z czasem 6 sekund.
Metodologia krok po kroku
Systematycznie rozwijamy metodologię, aby być na bieżąco z nowymi trendami w branży bezpieczeństwa i ochroną systemów, dlatego podajemy link do pełnej metodologii:
- Jak pozyskujemy malware do testów i jak je klasyfikujemy?
- W jaki sposób zbieramy logi z systemu Windows i programów ochronnych?
- Jak to wszystko automatyzujemy?
Jesteśmy członkiem grupy AMTSO, dlatego możesz mieć pewność, iż nasze narzędzia i procesy testowania są zgodne z międzynarodowymi wytycznymi i są respektowane przez producentów.
Wnioski i statystyki z testu
W dniach od 1 do 30 listopada 2023 r. pracowaliśmy przy ostatniej edycji badania z serii „Advanced In The Wild Malware Test”. W ciągu tego roku pozyskaliśmy naprawdę dużo danych telemetrycznych z działania produktów bezpieczeństwa oraz malware. Pozwoli to nam przygotować całoroczne zestawienie. Prosimy o chwilę cierpliwości – podsumowanie roku 2023 w testach Advanced In The Wild Malware Test zostanie opublikowane po nowym roku.
Charakterystyka zagrożeń „In The Wild”
Ogólnie rzecz biorąc, zakwalifikowane do testu złośliwe oprogramowanie, w przeważającej mierze to były Trojany, które stanowią poważne zagrożenie dla bezpieczeństwa komputerów z systemem operacyjnym Windows. Mogą wykradać dane osobowe, kontrolować komputer użytkownika, wysyłać spam, pobierać ransomware, keyloggery i wykonywać niepożądane działania.
Podczas testów w listopadzie wykorzystaliśmy pewną losową porcję unikalnych próbek malware pochodzących Internetu. Do testu zaliczane są wyłącznie tzw. „unikalne próbki” – każdy potencjalnie szkodliwy plik jest wstępnie sprawdzany na podstawie szeregu parametrów m.in. porównujemy jego sumę kontrolną SHA256 z istniejącymi sumami w bazie danych. Dzięki temu od początku serii testów Advanced In The Wild Malware Test nie dochodzi do sytuacji używania dwa razy tych samych zagrożeń.
Oto 5 kroków, które musi przejść każdy plik, zanim trafi do testu:
Wiele zagrożeń zakwalifikowanych do testu było dystrybuowanych pozornie bezpiecznym protokołem HTTPS. Autorom złośliwych stron nie sprawia żadnej trudności, aby gwałtownie i za darmo zaimplementować certyfikat SSL w celu zwiększenia zaufania domeny. Dodatkowo niektóre z plików były umiejscowione na legalnych, zhackowanych serwerach WWW – tutaj aktorzy żerują na reputacji danej domeny, skąd pobierany jest plik, aby oszukać podstawowe mechanizmy zabezpieczające na poziomie przeglądarki.
Statystyki z testu
Z bieżących danych telemetrycznych wynika, iż średni czas reakcji na zagrożenie przez wszystkich producentów łącznie wyniósł 104 sekundy. Najszybciej z blokowaniem i usuwaniem zagrożeń radził sobie F-Secure (średnio 5,9 sekundy), Eset (7,8 sekundy) i Avast (12,5 sekundy).
Nie wszystkim producentom udało się wykryć i zablokować każdą próbkę malware in-the-wild. W tej edycji z 1 negatywnym potwierdzonym wynikiem jest Emsisoft Business Security. Dane telemetryczne przedstawione w tabeli CSV ukazują szczegółowe różnice pomiędzy producentami w poziomach wykrywania i blokowania poszczególnych próbek malware.
W serii „Advanced In The Wild Malware Test” zwykle używamy domyślnych ustawień produktów bezpieczeństwa. Ustawienia predefiniowane są dobre, ale nie zawsze najlepsze dla użytkownika albo organizacji. Dlatego dla pełnej transparentności wymieniamy te, które chcieliśmy wprowadzić dla uzyskania lepszej ochrony albo o ile jest to wymagane przez danego producenta.
W teście nie wykorzystujemy próbek PUP/PUA, ale w środowisku domowym i w małym biurze zawsze warto aktywować taką funkcję. Natomiast w środowisku biznesowym za sprawą funkcji bezpieczeństwa warto wykorzystywać wszystkie korzyści, jakie wnosi dane rozwiązanie do ochrony systemów i użytkowników.
Oprócz poniżej wymienionych zmian zawsze konfigurujemy produkty w taki sposób, aby po pierwsze posiadały dedykowane rozszerzenie do przeglądarki (jeśli jest dostępne), a po drugie, aby automatycznie blokowały, usuwały i naprawiały skutki incydentów.
- Avast Free Antivirus: ustawienia domyślne + PUP Resolve Automatically
- Eset Smart Security: ustawienia domyślne + PUP Resolve Automatically
- F-Secure Total: ustawienia domyślne
- G Data Total Security: ustawienia domyślne
- Kaspersky Plus: ustawienia domyślne
- Malwarebytes Premium: ustawienia domyślne
- Quick Heal Total Security: ustawienia domyślne
- Webroot Antivirus: ustawienia domyślne
- Xcitium (Comodo) Internet Security: ustawienia domyślne -> konfiguracja „Internet Security”
- Nazwa ukryta 1 – test prywatny
- Nazwa ukryta 2 – test prywatny
Rozwiązania dla biznesu i instytucji rządowych:
- Emsisoft Business Security: ustawienia domyślne + PUP Resolve Automatically + EDR Enabled + Rollback Enabled
- ThreatDown Endpoint Protection: ustawienia domyślne + EDR Enabled
- Xcitium ZeroThreat Advanced: polityka ustawień predefiniowana -> Windows – Security Level 3 Profile v.7.3
Szczegółowe wyniki oraz dane telemetryczne dostępne są na stronie RECENT RESULTS.
