{"id":297560,"date":"2024-07-20T12:44:40","date_gmt":"2024-07-20T10:44:40","guid":{"rendered":"https:\/\/www.borncity.com\/blog\/?p=297560"},"modified":"2024-07-22T11:11:02","modified_gmt":"2024-07-22T09:11:02","slug":"crowdstrike-analyse-wie-so-eine-leere-datei-zum-bluesceen-fhrte","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2024\/07\/20\/crowdstrike-analyse-wie-so-eine-leere-datei-zum-bluesceen-fhrte\/","title":{"rendered":"CrowdStrike-Analyse: Wieso eine leere Datei zum BlueSceen führte"},"content":{"rendered":"

\"Sicherheit[English]Am gestrigen 19. Juli 2024 f\u00fchrte ein fehlerhaftes Update der CrowdStrike Falcon EDR-Software – konkret einer Datei f\u00fcr einen Treiber – dazu, dass weltweit Millionen Rechner unter Windows mit einem BlueScreen ausfielen, w\u00e4hrend macOS- und Linux-Systeme nicht betroffen waren. Die Nacht habe ich erste Hinweise zu den Interna auf X gesehen und Leser haben in Kommentaren ebenfalls auf den Sachverhalt hingewiesen. Ich ziehe das Ergebnis diverser Analysen mal in nachfolgendem Beitrag zusammen.<\/p>\n

<\/p>\n

R\u00fcckblick auf das Ereignis<\/h2>\n

\"\"Zum 19. Juli 2024 kam es (ab den fr\u00fchen Morgenstunden) weltweit zu Ausf\u00e4llen von Windows-Systemen, auf denen die EDR-Software CrowdStrike Falcon installiert war. CrowdsStrike Falcon ist eine weit verbreitete Enterprise Detection und Response (EDR) Schutzsoftware f\u00fcr Endger\u00e4te. W\u00e4hrend des Betriebs werden regelm\u00e4\u00dfig Softwareupdates mittels sogenannter Channel-Dateien ausgerollt. Mit Hilfe der Channel-Dateien verteilt Crowdstrike dynamische Updates und Detektionsregeln.<\/p>\n

Zum 19. Juli 2024 hatte der Hersteller ein Update f\u00fcr die CrowdsStrike Falcon Sensoren weltweit ausgerollt. In Folge wurde auf den betroffenen Systemen ein Bluescreen of Death (BSOD) (mit der Fehlermeldung PAGE_FAULT_IN_NONEPAGED_AREA) ausgel\u00f6st. Verantwortlich war die Datei csagent.sys<\/em> und eine per Update verteilte, fehlerhafte sys-Datei, die von diesem Treiber geladen wurde.<\/p>\n

<\/a><\/p>\n

Das war dann der Punkt, wo ein Gro\u00dfteil des Windows Eco-Systems in den \"Blue Friday\"-Modus verfiel. Rechner mit Windows, die f\u00fcr einen automatischen Neustart nach einem fatalen Fehler konfiguriert waren, verfielen in eine BSOD-Restart-Schleife. Systeme, die auf dem BSOD verharrten, zeigten den ber\u00fchmten blauen Bildschirm, der in obigem Tweet<\/a> zu sehen ist. Selbst \"The Sphere<\/a>\" in Las Vegas wird mit dem BlueScreen gezeigt (meine dieses Bild aber schon fr\u00fcher mal gesehen zu haben, wurde m\u00f6glicherweise auf die Sphere projiziert).<\/p>\n

In Folge waren weltweit Millionen Windows-Rechner betroffen und die IT-Infrastruktur von Firmen fiel aus. Flugh\u00e4fen in Australien (Melbourne), in Indien, oder Hamburg und BER in Berlin standen still. Banken, Polizei, Feuerwehr, Kassen- und Warenwirtschaftssysteme mit Handel, aber auch viele Firmen waren betroffen – da ging nichts mehr. Eine unvollst\u00e4ndige Liste betroffener Stellen findet sich in diesem Tweet<\/a>. Mir ist eine Analyse untergekommen, dass CrowdStrike 15 % des globalen Marktes f\u00fcr Sicherheitsl\u00f6sungen bedient.<\/p>\n

Inzwischen steht fest, dass dies die bisher weltweit gr\u00f6\u00dfte Computerpanne war, die jemals verzeichnet wurde. Die durch den Ausfall verursachten Sch\u00e4den gehen in die Milliarden und die Reparatur der Systeme wird teilweise noch einige Zeit ben\u00f6tigen. Ich hatte zum Vormittag des 19. Juli 2024 zeitnah die Erkenntnisse im Beitrag Ausfall von Microsoft 365 und weltweite St\u00f6rungen \u2013 wegen CrowdStrike-Update, was zum BSOD f\u00fchrt?<\/a> aufbereitet. Dort gab es auch fr\u00fchzeitig Hinweise auf verschiedene Workarounds, um den Ausl\u00f6ser f\u00fcr den BlueScreen zu beheben.<\/p>\n

Analyse: Eine leere Datei erzeugt BSOD<\/h2>\n

Es war sehr schnell klar, dass die Datei mit dem Muster C-00000291*.sys<\/em> f\u00fcr den Ausfall der Windows-Systeme verantwortlich war. Kevin Beaumont schrieb<\/a> dazu: \"Die .sys-Dateien, die das Problem verursachen, sind Channel-Update-Dateien, die den CS-Treiber der obersten Ebene zum Absturz bringen, da sie ung\u00fcltig formatiert sind. \" Diese Dateien finden sich im Windows-Verzeichnis:<\/p>\n

C:\\Windows\\System32\\drivers\\CrowdStrike directory<\/p>\n

Das L\u00f6schen dieser Dateien reichte, um das Problem zu beheben. Vom Anbieter CrowdStrike gab es auch recht schnell entsprechende Hinweise (siehe auch meinen obigen Beitrag).<\/p>\n

\"Wrong<\/a><\/p>\n

Die Nacht bin ich auf X \u00fcber obigen Tweet<\/a> gestolpert, wo jemand schreibt, dass die fehlerhafte Datei nur Nullen enthalte. Es gibt aber weitere Tweets wie hier<\/a>, wo eine Datei mit Inhalten gezeigt wird – und einige dieser .sys<\/em>-Dateien haben auch den BlueScreen ausgel\u00f6st. Bolko hat in diesem Kommentar<\/a> ebenfalls auf den obigen Tweet hingewiesen. Auf X sind mir dann weitere Tweets mit Analysen untergekommen. Patrick Wardle hat diesen Tweet<\/a> dazu gepostet.<\/p>\n

\"CrowdStrike<\/a><\/p>\n

Die Treiberdatei CSAgent.sys<\/em> verursacht einen Absturz und in Folge den BlueScreen, weil versucht wird, auf eine ung\u00fcltige Adresse im Speicher zu mappen. Wardle schreibt, dass der Inhalt der 'C-00000291-…32.sys' etc. wohl obfuscated Daten enthalte. Zach Vorhies hatte die Nacht den nachfolgenden Tweet<\/a> gepostet – (Bernd B weist in diesem Kommentar auch auf den Tweet hin, danke), der weitere Details offen legt.<\/p>\n

\"CrowdStrike<\/a><\/p>\n

Es wird ein NULL-Pointer aus einem C++-Programm verwendet, der auf einen Speicherbereich 0x9c verweist, und von dort was lesen will, was aber verboten ist und schief geht. F\u00fcr mich sieht es so aus, dass aus der jeweiligen .sys-Datei eine Startadresse eingelesen und der Wert 0x9C hinzu addiert wird. Das ist dann die (hoffentlich g\u00fcltige) Zieladresse, von der gelesen werden soll.<\/p>\n

Wegen der fehlenden Pr\u00fcfung auf Null-Werte (oder andere fehlerhafte Basisadressen) kam es bei der ausgerollten .sys-Datei mit den Nullen dann zum ung\u00fcltigen Speicherzugriff. Der Bug bestand schon l\u00e4nger, ist aber nie aufgefallen, weil immer g\u00fcltige Startadressen aus der .sys-Datei geliefert wurden. Bei einem Windows-Kerneltreiber f\u00fchren solche Zugriffsversuche auf ung\u00fcltige Speicherbereiche immer zu einem BlueScreen.<\/p>\n

Bolko hat den Sachverhalt zwischenzeitlich in diesem Kommentar<\/a> umfangreicher erl\u00e4utert und weist darauf hin, dass es die Verkettung diverser Fehler bedurfte, um den weltweiten Ausfall der Windows-Systeme zu bewerkstelligen. Neben einer ung\u00fcltigen, mit Nullen gef\u00fcllten .sys-Signaturdatei war die fehlende Pr\u00fcfung des Pointers\u00a0 auf Null-Werte der Trigger f\u00fcr den BlueScreen. Dass das Ganze dann weltweit als Update an alle Systeme, die mit CrowdStrike Falcon best\u00fcckt waren, (wohl ungetestet) ausgerollt wurde, hat dann die fatale Kettenreaktion ausgel\u00f6st. Eine weitere Analyse findet sich auf X in dieser Folge<\/a> von Tweets.<\/p>\n

Erg\u00e4nzung: Ob es ein NULL-Pointer, wie oben angedeutet, oder ein nicht initialisierter Wert, wie von Tavis Ormandi in dieser Serie von Tweets<\/a> offen gelegt wurde, sei dahin gestellt. Am Ende des Tages gab es einen Zugriffsversuch auf einen unzul\u00e4ssigen Speicherbereich. Tragisch wurde dies, weil es im Kernelmode eines Treibers passierte, so dass Windows einen BSOD ausl\u00f6st. W\u00fcrde ich im R\u00fcckblick als \"fehlerhaftes Design\" einstufen.<\/p><\/blockquote>\n

Es war nur Windows betroffen<\/h2>\n

Getroffen hat dieser Ausfall ausschlie\u00dflich Windows-Systeme im Unternehmensbereich – Privatleute setzen i.d.R. keine EDR-Systeme zur \u00dcberwachung ein. Die Unternehmen haben teilweise richtig Geld hin gebl\u00e4ttert, um durch die CrowdStrike Falcon-EDR-L\u00f6sung bestens gegen Cyberangriffe gesch\u00fctzt zu sein. Jetzt hat sich als fatal erwiesen, dass Windows quasi eine Monopolstellung in Unternehmen einnimmt.<\/p>\n

Denn die CrowdStrike Falcon-EDR-L\u00f6sung steht f\u00fcr macOS und Linux ebenfalls zur Verf\u00fcgung. Dort kam es nicht zu den oben erw\u00e4hnten Folgen, was dann hier im Blog zum Kommentar \"mit Linux w\u00e4re das nicht passiert\". Stefan Kanthak wies in diesem Kommentar<\/a> auf den Beitrag von fefe<\/a> hin. Ende April 2024 gab es bei Debian Linux 12 nach dem Update auf Kernel Version 6.1.0-20 eine Kernel Panik in Verbindung mit dem Falcon-Sensor version 7.10 bis 7.14. Offizieller Workaround: deinstallieren und warten auf neue Version oder Software im \"user mode\" laufen lassen. Ich habe diesen Eintrag<\/a> im Debian-Forum dazu gefunden.<\/p>\n

An dieser Stelle werden jetzt (hoffentlich) Diskussionen \u00fcber die Verantwortlichkeiten und Haftung f\u00fcr Softwarefehler gef\u00fchrt und die notwendigen Konsequenzen gezogen. Ein Zustand, dass niemand f\u00fcr Softwarefehler haftet, gibt es nur in der IT. Interessant ist \u00fcbrigens auch dieser Kommentar<\/a> von Bolko, der auf die Wiederherstellm\u00f6glichkeiten der unter Linux verwendbaren BTRFS- oder ZFS-Dateisysteme verweist.<\/p>\n

Unter Windows gibt es so etwas nicht, da m\u00fcssen die Administratoren die Maschinen im WinRE-Modus booten, ggf. den Bitlocker-Wiederherstellungsschl\u00fcssel eingeben und dann die fehlerhaften Treiberdateien l\u00f6schen. Es gibt zwar Ans\u00e4tze, so etwas zu automatisieren, und ich hatte im Beitrag Ausfall von Microsoft 365 und weltweite St\u00f6rungen \u2013 wegen CrowdStrike-Update, was zum BSOD f\u00fchrt?<\/a> einen weiteren Workaround \u00fcber die CrowdStrike Verwaltungskonsole gepostet. Zudem gibt es den vagen Hinweis, dass nach 15 maligem Neustart die Windows-Systeme ebenfalls wieder liefen (m\u00f6glicherweise hat das System es dann geschafft, ein Update auf die korrekte .sys-Signaturdatei zu ziehen).<\/p>\n

Es\u00a0 gibt auch den Vorschlag, die Maschinen unter WinRE mit Netzwerkanbindung zu booten, um das Update automatisch installieren zu lassen. Ob das wirklich klappt, kann ich aber nicht beurteilen. CrowdStrike hat inzwischen ein offizielles Statement<\/a> zum Vorfall abgegeben – als der Bug auftauchte, war es mir nicht m\u00f6glich, die CrowdStrike-Engineering-Mitteilungen einzusehen – denn diese sind nur mit einem Benutzerkonto f\u00fcr Kunden einsehbar – Fall von geht gar nicht. Von Morten Knudsen gibt es \u00fcbrigens diese Zusammenfassung<\/a>, wie man seine Windows-Systeme in verschiedenen Szenarien wieder zum Laufen bekommen kann.<\/p>\n

Im Internet gibt es Hinweise, dass Aktienanalysten ihren Anlegern empfohlen hatten, CrowdStrike auf \"short\" zu setzen, um auf sinkende Kurse zu spekulieren. Und in einem meiner zahlreichen Kan\u00e4le wies mich ein Leser darauf hin, dass es wohl Tage vor dem Ausfall zu Aktienverk\u00e4ufen des CrowdStrike-Managements gekommen ist. Ganz b\u00f6se Zungen weisen darauf hin, dass es sich wom\u00f6glich um eine Cyberpolygon-\u00dcbung<\/a> gehandelt habe, um die Folgen eines weltweiten Cyberangriffs zu simulieren. Dazu kann ich nur sagen: Das war nach bisheriger Kenntnis unbeabsichtigt, aber die Folgen sind real vor Augen gef\u00fchrt worden – wenn auch mit Milliarden Sch\u00e4den. Mir ist aktuell nicht klar, wie die Short-Seller bei CrowdStrike die nun zu g\u00fcnstigen Einstiegskursen kaufen k\u00f6nnen, in absehbarer Zeit steigende Kurse erwarten d\u00fcrfen. Aber vielleicht gilt die alte Weisheit \"Gier frist Hirn, und vergessen ist alles sehr schnell\".<\/p><\/blockquote>\n

\u00c4hnliche Artikel:<\/strong>
\nWeltweiter Ausfall von Microsoft 365 (19. Juli 2024)<\/a>
\nAusfall von Microsoft 365 und weltweite St\u00f6rungen \u2013 wegen CrowdStrike-Update, was zum BSOD f\u00fchrt?<\/a>
\nWieso weltweit zahlreiche IT-Systeme durch zwei Fehler am 19. Juli 2024 ausfielen<\/a>
\nCrowdStrike-Analyse: Wieso eine leere Datei zum BlueSceen f\u00fchrte<\/a>
\nNachlese des CrowdStrike-Vorfalls, der bisher gr\u00f6\u00dften Computerpanne aller Zeiten<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

[English]Am gestrigen 19. Juli 2024 f\u00fchrte ein fehlerhaftes Update der CrowdStrike Falcon EDR-Software – konkret einer Datei f\u00fcr einen Treiber – dazu, dass weltweit Millionen Rechner unter Windows mit einem BlueScreen ausfielen, w\u00e4hrend macOS- und Linux-Systeme nicht betroffen waren. Die … Weiterlesen →<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[426,7459,7862,301],"tags":[24,4328,3288],"class_list":["post-297560","post","type-post","status-publish","format-standard","hentry","category-sicherheit","category-software","category-stoerung","category-windows","tag-problem","tag-sicherheit","tag-windows-en"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/297560","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=297560"}],"version-history":[{"count":0,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/297560\/revisions"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=297560"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=297560"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=297560"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}