{"id":297484,"date":"2024-07-19T10:23:07","date_gmt":"2024-07-19T08:23:07","guid":{"rendered":"https:\/\/www.borncity.com\/blog\/?p=297484"},"modified":"2024-07-22T10:27:24","modified_gmt":"2024-07-22T08:27:24","slug":"ausfall-von-microsoft-365-und-weltweite-strungen","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2024\/07\/19\/ausfall-von-microsoft-365-und-weltweite-strungen\/","title":{"rendered":"Ausfall von Microsoft 365 und weltweite St&ouml;rungen &#8211; wegen CrowdStrike-Update, was zum BSOD f&uuml;hrt?"},"content":{"rendered":"<p><img decoding=\"async\" style=\"float: left; margin: 0px 10px 0px 0px; display: inline;\" title=\"Stop - Pixabay\" src=\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2021\/06\/Stop01.jpg\" alt=\"Stop - Pixabay\" align=\"left\" \/>[<a href=\"https:\/\/borncity.com\/win\/2024\/07\/19\/windows-systems-throw-bsod-due-to-faulty-crowdstrike-update\/\" target=\"_blank\" rel=\"noopener\">English<\/a>]Momentan rappelt es mal wieder mit der (Microsoft) IT-Infrastruktur &#8211; wie ich bereits von einigen Blog-Lesern vernommen habe. Wie es ausschaut, sitzt Microsoft bereits seit gut 8 Stunden dran und hofft, das Ganze so langsam in den Griff zu bekommen. Die St\u00f6rung tritt weltweit auf und Blog-Leser Michael meinte dazu \"Irgendwas ist los in der Welt\u2026 Flughafen BER und Palma stehen wohl komplett\" &#8211; ist Urlaubszeit. Der globale Ausfall trifft wohl alle Stellen, die eine L\u00f6sung der Cybersecurity-Firma CrowdStrike verwenden &#8211; deren letztes Update f\u00fchrt auf Windows-Hosts zu BlueScreens. Wer deren Dienst nutzt, ist momentan offline &#8211; wobei es schon einen Workaround gibt. Ich versuche mal das Thema etwas zu sortieren &#8211; es ist aber \"Work in Progress\". Der Ausfall von Microsoft 365 scheint \u00fcbrigens ein unabh\u00e4ngiges Ereignis zu sein.<\/p>\n<p><!--more--><\/p>\n<h2>Erste Lesermeldungen<\/h2>\n<p><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/vg09.met.vgwort.de\/na\/735e8f56d31b45cc8045da83a51c4735\" alt=\"\" width=\"1\" height=\"1\" \/>Erste Lesermeldungen erreichten mich per Mail und \u00fcber Facebook sowie X. Auf X schrieb mir jemand \"Microsoft hat gerade wohl richtige Probleme. Siehe Twitter unter Microsoft die Beitr\u00e4ge. BSODs. Hat wohl was mit Crowdstrike zu tun.\".\u00a0In weiteren Posts hei\u00dft es, dass die Infrastruktur am Flughafen in Berlin zur Zeit \"down sei\". In meinem Postfach stapeln sich zudem die Hinweise der Leserschaft (danke daf\u00fcr).<\/p>\n<p>Der Artikel <a href=\"https:\/\/www.rheinpfalz.de\/lokal\/pfalz-ticker_artikel,-globale-it-panne-flugh%C3%A4fen-z%C3%BCge-und-rundfunksender-betroffen-_arid,5672365.html\" target=\"_blank\" rel=\"noopener\">hier<\/a> schreibt, dass Flugh\u00e4fen, Z\u00fcge, Rundfunksender etc. betroffen sind. Bei n-tv <a href=\"https:\/\/www.n-tv.de\/wirtschaft\/IT-Stoerung-legt-in-vielen-Laendern-Flugverkehr-Tankstellen-und-Banken-lahm-article25100605.html?fbclid=IwZXh0bgNhZW0CMTAAAR2Nf0XRuFBA5vlAGL7Ts9IfUafzl5y9LX52fy6k0Smb234irZ8PeiBXN9o_aem_EwM1bKDsQCAc1PYVFu7vpg\" target=\"_blank\" rel=\"noopener\">meldet<\/a> man, dass auch Tankstellen und Banken betroffen sind. Stand 19.7.2024, 11:00 Uhr, gehe ich davon aus, dass ein Gro\u00dfteil der weltweiten Windows-Infrastruktur (dort, wo CrowdStrike in Unternehmen eingesetzt wird) steht.<\/p>\n<blockquote><p>Muss darauf mit einem Witz mit Bart kontern: \"Ich habe es gesehen, nachdem ich vom Augenarzt zur\u00fcck war\", war aber gerade beim Doc, als erste Meldungen bei mir einschlugen &#8211; aber beim Doc lief KIM noch.<\/p>\n<p>Update: Aktuell werde ich von zig Benachrichtigungen erschlagen &#8211; da steht wohl weltweit die IT-Infrastruktur. Der Beitrag ist daher Work-in-Progress und wird st\u00fcckweise erweitert.<\/p><\/blockquote>\n<h2>Microsoft meldet Probleme mit MS 365<\/h2>\n<p>Zwischenzeitlich meldete auch Microsoft Probleme mit Microsoft 365 Apps und Diensten. Ich hatte urspr\u00fcnglich angenommen, dass es mit obiger St\u00f6rung zusammen h\u00e4ngt. Aber der CrowdStrike-Update-Bug und der Ausfall von Microsoft 365 sind unterschiedliche Ereignisse, die rein zuf\u00e4llig \u00fcberlappend auftraten. Bei Microsoft 365 war es eine Azure Fehlkonfiguration. Ich habe daher die Details hier herausgezogen und im Blog-Beitrag\u00a0<a href=\"https:\/\/borncity.com\/blog\/2024\/07\/19\/weltweiter-ausfall-von-microsoft-365-19-juli-2024\/\" rel=\"bookmark\">Weltweiter Ausfall von Microsoft 365 (19. Juli 2024)<\/a> aufbereitet.<\/p>\n<h2>BSI: Kein Cybervorfall<\/h2>\n<p><strong>Erg\u00e4nzung:<\/strong> Das Bundesamt f\u00fcr Sicherheit in der Informationsverarbeitung (BSI) <a href=\"https:\/\/x.com\/certbund\/status\/1814261825745154528\" target=\"_blank\" rel=\"noopener\">meldete<\/a> heute Mittag, dass es sich um keinen Cyberangriff handelte.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"\" src=\"https:\/\/i.postimg.cc\/5yfwwwRH\/image.png\" alt=\"CrowdStrike Incident\" width=\"575\" height=\"342\" \/><\/p>\n<p>Das deckt sich mit meinen Erkenntnissen und das BSI schreibt in seiner Mitteilung\u00a0<a href=\"https:\/\/www.bsi.bund.de\/SharedDocs\/Cybersicherheitswarnungen\/DE\/2024\/2024-257485-10F1.html\" target=\"_blank\" rel=\"noopener\">Fehlerhaftes Update von Crowdstrike Falcon<\/a>:<\/p>\n<blockquote><p>Crowdstrike Falcon ist eine weit verbreitete Enterprise Detection und Response (EDR) Schutzsoftware f\u00fcr Endger\u00e4te. W\u00e4hrend des Betriebs werden regelm\u00e4\u00dfig Softwareupdates mittels sogenannter Channel-Dateien ausgerollt. Mit Hilfe der Channel-Dateien verteilt Crowdstrike dynamische Updates und Detektionsregeln.<\/p>\n<p>Durch ein j\u00fcngst ausgerolltes fehlerhaftes Update, welches die auf Endger\u00e4ten und Servern installierten Crowdstrike Falcon Sensoren betrifft, kam es zu einer Situation, die unter Windows zu Abst\u00fcrzen f\u00fchren kann.<\/p><\/blockquote>\n<h2>CrowdStrike-Update verursacht BSOD-Boot-Loop<\/h2>\n<p>In <a href=\"https:\/\/de.marketscreener.com\/kurs\/aktie\/CROWDSTRIKE-HOLDINGS-INC-59783691\/news\/Globaler-Ausfall-trifft-Cybersecurity-Firma-Crowdstrike-berichtet-The-Australian-47419188\/\" target=\"_blank\" rel=\"noopener\">diesem Kurzbeitrag<\/a> lese ich, dass ein weltweiter Ausfall die Cybersicherheitsfirma CrowdStrike getroffen und mehrere Regierungsbeh\u00f6rden und australische Unternehmen in Mitleidenschaft gezogen habe. Auf reddit.com gibt es diesen Thread mit dem Titel \"BSOD error in latest crowdstrike update\".<\/p>\n<blockquote><p>We have widespread reports of BSODs on windows hosts, occurring on multiple sensor versions. Investigating cause. TA will be published shortly. Pinned thread.<\/p>\n<p>SCOPE: EU-1, US-1, US-2 and US-GOV-1<\/p><\/blockquote>\n<p>Das letzte Update f\u00fcr die unter Windows zum Endpunkte-Monitoring eingesetzte Software der Cyber-Sicherheitsfirma CrowdStrike f\u00fchrt zu BlueScreens auf Windows-Systemen. Es gibt bei CrowdStrike im Supportportal wohl einen Eintrag \"Windows crashes related to FalconSensor\" (ich komme mangels Benutzerkonto nicht an die Details.<\/p>\n<p>Erg\u00e4nzung: Dank eines Lesers kann ich n\u00e4heres mitteilen, da ich den Engineering-Report einsehen konnte. CrowsStrike hat wohl R\u00fcckmeldungen \u00fcber Abst\u00fcrze auf Windows-Hosts im Zusammenhang mit dem Falcon Sensor erhalten. Es wird dann so umschrieben:<\/p>\n<ul>\n<li>Zu den Symptomen geh\u00f6ren (Windows) Hosts, bei denen im Zusammenhang mit dem Falcon-Sensor ein Fehler auf dem Bildschirm auftritt.<\/li>\n<li>Mac- oder Linux-basierte Hosts sind von diesem Problem nicht betroffen.<\/li>\n<\/ul>\n<p>Den Update-Bug hat man mit dem Rollout des Channel-File \"C-00000291*.sys\" (mit einem Zeitstempel von 05:27 UTC oder sp\u00e4ter) beseitigt, indem man das Update r\u00fcckg\u00e4ngig gemacht hat. Sofern Hosts immer noch abst\u00fcrzen und nicht in der Lage sind, online zu bleiben, um die \u00c4nderungen an den Kanaldateien zu empfangen, k\u00f6nnen die nachfolgenden Workarounds durchgef\u00fchrt werden, um obiges Problem zu umgehen.<\/p>\n<h2>Schnelle Workarounds, um arbeitsf\u00e4hig zu werden<\/h2>\n<p>Inzwischen gibt es wohl Workarounds, mit denen betroffene Windows-Systeme wieder arbeitsf\u00e4hig gemacht werden k\u00f6nnen. Ein Workaround, der auf reddit &#8211; als L\u00f6sung des CrowdStrike Engineering &#8211; beschrieben wird, lautet:<\/p>\n<ol>\n<li>Boot Windows into Safe Mode or the Windows Recovery Environment<\/li>\n<li>Navigate to the C:\\Windows\\System32\\drivers\\CrowdStrike directory<\/li>\n<li>Locate the file matching \"C-00000291*.sys\", and delete it.<\/li>\n<li>Boot the host normally.<\/li>\n<\/ol>\n<p>Also die Windows-Systeme im abgesicherten Modus booten, dann im oben angegebenen Verzeichnis die Daten l\u00f6schen und das System neu booten. Der Workaround wirkt aber nicht, wenn man weltweit Tausende an Windows-Systemen wieder zum Leben erwecken will. Lars hat mir auf Facebook in einer PM folgende Hinweis geschickt, wie er die Systeme wieder zum Laufen gebracht hat (danke daf\u00fcr):<\/p>\n<blockquote><p>In der CrowdStrike-Console beim Deploy die Sensor Version auf 11 stellen. Dann alle Windows Server und Windows Clients neu starten &#8211; kann mehrfach erfolgen.<\/p><\/blockquote>\n<p>Lars schrieb mir dazu: \"Damit kommen wir gerade wieder auf die Beine ohne weltweit jeden Rechner anzufassen zu m\u00fcssen. Bis jetzt nur 1 Server der aus dem Backup geholt werden musste.\" Danke an Lars f\u00fcr den Hinweis &#8211; vielleicht hilft es weiter.<\/p>\n<h3>Auch die Cloud betroffen<\/h3>\n<p>Inzwischen liegt mir auch die CrowdStrike-Information des Workarounds f\u00fcr \u00f6ffentliche Clouds oder \u00e4hnliche Umgebungen vor:<\/p>\n<ul>\n<li>Trennen Sie das Betriebssystem-Diskvolumen von dem betroffenen virtuellen Server.<\/li>\n<li>Erstellen Sie einen Snapshot oder ein Backup des Festplattenvolumens, bevor Sie fortfahren, um unbeabsichtigte \u00c4nderungen zu vermeiden.<\/li>\n<li>H\u00e4ngen Sie das Volume an einen neuen virtuellen Server an bzw. mounten Sie es.<\/li>\n<li>Navigieren Sie zum Verzeichnis C:\\Windows\\System32\\drivers\\CrowdStrike<\/li>\n<li>Suchen Sie die Datei mit der Bezeichnung \"C-00000291*.sys\" und l\u00f6schen Sie sie.<\/li>\n<li>Trennen Sie das Volume vom neuen virtuellen Server<\/li>\n<li>Verbinden Sie den festen Datentr\u00e4ger wieder mit dem betroffenen virtuellen Server<\/li>\n<\/ul>\n<p>Entspricht im Prinzip dem oben skizzierten Ansatz zum Restaurieren von Bar-metal-Systemen. Bleibt zu hoffen, dass nur wenige Systeme wiederbelebt werden m\u00fcssen.<\/p>\n<h3>Microsoft Azure VMs tangiert<\/h3>\n<p>Auch die virtuellen Maschinen in Microsoft Azure sind wohl betroffen. Microsoft hat auf dieser <a href=\"https:\/\/azure.status.microsoft\/status\" target=\"_blank\" rel=\"noopener\">Azure-Status-Seite<\/a> eine entsprechende Meldung ver\u00f6ffentlicht.<\/p>\n<blockquote>\n<p class=\"incident-semibold\">Awareness &#8211; Virtual Machines<\/p>\n<p>We have been made aware of an issue impacting Virtual Machines running Windows Client and Windows Server, running the CrowdStrike Falcon agent, which may encounter a bug check (BSOD) and get stuck in a restarting state.<\/p>\n<p>Updated: We approximate impact started as early as 04:09 UTC on the 18th of July, when this update started rolling out.<\/p><\/blockquote>\n<h3>GPO zur Reparatur<\/h3>\n<p>Ich wei\u00df nicht, ob es umsetzbar ist. Aber auf <a title=\"GitHub\" href=\"https:\/\/gist.github.com\/whichbuffer\/7830c73711589dcf9e7a5217797ca617\" rel=\"nofollow\">GitHub<\/a>\u00a0hat jemand eine GPO gepostet, um die Dateien im abgesicherten Modus zu entfernen.<\/p>\n<h2>Stopp: Fehlerhaftes Update knipst IT-Infrastruktur weltweit aus?<\/h2>\n<p>Der Vorfall ist ein wunderbares Beispiel, wie kaputt das gesamte IT-Eco-System im Prinzip ist. Da liefert ein Cloud-Sicherheitsanbieter ein fehlerhaftes Update aus, und schickt damit alle Windows-Clients in den digitalen Orkus. An Flughafen geht nichts mehr, Banken stehen, Tankstellen schlie\u00dfen und so weiter. Aber es kommt noch besser:<\/p>\n<ul>\n<li>Bei meiner Recherche war recht schnell klar, dass es am fehlerhaften Update von CrowdStrike liegt. Ich kannte sogar die URL des Support-Beitrags, kam aber nicht weiter, weil das nur mit Anmeldung abrufbar war. Als Broadcom das f\u00fcr die VMware-Supportbeitr\u00e4ge versucht hat, gab es einen Aufschrei. Bei CrowdStrike haben es alle gefressen? Wie verstrahlt m\u00fcssen die IT-Entscheider dieses Planeten sein?<\/li>\n<li>Bei Microsoft habe ich auf X im Kanal @MSFT365Status bisher (St\u00f6rung seit gut 9-10 Stunden) noch nichts zu CrowdStrike lesen k\u00f6nnen. Da hei\u00dft es nur, dass man langsam mit der Infrastruktur hoch komme. Inzwischen wei\u00df ich, dass der Microsoft-Ausfall nichts mit dem CrowdStrike-Problem zu tun hat (auch wenn ich vermutete, dass Microsoft intern auch CrowdStrike in seiner Cloud einsetzt, war es wohl ein Azure-Konfigurationsfehler, der den Ausfall verursachte).<\/li>\n<li>Wie bereits in den nachfolgenden Kommentaren erw\u00e4hnt: Es werden st\u00e4ndig grundlegende Prinzipien der IT-Ausfallsicherheit verletzt &#8211; ein \"Single Point of Failure\" sorgt daf\u00fcr, dass an Flugh\u00e4fen nichts mehr geht, Tankstellen streiken, Z\u00fcge nicht mehr disponiert werden k\u00f6nnen, Kassensysteme beim Einkauf streiken, und die H\u00e4lfte der Firmen nicht mehr arbeitsf\u00e4hig ist. Tegut hat wohl Mitarbeiter nach Hause geschickt.<\/li>\n<\/ul>\n<p>Ich gehe davon aus, dass heute Sch\u00e4den in Milliarden-H\u00f6he anfallen, weil die IT-Infrastruktur steht. Aber ich formuliere es mal so: Die Welt ist mit einem \"blauen Auge\" davon gekommen. Man stelle sich vor, es h\u00e4tte einen Lieferkettenangriff auf CrowdStrike gegeben und statt eines fehlerhaften Updates w\u00e4re Malware eingeschleust worden, die dann eine Killsoftware oder Ransomware nachl\u00e4dt.<\/p>\n<p>Wie <a href=\"https:\/\/x.com\/Dennis_Kipker\/status\/1814210421819134449\" target=\"_blank\" rel=\"noopener\">schreibt<\/a> Prof. Dennis Kipker (hat eine Professur f\u00fcr IT-Sicherheit( auf X: \"<em>Absoluter Worst Case und Grund, warum wir der Cloud kein unbegrenztes Vertrauen schenken sollten! Von KRITIS \u00fcber Staat bis zu Industriebetrieben. Bestes Beispiel daf\u00fcr, dass das Mantra \"IT aus der Steckdose\" ein Holzweg ist!\"<\/em><\/p>\n<p>Dem ist wohl nichts hinzuzuf\u00fcgen &#8211; au\u00dfer: \"Das ist alternativlos\"; \"Ist Software vom Marktf\u00fchrer\"; \"Das machen alle so\"; \"Kann man nichts machen, ein Akteur mit unglaublich krimineller Energie hat unsere Systeme kaputt gemacht\" &#8211; ups, jetzt habe ich beim Wortphrasen-Automaten die falsche Taste gedr\u00fcckt, die letzte Aussage bitte streichen &#8211; obwohl mich auch schon Fragen nach einem Cybervorfall in diesem Kontext erreichten.<\/p>\n<p><strong>\u00c4hnliche Artikel:<\/strong><br \/>\n<a href=\"https:\/\/borncity.com\/blog\/2024\/07\/19\/weltweiter-ausfall-von-microsoft-365-19-juli-2024\/\">Weltweiter Ausfall von Microsoft 365 (19. Juli 2024)<\/a><br \/>\n<a href=\"https:\/\/borncity.com\/blog\/2024\/07\/19\/ausfall-von-microsoft-365-und-weltweite-strungen\/\">Ausfall von Microsoft 365 und weltweite St\u00f6rungen \u2013 wegen CrowdStrike-Update, was zum BSOD f\u00fchrt?<\/a><br \/>\n<a href=\"https:\/\/borncity.com\/blog\/2024\/07\/19\/wieso-weltweit-zahlreiche-it-systeme-durch-zwei-fehler-am-19-juli-2024-ausfielen\/\">Wieso weltweit zahlreiche IT-Systeme durch zwei Fehler am 19. Juli 2024 ausfielen<\/a><br \/>\n<a href=\"https:\/\/borncity.com\/blog\/2024\/07\/20\/crowdstrike-analyse-wie-so-eine-leere-datei-zum-bluesceen-fhrte\/\">CrowdStrike-Analyse: Wieso eine leere Datei zum BlueSceen f\u00fchrte<\/a><br \/>\n<a href=\"https:\/\/borncity.com\/blog\/2024\/07\/22\/nachlese-des-crowdstrike-vorfalls-der-grten-computerpanne-aller-zeiten\/\">Nachlese des CrowdStrike-Vorfalls, der bisher gr\u00f6\u00dften Computerpanne aller Zeiten<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>[English]Momentan rappelt es mal wieder mit der (Microsoft) IT-Infrastruktur &#8211; wie ich bereits von einigen Blog-Lesern vernommen habe. Wie es ausschaut, sitzt Microsoft bereits seit gut 8 Stunden dran und hofft, das Ganze so langsam in den Griff zu bekommen. &hellip; <a href=\"https:\/\/borncity.com\/blog\/2024\/07\/19\/ausfall-von-microsoft-365-und-weltweite-strungen\/\">Weiterlesen <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7263,7862],"tags":[1171,7377,987],"class_list":["post-297484","post","type-post","status-publish","format-standard","hentry","category-cloud","category-stoerung","tag-cloud","tag-microsoft-365","tag-storung"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/297484","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=297484"}],"version-history":[{"count":0,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/297484\/revisions"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=297484"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=297484"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=297484"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}