Noch ein kleiner Nachtrag in Sachen Südwestfalen IT (SIT), die nach einem Ransomware-Angriff im Herbst 2023 ziemlich "offline" waren. Zum 25. Juli 2024 gab es dann die fröhliche Kunde, dass die SIT "wieder online sei". Na ja, die Fachverfahren, die man restauriert, sollen meinen Informationen nach erst Ende 2024 vollständig laufen. Und im Sinne "erst kein Glück, und dann kam noch Pech hinzu", war der Anbieter vom CrowdStrike-Desaster ebenfalls betroffen und für die Kommunen ging wieder nix. Das ist uns doch einen eigenen Blog-Beitrag wert.
Anzeige
Der Cybervorfall bei der SIT
Es war einer der gravierenden Cybervorfälle bei kommunalen IT-Dienstleistern in Deutschland. Von Sonntag auf Montag, den 30. Oktober 2023, gab es einen Ransomware-Angriff auf die Südwestfalen IT. In dessen Folge waren mehr als hundert Kommunen, die ihre IT-Dienste über diesen Dienstleister abwickelten, betroffen und verwaltungsmäßig offline. Ich hatte hier im Blog den Vorfall zeitnah begleitet (siehe auch Cyberangriff auf Südwestfalen IT trifft mindestens 103 Kommunen).
Hieß es erst, dass man "bald" erste Fachverfahren wieder freischalten wolle (siehe Südwestfalen IT (SIT) will bald erste Fachverfahren nach Angriff wieder freischalten), erwies sich dies als Wunschdenken. Die Kommunen versanken im Chaos und die Südwestfalen IT musste die Hosen bezüglich der Ursachen für den Ransomware-Angriff herunterlassen. Ich hatte den Forensik-Bericht im Beitrag Ransomware bei Kommunal IT-Dienstleister Südwestfalen-IT: Nachlese IT-Forensik-Bericht Teil 1 aufgegriffen.
Die Südwestfalen IT ist ein kommunaler IT-Dienstleister mit Sitz in Hemer und Siegen. Der Fokus der Südwestfalen–IT liegt auf dem E-Government. Von obigem Cyberangriff waren die 72 Mitgliedskommunen aus dem Verbandsgebiet in Südwestfalen, darunter die Landkreise Hochsauerlandkreis, Märkischer Kreis, Olpe, Siegen-Wittgenstein, Soest sowie mehrere Kommunen im Rheinisch-Bergischen Kreis und einige externe Kunden im Bundesgebiet betroffen.
Zäher Wiederanlauf; man ist wieder online
Ende Juli 2024 kam mir dann auf X der nachfolgende Tweet von Jens Lange unter, der berichtet, dass nach neun Monaten die wichtigsten Dienstleistungen der Südwestfalen IT (SIT) wieder funktionieren.
Anzeige
heise hat u.a. in diesem Artikel über diesen "Meilenstein" berichtet. Bis Ende September 2024 will man jetzt noch die Fachanwendungen in Betrieb nehmen, die nur von einzelnen Kommunen genutzt werden. Aktuell kann ich nicht beurteilen, ob das optimistisches Schönsprech ist, denn mir hängt immer noch "wir gehen in wenigen Wochen wieder online" von Ende 2023 im Ohr. Und ich denke an den folgenden Tweet von Jens Lange im Kopf herum, der Ende Juni 2024 noch die Information von der SIT-Geschäftsleitung transportierte, dass es bis Ende 2024 braucht, bis alles läuft.
Dass nun binnen nicht mal 30 Tagen der große Wurf gelungen sein soll, klingt für mich unwahrscheinlich. Der Großteil der Fachverfahren dürfte jetzt online sein. Und in nachfolgendem Tweet lese ich heraus, dass man mit einer weiteren Innovation punktet: Es gibt 2FA für die Kunden.
CrowdStrike schlägt zu
Kommen wir zum "Erst kein Glück und dann kommt Pech hinzu". Die SIT hatte kein Glück und wurde Opfer einer Ransomware – aber dieser Anbieter wird irgendwie vom Pech verfolgt. Da setzt man aus Sicherheitsgründen auf die Lösung von CrowdStrike, um nicht wieder Opfer eines Cyberangriffs zu werden – man macht was.
Im Juli 2024 gab es dann den CrowdStrike Vorfall, bei dem ein fehlerhaftes Update der Falcon-Sicherheitssoftware die Windows-Systeme in eine BlueScreen-Schleife zwang. Hat 8,5 Millionen Systeme getroffen – ich hatte zeitnah berichtet (siehe Artikellinks an Beitragsende). Jens Lange wies bereits in der zweiten Juli-Hälfte 2024 in obigem Tweet darauf hin, dass Kunden der SIT diesbezüglich in guter Gesellschaft und Teil der 8,5 Millionen sind.
Das sind dann so Tage, wo ich dankbar bin, nicht für irgendwelche IT verantwortlich zu sein, sondern als nichtsnutziger Blogger gelandet bin. Da kann ich über schöne Theorien konfabulieren und muss nicht in die Niederungen der Praxis. Jetzt ahne ich, wie sich Berater und die Scharlatane auf früheren Jahrmärkten sich fühl(t)en.
Ähnliche Artikel:
Stillstand nach Cyberangriffen auf Kommunen in Südwestfalen und Parkhäuser in Osnabrück
Cyberangriff auf Südwestfalen IT trifft mindestens 103 Kommunen
Neues zum Cyberangriff auf Südwestfalen IT
Cyberangriff auf Südwestfalen IT (SIT): Chaos bei betroffenen Kommunen
Südwestfalen IT (SIT) will bald erste Fachverfahren nach Angriff wieder freischalten
Südwestfalen IT: Wiederanlauf nach Cyberangriff dauert länger; Betreiber werden Versäumnisse vorgeworfen
Ransomware bei Kommunal IT-Dienstleister Südwestfalen-IT; Stand Januar 2024
Südwestfalen IT: Cybervorfall nachbearbeitet – andere machen es besser
Ransomware bei Kommunal IT-Dienstleister Südwestfalen-IT: Nachlese IT-Forensik-Bericht Teil 1
Ransomware bei Kommunal IT-Dienstleister Südwestfalen-IT: Nachlese IT-Forensik-Bericht Teil 2
Golem-Artikel: Erkenntnisse zum Cybervorfall bei Südwestfalen-IT
Ausfall von Microsoft 365 und weltweite Störungen – wegen CrowdStrike-Update, was zum BSOD führt?
Wieso weltweit zahlreiche IT-Systeme durch zwei Fehler am 19. Juli 2024 ausfielen
CrowdStrike-Analyse: Wieso eine leere Datei zum BlueSceen führte
Nachlese des CrowdStrike-Vorfalls, der bisher größten Computerpanne aller Zeiten
CrowdStrike: Untersuchungsbericht; Schadenssumme und Entschädigungen; Schuldzuweisungen
Microsofts Analyse des CrowdStrike-Vorfalls und Empfehlungen
OpenR@thaus wegen "Sicherheitslücke" im Juni 2024 erneut abgeschaltet
Anzeige
…"9 Monate nach dem digitalen Blackout der SüdwestfahlenIT funktionieren die wichtigsten Dienstleistungen wieder."…
Deutschland im Jahr 2024!
Ach hätte man doch vor 30 Jahren nur…
Denk' ich an Deutschland in der Nacht…
Und wie bringen uns jetzt diese Zeilen weiter? Wandere doch aus und lerne, dass die dort auch nur mit H2O kochen!
Nein es ist kein Pech… es ist einfach komplettes Versagen auf ganzer Ebene. Inklusive der neuen Lage an Schlangenöl. Von der neuen, fachfremden Geschäftsführung (aus dem Marketing kommend) ist keine Besserung oder gar Einsicht zu erwarten. Den öffentlich gewordenen Incident Report kennen wir ja, der seltsamerweise genau das Gegenteil offenlegte, was in der bescheidenen Kommunikation versucht wurde darzustellen.
Was würdest du denn anstelle von "Schlangenöl" einsetzen? Lies mal in der letzten Ausgabe der c't den Teil 1 der xz-Analyse. In das aktuelle Heft hab ich noch nicht reingeschaut ob es da schon weiter geht, es soll aber ein spannender Mehrteiler werden. Aber daraus wirst du lernen müssen, dass "die" auch nur mit Wasser kochen, schon Teil 1 ist da sehr aufschlussreich.
Hier sieben Tipps, die ich so seit Jahrzehnten bei mehreren von mir betreuten Netzwerken anwende. Allein die ersten drei Tipps (aktivierte SRPs. Netzwerk-Segmentierung und externe Zugänge managen) hätten das bei der SIT verhindern können.
https://blog.jakobs.systems/blog/20240506-service-tips-windows/
Hier zum Durchlesen, was da genau passiert ist:
https://web.archive.org/web/20240129063107/https://forumwk.de/wp-content/uploads/2024/01/SIT_Incident_Response_Bericht_210777_v0.15_blackened_signed_confidential.pdf
Wenn ich mir gerade die PDF nochmal durchschaue, steht da EDR eher mit einer geringeren Prio. drin. Die sollten erstmal Ihre Netze segmentieren, nicht mit vollen Admin-Konten arbeiten und überhaupt Logs und EventIDs zeitnahe auswerten. Das leistet jedes Zabbix und Graylog frei Haus, ganz ohne Schlangenöl.
Wer die SIT nicht kennt: Das ist eine politisch gewollte kommunale Profit-Stelle zum Einsparen von IT Kosten. Aus der ehm. kommunalen Datenzentrale Kdz mit viel Klüngel und Korruption entstanden. Nach dem Vorfall letztes Jahr sind die vielen Billig- und Billgst-Gesuche verschwunden (z.B. 3rd Level Senior-Admins zum Betrieb von Rechenzentrum zum TVÖD 9).
Geliefert wie bestellt habe ich immer gesagt und die SIT jahrelang als Beispiel in Vorträgen genommen, wie man es genau nicht machen sollte.
>>> Hier zum Durchlesen, was da genau passiert ist: … _confidential.pdf <<<
Befremdlich, der Bericht ist gem. S. 1 als "vertraulich" klassifiziert, wurde aber qua (1) von der SIT selbst öffentlich gestellt.
(1) notfallseite.sit.nrw/fileadmin/user_upload/SIT_Incident_Response_v1.1.pdf
Hängt möglicherweise mit dem Blog hier und einem Leak zusammen. Es gab auf Wermelskirchen eine inoffizielle Version als Leak. Aber auf Grund meiner Blog-Beiträge samt kritischen Fragen kam es wohl zu einer Diskussion im SIT Führungsgremium. Im Anschluss hat man bei mir nachgefragt, ob ich den Bericht haben möchte, um darüber zu bloggen. Wegen des Vertraulichkeitsvermerks habe ich diesen nicht online gestellt, aber ausgiebig drüber geschrieben, da hatte ich die Freigabe.
Kann man anders sehen. Ich finde das Vertuschen, Verheimlichen und gar Irreführen der Öffentlichkeit mehr befremdlich.
So eine Firma muss gar keine Details veröffentlichen. Ans BSI ja, aber nicht an die Öffentlichkeit. Und im Übrigen, weißt du garnicht, ob die SIT SRP/Applocker/Netzwerksegmentierung/HW-Firewall/Host-Firewall/Tiering/SIEM/Audit/… eingesetzt hat. Das ist alles seit mehr als 15 Jahren Standard. Du mutmaßt nur, denn es wurden ja wohl die ESXi-Server angegriffen, da helfen diese Maßnahmen kaum, der Angreifer muss nur per Personal-Engeneering auf eine Admin-Plattform gelangen und schon hilft all das nicht mehr, denn die haben meistens höhere Privilegien, manchmal aus Faulheit zu viel. Ich kann über solche Beiträge eigentlich nur mit dem Kopf schütteln, manch einer hier hat so eine Umgebung noch nie gesehen und glaubt, die Weisheit mit Löffeln gefressen zu haben, dabei wars nur dänischer Senf.
Nein ist keine Mutmaßung, lies doch einfach den Incident Report…
du verwechselst Standard mit Existenz.
Firewall haben alle, der Rest ist Schweigen.
Scheint nicht mehr abrufbar zu sein, das .pdf. Seite nicht gefunden.
kann ich nicht bestätigen, das Webarchiv hat diese noch. Wenn der Link hier nicht klappt (vielleicht wegen der Umbrüche) hier ein Link auf meinem Blog
https://blog.jakobs.systems/micro/20240128-sit-ransomware-abschlussbericht/
Das Problem bei den Security Tipps ist, dass die nur in einer kleinen Umgebung ohne wirkliche Abhängigkeiten funktioniert, wo man mal eben den Mail-Server nach belieben austauschen kann. In einer großen Umgebung gibt es dutzende Abhängigkeiten und da muss nur eine dabei sein, die nur mit Exchange "spricht" und schon hast du ein Problem.
Verstehe mich nicht falsch, inhaltlich finde ich die Tipps gut, nur leider ist das ein bisschen an der Realität vorbei.
Auch große Umgebungen lassen sich gut absichern und auch der Austausch von Mailservern ist da kein Problem. Ist alles nur etwas komplexer… Man braucht nur ein gutes Admin-Team, wo jeder seine Bereiche gut kennt, und wo wirklich im Team mit allem Knowhow und guter Doku gut zusammengearbeitet wird.
Tatsächlich habe ich meine Aussage oben schlecht formuliert. Natürlich lassen sich auch große Umgebungen absichern, dafür braucht man, wie du richtig sagst, ein gutes Team.
Was ich eigentlich oben aussagen wollte war, dass in solchen Umgebungen nicht einer im Solo-Flug mal eben alles absichert und fröhlich Mail-Server hin und her tauscht. Das ist in diesen Umgebungen oftmals ein langwieriger Prozess, an dem viele Leute beteiligt sind, um auch wirklich alle Abhängigkeiten abzufangen.
Das genaue Gegenteil ist der Fall. Wenn ein Netz richtig betrieben wird, skaliert alles wunderbar. Egal ob 50 oder 250 User. Ich habe zwei Jahrzehnte ein Netz mit ca. 250 Clients verteilt auf bundesweit 5 Standorte hochgezogen und zusammen mit dem Lohnbuchhalter, der für mich den 1st Level gemacht hat betreut, und das überwiegend remote.
Mal schauen, wie lange sie online bleiben. Der MS Schrott wird es / sie schon richten…
Ich sehe schon, du solltest dich dort als Technik-Vorstand bewerben und ein neues Betriebskonzept einreichen! Das wird bestimmt gut, viel Erfolg!
jetzt mal halblang,
was soll der Tonfall?
Wi(n/t)zling, vielleicht klappts ja deswegen nicht?
Dumme Polemik zum xten Male, bitte den User 1ST1 sperren, Günther Born
Ihr seid jetzt beide auf dem Radar! Der einzige Grund, warum ich noch nicht gesperrt habe: Es kommen (neben Polemiken) ja konstruktive Beiträge und noch ist in meinen Augen nichts justiziables dabei gewesen – auch wenn die Polemiken nerven.
Tipp: Reagiere einfach nicht auf 1ST1 – ich habe ja schon zig Polemiken von euch beiden gelöscht. Daher die letzte Warnung – speziell an 1ST1, sich an die Regeln zum Kommentieren im Blog zu halten. Sonst hänge ich den Status von Moderation auf Gesperrt um – ich habe die Faxen dicke!
Hallo zusammen…..
Ja, die Meldung vor ein paar Tagen im Radio war schon lustig…
Es würde die Sicherheit jetzt deutlich bla bla blabla blablabla…
So wurde die Fahrt zur Arbeit doch recht amüsant….
Du kannst dich nur solange amüsieren, bis dein Betrieb auch mal betroffen ist.
Wenn nach solchen eklatanten Vernachlässigungen im Bereich Sicherheit seitens der SIT, welche zu massiven Kosten für die Bürger der betroffenen Kommunen führen, ein solcher Bullshit im Radio verbreitet wird, muss und darf ich mich amüsieren. Die Einführung einer 2FA als tolle Sicherheitserrungenschaft darzustellen ist mehr als lustig. Es zeigt, wie der Radiohörer für dumm verkauft wird.
Ich würde mir an ihrer Stelle sämtliche Berichte zu dem Thema einmal durchlesen, dann sehen sie meine Bemerkung bezüglich der Radionachricht eventuell auch so. Und wenn nicht, ist mir das wurscht!
Wer seinen Job sauber gemacht hat hat über Crowdstrike gelächelt seinen Plan B aktiviert.
Je nach Menge der Geräte dauert es halt 3 bis 4 Tage aber dann ist das Thema gilt. Gilt nebenbei bemerkt auch für Trojanerbefall, Der Kommentar auf heise dazu sagt eigentlich alles was man wissen muss.
In Kurzform wenige Systeme mit Daten denen wirklich gar nichts passieren darf weil daraus neu aufgebaut wird. Alles andere regeln Terrafom, ansible und ein paar Images.
Wenn nicht Crowdstrike, dann Sentinel One, Sophos, Defender-Enterprise, Cynet 360, Trellix, Bitdefender, Trendmicro, Symantec, was auch immer. So ein defektes Signatur-Update kann prinzipiell leider jede AV/EDR-Lösung mal treffen, es ist ganz egal, was man nimmt. Solche Updates stehen in einem eher unlösbaren Konflikt, einerseits müsste man mehr prüfen, was Zeit kostet und eine schlechte Bewertung in der Aktualität bewirkt, andererseits "so schnell wie möglich" um möglichst schnell neue Bedrohungen zu erkennen. Aber IRGENDWAS davon muss man auf jeden Fall installieren, das sagen sämtliche Security-Best-Practizes, auch das BSI und sämtliche ähnlichen Behörden weltweit. Ich wette mit dir, dass du vor dem Vorfall noch nicht mal von Crowdstrike gehört hast. (Natürlich wirst du jetzt das Gegenteil behaupten, einfach nur um recht zu haben…) Ich hatte von denen schon Angebot auf dem Tisch, und wenn die Umstellung nicht so komplex gewesen wäre (Richtlinien komplett neu erstellen, Admins einarbeiten, deployen, testen, KI trainieren, Expert-Rules, …), wären es die auch geworden. Wir sind dann bei dem geblieben, was wir hatten, nur erzwungenermaßen von OnPrem auf Cloud, die Kröte mussten wir schlucken weil es dazu bei solchen Produkten keine Alternative (mehr) gibt und konnten alle unsere jahrelang optimierten Settings quasi 1:1 übernehmen. Die sind im Gartner-Quadrant Technologie-Leader und Performer rechts oben im Kästchen, vor allen anderen, das ist schon eine kluge Wahl. Scheixxxe kann immer mal passieren, auch McAfee und Defender haben schon Kisten so lahmgelegt.
Hier wie z.B. SentinelOne den Update Mechanismus gestaltet
https://www.sentinelone.com/blog/crowdstrike-global-outage-threat-actor-activity-and-risk-mitigation-strategies/?mkt_tok=MzI3LU1OTS0wODcAAAGUj2fmna9auaAnaHZGSBajk5WA7les8MWtSmxqx-eKcGXhoBksupwXDIlwEzO2Vn8uZ7_t8SaJCUyfWuxSVFG0Ar7sSAwRI-eKmZQBxUHwdzuiGA