Vorigen Freitag, den 16. August 2024, ging in Nordrhein-Westfalens (NRW) Gerichten und Justizstellen kaum mehr was. Die Richter und Justizangestellten mussten im Notfallverfahren zu Papier und Kugelschreiber greifen, um Verfahren zu dokumentieren. Ursache war wohl ein Stromausfall, der einen zentralen Dienstleister für die Nordrhein-Westfalen Justiz, der alle angeschlossenen Dienststellen betraf. Ein Beispiel, wie der Ausfall eines zentralen Diensterbringers die IT vieler Kunden lahm legt.
Anzeige
Justiz IT-Struktur in NRW
Nordrhein-Westfalens (NRW) ist bereits seit 2016 im digitalen Zeitalter angekommen. Ende August 2016 gab Justizstaatssekretär Karl-Heinz Krems den Startschuss für die technische Zentralisierung der Informationstechnik der NRW-Justiz. In dieser Mitteilung jubelte der Staatssekretär seinerzeit "Das justizeigene Rechenzentrum ist ein wichtiger Meilenstein auf dem Weg zur Einführung einer durchgehenden elektronischen Aktenbearbeitung bei den Gerichten und Staatsanwaltschaften. Damit wird die Effektivität der Justiz auch in Zukunft gewährleistet und bietet so allen Verfahrensbeteiligten rechtssicher, elektronisch mit den Gerichten und Staatsanwaltschaften kommunizieren zu können."
Dazu hat der ITD NRW im Norden von Münster Räume vom Landesbetrieb IT.NRW im eigenen Rechenzentrum zum Betrieb übernommen. Die zur Bearbeitung dieser Verfahren erforderlichen Daten und IT-Verfahren werden seit dieser Zeit auf den eigenen Servern in Münster bereitgestellt. Laut meinen Informationen kommen Lösungen von Citrix zum Einsatz (siehe auch). Diese Zentralisierung ist der Justiz in NRW am 16. August 2024 dann auf die Füße gefallen.
Stromausfall im Rechenzentrum
Laut diversen Medienberichten wie dem WDR und Focus hat es in der Nacht von Donnerstag auf Freitag, den 16. August 2024, einen Stromausfall im Rechenzentrum in Münster gegeben. Dadurch waren alle Server ausgefallen, auf denen die Fachverfahren der Justiz liefen und über Citrix-Client-Server-Verbindungen genutzt werden. Techniker des zentralen IT-Dienstleisters mussten dann die Server vor dem Hochlaufen auf Beschädigungen prüfen. Der Betrieb konnte wohl am Freitag-Abend wieder aufgenommen werden.
Aber für Freitag ging in der Justiz Nordrhein-Westfalens in den Gerichten nichts, was mit IT zu tun hat. Prozesse fanden zwar statt, aber die Fallakten musste mit Kugelschreiber auf Papier geführt werden. Etwas witzig findet ich die Berichterstattung des Focus, dass der zentrale IT-Dienstleister der Justiz (ITD) den Staatsanwälten und Gerichten in NRW am Freitagmorgen per Mail die Information über eine Störung im Geschäftsbetrieb des Landes mitteilte.
Anzeige
Gleichzeitig hieß es, dass dieser Ausfall zu Einschränkungen in der elektronischen Kommunikation "unter anderem bei Gerichten" führte. Beim Oberverwaltungsgericht in gab es auf dessen Webseite den Hinweis, dass das Gericht wegen einer Störung nicht über das Elektronische Gerichts- und Verwaltungspostfach (EGVP) erreichbar sei. Anträge, Klagen und Schriftsätze konnten nicht auf diesem Weg eingereicht werden. Auch Office-Lösungen wie Word waren wegen der zentralen Bereitstellung über das Rechenzentrum nicht verfügbar.
In den Gerichten wurden die Notfallkoffer ausgepackt, um die Fallakten per Papier und Kugelschreiber manuell zu führen. Henning Barton, Pressesprecher am Landgericht Münster, sagte dazu "Für diese Fälle gibt es einen Notfallkoffer, in dem Formulare hinterlegt sind, damit die unaufschiebbaren Dinge, wie z.B. Sitzungen, stattfinden können." Bei Focus Online fällt in diesem Kontext das Stichwort Citrix, was wohl für den Zugriff von Thin Clients auf die auf den Servern des Rechenzentrums laufenden Anwendungen zum Einsatz kommt. Aber Citrix trifft hier keine Schuld – der Ausfall ist auf die aktuelle Konzeption des Systems mit Fokussierung auf ein Rechenzentrum zurückzuführen, wo ein Stromausfall die kompletten Server betraf und dann nichts mehr ging.
Anzeige
Echt jetzt? Ein RZ führen ohne Geo Redundanz (NRW ist nicht gerade klein), oder Notstromdiesel? Mutig :-) Oder anders geschrieben, lessons learned :-D
> lessons learned
Gewagter Rückschluss.
Notfallkoffer ist doch schon mal löblich. Es gibt wahrscheinlich genug andere Bereiche, wo sie in solchen Fällen komplett blank dastünden und auf das Improvisationstalent jedes einzelnen angewiesen wären.
;-) Meine Heile Welt und so ;-)
Ja so Spezialisten wie bei der SIT gibt es in NRW mehrere :-P
Ohne eine Quelle auf Anhieb zitieren zu können, meine ich im Fahrwasser der Causa SIT gehört zu haben, dass in NRW politisch versucht wird, die verschiedenen Rechenzentren weiter zu konzentrieren und zusammenfassen, um Kosten einzusparen.
Ich sehe die Meldung dahin gehend positiv: Der Ausfall betraf nur eine Behörde mit Ihren Fachabteilungen, nicht gleich das ganze Land mit allen Kommunen und anderen Fachabteilungen.
Ich finde es schon mal gut, dass ein professioneller IT-Dienstleister sich um die IT der Gerichte kümmert. Das ist sehr viel besser als wenn da jeder Standort seine eigene (unsichere) IT-Suppe kocht und es schafft gewisse Standards.
So ein Stromausfall ist natürlich ärgerlich, aber davor ist niemand sicher. Man kann dagegen nur Maßnahmen bereitstellen und diese regelmäßig testen. Ich würde beim IT-Dienstleister nun annehmen, dass genau das auch im Projekt vorgeschlagen wurde und empfohlen wurde. Natürlich gibt es diese Redundanz nicht umsonst und muss auch bezahlt werden. Da fragt man sich als Geldgeber schon, muss das sein? Wie wir jetzt lernen, ja es sollte sein!
Meine Vermutung ist, dass den IT-Dienstleister hier keine Schuld trifft. Es wurde vermutlich das geliefert was bestellt wurde. Die Empfehlungen zu Redundanz oder Notstrom wurden allesamt vom Geldgeber ignoriert. Man kann nur hoffen, dass daraus nun gelernt wird beim Geldgeber.
Ja, das klingt plausibel. Ging ja jetzt auch 8 Jahre gut…
Und ein Tag Ausfall ist ja noch erträglich. Das bekommt MS mit seiner Cloud auch zuweilen Hin ;-)
Und vor allem: Es hat sich jemand über den Fall 'IT-Fail' vorhger Gedanken gemacht und diese Notfallkoffer erschaffen. Sicher nicht optimal, aber man steht als Nutzer nicht ganz nackelig da. Ich kenne Firmen, die können ohne MS-Cloud weder ein Dokument öffnen noch irgendwas ausdrucken – obwohl PCs und Drucker ja vorhanden sind. Die können effektiv nur nach Hause gehen…
Gruß,
Werner
So scheint es ja zu sein.
Der Notfallkoffer enthält dem Vernehmen nach Formulare wie z.B. zur Protokollierung von Sitzungen und Dienstsiegel, die verhandelten Dokumente dürften sich aber in einem DMS befinden und nur über Citrix zu erreichen sein – ebenso das Mail-System. Wenn "noch nicht mal Word geht", dann sind die PCs der Angestellten vermutlich in einem reinen Kiosk-Modus.
Das mit der Redundanz habe ich bisher genau so kennen gelernt:
Ist Redundanz gesetzlich vorgeschrieben?
– Wenn ja:
Redundanz wie gefordert umsetzen.
– Wenn nein:
Riskio eines Ausfalls abwägen und bewerten. Bewertung gegen die Kosten der Redundanz halten.
In 100% der von mir erlebten Fälle traf der Betriebs- oder Verwaltungswirt die Entscheidung gegen die Redundanz (obwohl die Ingenieure dazu geraten haben), weil der aus der Risikobewertung errechnete Schaden nicht annähernd so groß war wie die Kosten der Redundanz.
Die Bewertung ergab sich immer aus den internen Verrechnungssätzen der Mitarbeiter, die für den Ausfallzeitraum nicht oder nur eingeschränkt arbeitsfähig wären, aus den Opportuniätskosten entgangener Gewinne und aus den Wiederherstellungsaufwänden der Ingenieure, die es wieder richten müssen bzw. aus den Kosten, weil sie andere Tätigkeiten liegen lassen müssen.
Das ganze nannte sich dann Risikomanagement. Im Fall der NRW-Justiz-IT finde ich die Lösung mit den Notfallkoffern doch aber recht gut. Sie puffert die MA-Ausfallrahmen etwas ab und mindert die Opportunitätkosten, da weiter gearbeitet werden kann.
"gelernt wird"
Gewagter Rückschluss. :-D
In der Regel ist das kein professioneller IT-Dienstleister. Die Besatzung dieser IT-Dienstleister in der Justiz setzt sich normalerweise zusammen aus den ehemaligen IT-Abteilungen der einzelnen Gerichtsbarkeiten.
Grüße
So ist es doch mittlerweile überall! Von Redundanz hält man nichts, Redundanz kostet nur unnötig!
Und die Wahrscheinlichkeit, dass so ein Ereignis eintritt, ach iwo, tritt doch eh nie ein.
Wenn flächendeckend der Strom für längere Zeit ausfällt, sind "Festnetztelefone", sprich Internet, tot!
Mobiltelefone funktionieren dann genau wie lange? Die Stromspeicher für so manchen Sendemast
hält nur ein paar Stunden.
Aber die Russen werden ja niemals ein anderes Land überfallen, denn wir leben in Frieden und Harmonie miteinander.
Und die Infrastruktur, Stromnetz, ist ja doppelt und dreifach gesichert, auch gegen Hackerangriffe!
Es wird und niemals was passieren!
Die letzten beiden größeren (mehrere Stunden) Stromausfälle bei uns wurden durch einen Baum, der spontan in die 10kV-Leitung gehüpft ist und durch eine abgebrannte Trafostation ausgelöst. In beiden Fällen hat die USV-Anlage gehalten (würde sie bis 72 Stunden). Ein stationärer Notstromdiesel mit Tanks ist hier im Trinkwasserschutzgebiet nicht zulässig – nur ein im Bedarfsfall gemietetes mobiles Aggregat.
Wahrscheinlich wurde bei der Planung die Frage gestellt:
Wie lange kommen Sie ohne IT aus? (evtl. differenziert nach Diensten)
"Nach 24h sollte es schon wieder ohne Datenverlust laufen"
vs.
"Nicht eine Minute", es darf nichts ausfallen oder verloren gehen.
Das bitte bei der Bewertung des Vorfalls nicht in einen Topf werfen.
Wenn man 24h keine Knöllchen mehr per Post verschicken kann, ist es rel. wurscht, da Nachholbar.
Wenn aber in einer Bank, das Börsen system crasht, dann ist auch eine Minute teuer oder wenn Buchungen verlorengehen.
oder wenn die IT crash während gerade ein. teueres, nicht reversibles Experimenten einer Forschungseinrichtung gemacht wird, kann man auch nicht 24h warten.
Ja, diese Fragen haben wir uns natürlich gestellt.
Wir sind ein Industriebetrieb, ohne Strom ist es mit Produktion sowieso Essig.
Es geht darum, in Mitteleuropa zu erwartende Stromausfälle (bis 1 Tag) zu überbrücken ohne Daten zu verlieren. Größeren Havarien (Aartal) kann man immer noch durch geordnetes Herunterfahren begegnen.
Mail können wir (durch M365) sowieso nicht beeinflussen, Buchhaltung liegt dezentral bei der Datev in Nürnberg und für Lieferscheine habe ich zur Not noch ein Fallback auf Papier.
Aufgrund der Kosten (und der Grundwasserproblematik) haben wir uns für eine Vorrüstung (Elektrik, Sockel) eines Dieselaggregates entschieden, aber keins dauerhaft installiert. Dafür lieber einen größeren Batteriekeller und 60kW Wechselrichter.
Das gute alte Kupfer Festnetz war da weniger anfällig.
naja, das mit dem Ausfallen von Kupfer damals auch nicht besser
Wer noch weiß, was ein EMD ist…
Dennoch hatte früher, vor der Öffnung des Telefonmonopolsjedes Furz Verteiler Häuschen einen Akku Raum. mit vielen, Badewannen großen Bleiakkus und den obligaten Diesel für längere Zeit. und manche waren sogar mit WC ausgestattet,wenn auch nicht redundant…
immer hin wurden damals die Telefone von der Post mit Energie versorgt. Wenn das Haus brannte und schon in Asche lag,das Telefon ging immer noch.
Aber es waren kosten, die sich die privaten Anbieter Sparten und dem Kunden auferlegten.
Der mußte sich die USV besorgen…
EMD ist bekannt ;-)
Ging aber auch zu ISDN-Zeiten alles noch – Notspeisung vom Amt für ein ISDN-Telefon am Anschluß. Eigene Telefonanlagen mussten schon immer selbst versorgt werden.
Aber heute rettet dich selbst die eigene USV-Versorgung nicht, wenn irgendwo auf dem Weg ein Verstärkerpunkt nicht versorgt wird.
Siehe Aartal: Schöne BOS-Umsetzer aufm Berg, mit Glasfaser vernetzt. Dumm nur, wenn die Glasfasern über die Brücken verlaufen, die waren dann einfach mal weg. Und ohne Backbone-Anbindung läuft das Netz nunmal nicht. Anrückende Feuerwehr-Verbände wurden aufgefordert, sich mit Satellitenkapazitäten auszurüsten. Da fragt man sich doch, was abgeht, wenn es mal einen wirklich größeren Landstrich erwischt.
Von einer weiteren Bewertung würde ich Abstand nehmen, bis mehr und vor allem verläßliche Informationen verfügbar sind.
Während der WDR-Bericht noch sachlich-distanziert geschrieben ist klingt es im Focus so, als ob eine panische Justizangestellte dem Reporter ihre Nöte erzählt und der sie recht ungefiltert und etwas wirr zu digitalem Papier bringt.
"Stromausfall" kann vieles bedeuten, auch interne und nicht redundant genug ausgelegte Komponenten, USV-Versagen oder z.B. fehlende Klimatisierung.
Naja, gab es denn schon häufiger Ausfälle? Ein Ausfall (für einen Tag) in so vielen Jahren, rechtfertigt nicht unbedingt eine Redundanz.
Wahrscheinlich wurde bei der Planung die Frage gestellt:
Wie lange kommen Sie ohne IT aus? (evtl. differenziert nach Diensten)
"Nach 24h sollte es schon wieder ohne Datenverlust laufen"
vs.
"Nicht eine Minute", es darf nichts ausfallen oder verloren gehen.
Das bitte bei der Bewertung des Vorfalls nicht in einen Topf werfen.
Wenn man 24h keine Knöllchen mehr per Post verschicken kann, ist es rel. wurscht, da Nachholbar.
Wenn aber in einer Bank, das Börsen system crasht, dann ist auch eine Minute teuer oder wenn Buchungen verlorengehen.
oder wenn die IT crash während gerade ein. teueres, nicht reversibles Experimenten einer Forschungseinrichtung gemacht wird, kann man auch nicht 24h warten.
Kein Problem. Es ist doch nichts Schlimmes/Teures passiert. Die können ruhig mal mit dem Kugelschreiber arbeiten. Mehr Redundanz würde nur der Steuerzahler zahlen.
Das Thema mit der fehlenden Redundanz und Notstromversorgung kenne ich. Jahrzehnte darum gebettelt, immer abgelehnt. Viel zu teuer. Dann ein großflächiger Stromausfall am Hauptstandort über mehrere Stunden. Es hat fast zwei Wochen gedauert, bis alle Systeme wieder einwandfrei liefen. Heute: Notstromdiesel und USVs sind gar keine Frage und alle Systeme sind über die Standorte gespiegelt. Es geht doch.
Manche lernen nur durch Schmerzen… the hard way…
Wobei es bei Ransomware den Trend zum Zweit- und Drittbefall gibt, bevor der Groschen fällt…