Bei Volkswagen herrscht momentan Krise: Eine IT-Störung hat die zentrale Infrastruktur des VW-Konzerns am heutigen Mittwoch, den 27. September 2023, still gelegt. Die Produktion von Fahrzeugen steht in vier VW-Werken; und auch Komponentenwerke sind wohl betroffen. Weiterhin soll sich die Störung auch auf die Produktion von Audi und Porsche auswirken. Wer jetzt an einen Sicherheitsvorfall denkt, liegt womöglich falsch. Es soll sich um eine IT-Störung im Netzwerkbereich des Unternehmens handeln heißt es vom Konzernsprecher.
Anzeige
Mehrere Medien berichten übereinstimmend über den Vorfall, der durch eine IT-Störung ausgelöst wurde. Der Focus zitiert hier einen Konzernsprecher mit "Wir können eine IT Störung von Netzwerkkomponenten am Standort Wolfsburg bestätigen. Die Störung besteht seit 12.30 Uhr und wird aktuell analysiert. Es gibt Implikationen auf fahrzeugproduzierende Werke."; ein Zusammenhang mit einem Cyberangriff wird nicht bestätigt.
Laut Focus sind die Produktionsstandorte Wolfsburg, Emden, Zwickau und Osnabrück betroffen. Dort ruhen die Bänder zur Herstellung von Fahrzeugen. Weiterhin heißt es, dass die Werke zur Herstellung von Komponenten in Kassel, Braunschweig und Salzgitter betroffen seien. Diverse Medien zitieren IT-Dienstleister, die angeben, dass alle VW-Standorte weltweit betroffen seien und dort die Bänder still ständen. Audi und Porsche sollen ebenfalls von diesem IT-Ausfall betroffen sein.
Wenn es kein Cyberangriff auf die IT ist, die für den Produktionsstopp verantwortlich ist, fällt mir sofort mein Beitrag Datenfluten: Toyotas Fabriken durch fehlenden Server-Speicher lahm gelegt; US-Farmer stöhnen über Datenmassen und Automatisierung mit einem Produktionsausfall bei Toyota ein. Dort hatte Platzmangel auf den Systemlaufwerken dafür gesorgt, dass Server ein Update nicht mehr verkrafteten und ausfielen. VW hat einen Krisenstab eingerichtet, um der Probleme Herr zu werden.
Update: Die Produktion läuft wieder. Beachtet die Hinweise von Bolko in seinen Kommentaren, der mögliche Ursachen benannt hat.
Anzeige
Anzeige
Die armen Kollegen, die sind jetzt sicher ordentlich am Rotieren! Mal gespannt, ob sie hinterher berichten, was es war.
Meist sind es am Ende ja eigentlich nur "Kleinigkeiten" mit großen Auswirkungen. Falsche Konfiguration auf Switch gespielt, Update schiefgelaufen oder wie zuletzt bei Toyota Festplatte voll. Ich hoffe sie finden es schnell. Die Komplexität des VW Netzwerkes möchte ich mir nicht mal im Ansatz ausmalen.
Erstes Whispern im Gerüchtewald sagt was von einem abgelaufenen Zertifikat…
Denke ich auch mal, soll ja "nur" eine Netzwerkstörung gewesen sein, dafür reicht schon auf einem Router ein/zwei falsche BGP Befehle um das ganze Netz mal eben auf Links zu ziehen, falsch priorisierte Pfade im STP können auch lustige Seiteneffekte haben.
So etwas fällt ja oft erst auf, wenn irgendwo ein Sicherungsmechanismus greift weil z.B. ein Router ein Reboot machen muss (auch bei geplanten Wartungsarbeiten) oder man schlichtweg das "write memory" am Ende vergessen hat und nach dem Reboot fehlt mal eben ein Teil der Config … kenne ich alles :D, dort arbeiten auch nur Menschen
wohl kaum.
oder gab es irgendwie einen Abschluss Bericht warum etliche Krankenkasse wochenlang offline waren? (bitmark)
Und da waren Menschen betroffen gar gefährder.
Solche Abschlußberichte brauchen Zeit (bei Maersk damals hat es fast zwei Jahre gedauert).
Die Eigendarstellung (https://www.bitmarck.de/infothek/faq-cyberangriff) läßt auf proaktive Abschaltung und Beauftragung eines externen Auditors (in solchen Fällen das Standardverfahren) schließen, wobei einige Aussagen davon wohl Makulatur sind (laut Heise sind sehr wohl Daten abgeflossen, Ursache waren gestohlene Mitarbeiter-Zugangsdaten und fehlende 2FA .
Bismarck hatte 2mal eine "strategische Herausforderung".
Bei dem Bericht bei Heise geht um Jira, das irgendwer zum Speichern hochsensibler Daten missbraucht hat und ein Dritter diese ind Netz sichert hat.
Ich meinte den anderen Fall, der die Mitarbeiter der Kassen an ihre Grenzen gebracht hatte
Einfach mal die Fritzbox für die IntlComm neu starten 😈
Wäre ja ein Gau wenn hier Microsoft Updates mitschuldig wären ;-)
denn dann Rauscht es auch mal bei Microsoft.
Denn ein Tag Produktionsausfall bei der Automobil industrie kostet unsummen…
bekommen dann sicherlich eine 10 EUR Azure-Gutschrift, statt die "üblichen" 5 EUR, ist ja ein großer Kunde, da muss man mal die Spendierhosen anziehen :D.
Aber lustiger wäre es, wenn die M$ verklagen auf Schadensersatz (wenn es sich um ein solches Problem handelt), die Chance, dass ein Gericht die Klage annimmt ist auf jeden Fall deutlich höher als bei so "Kleinstunternehmen" mit gerade mal 1k Usern.
Anklage und Verurteilung hätte die wohl mal verdienst, würde so manchen Softwarehersteller von seinem hohen Ross runterstoßen und die mal zu mehr Qualität bewegen.
und wieso sollte das MS jucken? Software as it is! Ist nicht in MS Verantwortung sondern die Admins haben Updates vorher zu testen bevor sie ins Produktiv System gehen, wenn dann Rollen da Adminköpfe.
Es existiert keine Produkthaftung bei Software!
seit heute früh soll es wieder laufen.
Wenn es bei einer Störung in Wolfsburg zu Produktionsausfällen in anderen Werken kommt, dann stimmt etwas mit dem Netzwerkdesign und der Software Architektur nicht. Keine Resilience, kein Mitleid.
Oftmals in kleinen Unternehmen eine harte aber richtige Aussage. In größeren Unternehmen ist das Netzwerkdesign aber eher zwingend an der Zahlungskraft / Zahlungsbereitschaft des Unternehmens angelehnt . Daher bitte nicht zu schnell verurteilen .
Zudem unterliegt alles dem Konzern-Risikomanagement. Dort werden solche Risiken erfasst und bewertet und ggf. Schutzmaßnahmen angeordnet. Ist auch Punkt regelmäßiger Wirtschaftsprüfung, gerade bei so einem großen Konzern.
Insofern ist Spekulation müßig.
Mit solchen Aussagen wäre ich zumindest vorsichtig, bis Näheres über die Ursache der Störung bekannt ist.
Inzwischen ist es ja so, daß (nicht nur aufgrund von Wünschen von VW, sondern z.B. auch regulatorischer Vorgaben des KBA) viele Dinge gar nicht mehr gemacht werden können, ohne sie seriennummernbezogen in entsprechenden Datenbanken zu dokumentieren bzw deren Vorgeschichte aus einer entsprechenden Datenbank zu lesen.
Dem Vernehmen nach waren ja nicht nur Produktionsstandorte, sondern auch die Vertragswerkstätten (quasi das Muster von Dezentralität) betroffen, weil bestimmte Prozesse eben eine Verbindung zu VW bedingen.
Gefahren sind die Autos ja noch, auch ohne aktives WeConnect/VWConnect.
Zum Vergleich: Auch ein iPhone bekommst Du nicht aktiviert ohne daß das installierte Firmwareimage mit einer auf die Seriennumer Deines Gerätes ausgestellten Signatur (die vermutlich direkt aus einem Rechenzentrum in Cupertino kommt) beglaubigt ist.
Auch die Auto-Zulieferer sind voll in diesen Prozeß einbezogen, alles was auch nur ein bischen Elektronik enthält und z.B. am CAN-Bus angeschlossen ist wird vermutlich erst in den nächsten Herstellungs-, Prüf- oder Montageschritt übergehen können, wenn der vorherige Schritt in entsprechenden Datenbanken vermerkt ist.
Nur so kann ja VW dem KBA gegenüber z.B. dokumentieren, in welchem Fahrzeug mit welcher Fahrgestellnummer welcher Motor und welches Steuergerät mit welchem Softwarestand (Dieselgate läßt grüßen) verbaut ist.
Noch ein anderes Beispiel – der Ausfall bei der Lufthansa neulich:
Vor ganz vielen Jahren mußtst Du mit Hilfe der Bordkarte im Wesentlichen prüfen, daß der Passagier für seinen Flug bezahlt hat. Einen Teil hast Du abgerissen, gesammelt und hattest damit eine Liste der an Bord befindlichen Leute für Havariefällen.
Heutzutage mußt Du eben auch noch dokumentieren, daß Du die Daten mit den entsprechenden No-Fly-Listen geprüft hast und die Liste der Passagiere schon Stunden vor der Landung an das Zielland (und ggf. Länder, die nur überflogen werden) übermitteln.
Das geht nicht mehr ohne riesige Datenbanken und genau deswegen hat der Ausfall der Datenbank in Frankfurt eben auch dazu geführt, daß von München aus nicht mehr in die USA gestartet werden konnte.
Kaputt gespart – oder if you pay peanuts you will get monkeys – ich tippe aber eher auf Fehlentscheidungen in der Führer-Ebene dort. VW und IT war wohl immer eher Kartoffel – man erinnere sich an die Software im ID3 usw.
irgendwo muss man ja sparen, die Privatjet-Flotte von VW bezahlt sich ja schließlich nicht von selbst!
Laut BILD ist die Störung wieder behoben, die Produktion wird hochgefahren.
Weltweite IT-Störung bei VW behoben
Die Cyberangriffabwehr-Übung "Lükex 2023" wurde zeitgleich durchgeführt ab dem gestrigen Mittwoch.
Schwerpunkt Niedersachsen, mit gewollter simulierter Ausbreitung.
Gibt es da einen Zusammenhang?
Zitate von Presssemeldungen von gestern:
27.09.2023
Hannover – Ein Hacker-Angriff legt Niedersachsens Infrastruktur lahm, greift auch in anderen Bundesländern um sich und trifft Bundesbehörden mit voller Wucht. Und die Situation verschärft sich immer weiter.
Ein Horror-Szenario, aber zum Glück nur eine Übung.
—
Ziel ist ein fiktiver Hackerangriff auf die kritische Infrastruktur in Deutschland. Damit die Beteiligten sich nicht auf die Aufgabenstellung vorbereiten konnten, wurde das genaue Szenario für die Übung bis zuletzt geheim gehalten.
Beteiligt waren Regierung, Verwaltung und Unternehmen.
—
Zufälle gibt es, die sind schon sagenhaft.
Vielleicht haben die Übungsleiter einfach nur vergessen, vorher die VMs zu starten und haben dann ihre Schädlinge nicht innerhalb der Simulation gestartet, sondern tatsächlich auf das Übungsziel losgelassen und VW ist nunmal "kritische Infrastruktur in Niedersachsen". Dieses Ziel eines Cyberangriffs kommt einem doch als erstes in den Sinn, wenn man an Niedersachsen denkt (Wolfsburg, VW Hauptsitz, Staat besitzt erhebliche Konzernanteile).
Es ist erstaunlich, wie an mehreren Standorten die Produktionsstätten gleich mehrerer Marken, die Autohändler und die Reparaturwerkstätten (Auslesen der Fehlerspeicher der Autos funktioniert auch nicht mehr) und sogar die Arbeitszeiterfassung von so einem Problem betroffen sein können.
Ich kann mir absolut nicht vorstellen, dass VW das Prinzip der Netzwerksegmentierung nicht kennt oder nicht umsetzt.
Was genau war denn dieser Single Point of Failure, der den gesamten Konzern abschaltet, trotz der vorhandenen redundanten Systeme?
Da stehen Insider-Infos, was bei VW passiert ist:
Es gibt zwei Ebenen:
Die erste stammt anscheinend von einem User, der dort arbeitet. Er berichtete von einem Lizenzproblem mit den Switches. Nach einer Warnperiode, die ignoriert wurde, schalteten diese bestimmte Features ab. Darunter auch ein Feature, das speziell verschlüsselte VLANs und WANs unterstützt. Als dieses Feature deaktiviert wurde, war das normale Netz zwar noch erreichbar, aber alle sicheren Netze, einschließlich des Admin-Netzes, nicht mehr. Dieses Admin-Netz war der einzige Weg, die Switches remote zu erreichen. Daher mussten anscheinend alle IT-Mitarbeiter, nach einer kurzen Einweisung, die Switches manuell über den Konsolen-Port patchen.
Diese Informationen wurden von dem User gepostet, der über Nacht die Patches durchgeführt hat.
Die zweite Ebene ist spekulativer als die erste.
Hier wird behauptet, dass der Lizenzkauf automatisiert war. Alle X Jahre wurde dies automatisch generiert, an die Buchhaltung geschickt und die Technikabteilung erhielt dann die E-Mail mit der neuen Lizenz (oder eher die Aufforderung zum Refresh). Da die Personen, die diesen Automatismus eingerichtet hatten, nicht mehr im Unternehmen waren und die Buchhaltung anscheinend nicht wusste, was dieser Posten war, wurde er nicht freigegeben. Die Warnungen der Netzwerkkomponenten wurden für zwei Wochen ignoriert und dann – voilà.
www[.]heise[.]de/forum/heise-online/Kommentare/Nach-IT-Problem-Produktion-bei-Volkswagen-laeuft-wieder-an/Geruecht-von-Reddit-Netzwerk-Komponenten-Lizenzen-ausgelaufen/posting-43166622/show/
Kann dann also auch der Hersteller der Switche remote die Lizenz entziehen und dadurch einen Konzern abschießen?
Solche Switche sollte man dann komplett entfernen und durch etwas robustes ersetzen, wo man keine Lizenzen erneuern muss.
Da wird nicht remote die Lizenz entzogen, sondern die Lizenz hat ein Ablaufdatum.
Ist das erreicht, deaktiviert der Switch von selbst alle an die Lizenz geknüpften Funktionen.
Hatte wir vor ca. 25 Jahren auch schon.
Das war nur ein Geschenktest Demo gerä to mit einer 0 DM Lizenz. Die musste trotzdem jedes Jahr erneut werden.
Und irgendwann war der Sachbearbeiter weg, seine E-Mail abgeschaltet und am 2. Jänner die Kiste tot.
Inzwischen ist die Firma auch tot…
Klingt nach Meraki.
War auch mein erster Gedanke und der Hauptgrund warum ich von dieser Produktfamilie bisher immer die Finger gelassen habe – selbst wenn sie mich mit Demogeräten zuschmeißen.
Auf Spiegel Online wird eine andere Erklärung geliefert – es seien ungewöhnliche Datenpakete im Netzwerk gefunden worden.
Zitat im Spiegel-Artikel:
"Auf den Servern hätten sich untypische Dateninhalte innerhalb der IT-Struktur vervielfältigt"
—
So kann man auch einen Virus beschreiben ("sich vervielfältigt").
Diese Mist-Lizenz-Logik mit "Enddatum" für etwas so Essentielles wie einen Switch sollte man wirklich mal überdenken….. Mal schauen wann Microsoft diesen Kelch für sich entdeckt…… da würde ich mich freuen, wenn Windows sich einfach abschaltet, wenn man nicht rechtzeitig verlängert hat…..
Ältere Versionen (Server 2003 ?) hatten das glaube ich. Haben dann wohl alle 60 Minuten gebootet.
Beim SBS gabs das.
Wenn der SBS länger als 21 Tage nicht die FMSO-Rollen hat, dann bootet er alle 60 Minuten neu.
Denn lt. Lizenzbedingungen für den SBS muss dieser die FMSO-Rollen haben.
Die 21 Tage sind Schonfrist, damit man Zeit hat, den SBS zu migrieren.
Aber, John Doe, diesen Kelch hat MS doch schon längst für sich gewonnen: Office365 (aka Microsoft365) gibt's nur noch im Abo, also gegen mtl. oder jährl. Bezahlung.
Fänd ich aber trotz allem bitter, wenn sich das mit der abgelaufenen Lizenz bzw. dem abgelaufenen Zertifikat bewahrheiten sollte…
Ich war gestern zufällig in einem VW Betrieb tätig und durfte Live miterleben, dass die Werkstatt plötzlich Handlungsfähig war. Festgestellt wurde es ca. um 13 Uhr. – Gegen 14:30 gab es unter Wilma (Volkswagen Portal) eine Veröffentlichung, dass eine technische Störung vorliegt. Es waren nicht nur Produktion betroffen sondern auch DMS und Abwicklungstools.
VW steuert seine gesamte Produktion über eine integrierte Softwareplattform,
die "Volkswagen Industrial Cloud".
Die großen Partner sind dabei Siemens und die Amazon-Cloudsparte AWS.
https://www.rnd.de/wirtschaft/it-panne-bei-volkswagen-vw-sucht-nach-ursache-YQDDYLHXLJETDJ6NHNZPU4TM3M.html
(Quelle: RND)