Seit dem 24. Mai 2022 streikten in zahlreichen Geschäften, Supermärkten, Tankstellen etc. die Verifone H5000 Kartenleseterminals für Giro- und EC-Karten. Inzwischen hat der Hersteller eine Erklärung veröffentlicht und ein Update für betroffene Geräte seinen Zahlungsdienstleistern bereitgestellt. Momentan läuft der Austausch der vom Ausfall betroffenen Verifone H5000 Kartenleseterminals – und Zahlungsdienstleister haben Service-Hubs eingerichtet, um Geräte zu reparieren. Zeit für eine Bestandsaufnahme – und für einen Blick, was passiert sein könnte. Kleine Ergänzung: Bestätigung eines "abgelaufenen Zeitstempels".
Anzeige
Um dieses Problem geht es
Seit dem 24. Mai 2022 gibt es in ganz Deutschland das Problem, dass bargeldloses Zahlen mit Giro- oder Kreditkarte in vielen Geschäften nicht möglich ist (siehe Probleme mit Kartenzahlung im Handel: Softwarefehler schuld (24.5.2022)). Der Grund: Die von vielen Händlern eingesetzten H5000-Kartenlesegeräte des US-Herstellers Verifone streiken seit diesem Tag.
Der Hersteller spricht in einer Mitteilung von einem Software-Fehler, der diese Störung verursacht (siehe Störung der Verifone H5000 EC-Kartenlesegeräte, neue Infos (29.5.2022)), gibt aber keine weiteren Details bekannt. Nutzer, die die Geräte kurz abschalten, um diese zurückzusetzen und dann wieder in Betrieb nehmen möchten, stellen fest, dass das Gerät nicht mehr funktionsfähig ist. Es wird nur noch obige Anzeige auf dem Display gezeigt.
Was sagt der Hersteller?
Vom US-Hersteller Verifone gibt es seit dem 27. Mai 2022 nur eine kurze Stellungnahme, in der das Problem bestätigt wird und in der die bereits erwähnten Softwarefehler als Ursache für den Ausfall genannt werden. Hier der Text:
Anzeige
Sehr geehrte Kunden und Partner,
wir sind uns bewusst, dass es bei einem bestimmten Anteil der Verifone H5000 Terminals, die hauptsächlich in Deutschland eingesetzt werden, ein Problem mit der Nutzbarkeit für die Abwicklung von Kartenzahlungen gibt und durch diese Situation Unannehmlichkeiten entstanden sein könnten.
Wir möchten betonen, dass das Problem nicht mit dem Ablauf eines Zertifikats oder einer Sicherheitslücke zusammenhängt und keine Sicherheitsbedrohung darstellt. Vielmehr handelt es sich um eine Software-Fehlfunktion in der H5000-Software.
Die H5000 Terminal-Serie wird von Verifone seit Ende 2019 nicht verkauft und ausgeliefert, alle anderen verfügbaren und zukünftigen Verifone-Terminalprodukte sind nicht betroffen.
Eines der beobachteten H5000 Fehlerbilder ist, dass das Terminal „Betriebsbereit" anzeigt, aber kontaktbehaftete Kreditkarten- und girocard-Transaktionen nicht verarbeitet werden. Die Verarbeitung von bestimmten Kontaktlos-Transaktionen und Lastschrift-Transaktionen hingegen ist noch möglich. Es könnte daher nützlich sein, das Lastschriftverfahren temporär über den Netzbetrieb aktivieren zu lassen.
Wir haben in den vergangenen Tagen mit höchster Priorität und unter intensiver Kooperation mit unseren Kunden und Partnern an der Behebung des Problems gearbeitet.
Wir haben eine Update Lösung zur Behebung des Problems entwickelt. Wir arbeiten nun mit Hochdruck gemeinsam mit unseren Kunden und Partnern an der Bereitstellung dieser Lösung für die betroffenen Terminals im Feld.
Ihr Verifone Team
Ziemlich dünn, der Text. Interessant ist der Hinweis, dass das Gerät seit Ende 2019 nicht mehr verkauft wird. Nur große Handelsketten und Zahlungsdienstleister haben wohl noch einen Gerätepool, der mit einer Sonderregelung bis 2023 betrieben werden sollte. Ich hatte bei Golem im Artikel Was hinter den Ausfällen der EC-Kartenterminals steckt sowie im Blog-Beitrag Störung der Verifone H5000 EC-Kartenlesegeräte, neue Infos (29.5.2022) einen Abriss gegeben, warum das Terminal noch im Einsatz ist, und was möglicherweise schief gelaufen ist.
Der Hersteller PayOne wirbt auf seinen Seiten nach wie vor mit dem Verifone H5000 Lesegerät (siehe folgendes Bild). Meinen Quellen zufolge wurden in Deutschland 350.000 dieser Lesegeräte verkauft (siehe dieser Artikel). Und irgendwo habe ich mal die Zahl 100.000 betroffene Geräte vernommen, bin aber nicht sicher, wie belastbar das ist.
Lastschriften mit ELV SEPA geht
Inzwischen lässt sich festhalten, dass beim Verifone H5000 Terminal wohl alle Transaktionen ohne PIN (also ELV/SEPA offline und NFC mit Apple/Google Pay) funktionieren – dort erfolgt keine Verifizierung mit dem Zahlungsdienstleister. Dazu ist es aber erforderlich, dass das Gerät noch funktioniert und nicht kurz mal ausgeschaltet wurde – denn dann läuft es (vermutlich) in den oben gezeigten Fehlerzustand.
Bekannt ist auch, dass nicht alle Verifone H5000 Terminals betroffen sind. Im Dezember 2021 gab es ein Software-Update, und es schaut so aus, dass Geräte, die dieses Update erhalten haben, weiter funktionieren. Es gibt zwar hier im Blog einen Kommentar, der spekuliert, dass dieses Software-Update Schuld am Geräteausfall sei. Für diese These habe ich aber keine Belege gefunden. Die Tagesschau hat eine FAQ zum gesamten Thema veröffentlicht.
Wie ist die Situation (4. Juni 2022)?
Eine ganze Reihe von Großkunden (Aldi-Nord, Netto) haben bereits voriges Wochenende damit begonnen, die defekten Verifone H5000 Kartenlesegeräte gegen andere Fabrikate oder reparierte Geräte auszutauschen (siehe auch diesen heise-Artikel). PayOne ist dabei, die Geräte in größerem Umfang auszutauschen (siehe auch diesen Artikel bei Golem).
Vom Zahlungsdienstleister TeleCash heißt es, dass in den letzten Tagen tausende Terminals an Kunden verschickt wurden. Laut dieser Seite haben manche Zahlungsdienstleister in den letzten Tagen ihre Auslieferungskapazität auf mehr als das Zehnfache gesteigert, um Händler zeitnah mit Ersatzterminals auszustatten. Der Anbieter TeleCache hat dafür ein Rücksende-Portal auf seiner Webseite eingerichtet (siehe obiger Screenshot).
Zudem besteht die Möglichkeit, defekte Geräte durch Techniker wiederbeleben zu lassen. Das soll 15 bis 20 Minuten dauern und ist für Kunden von TeleCash kostenfrei (siehe auch diese Mitteilung).
Ein Benutzer beschreibt auf Twitter diesen Vorgang – er musste sein kaputtes Gerät 15 km weit bringen, wo es repariert wurde und wieder läuft. Auch PayOne hat seit Freitag, den 3. Juni 2022 sogenannte Service-Hubs eingerichtet, wo Händler ihre defekten H5000-Terminals reparieren lassen können (siehe folgender Tweet).
Obiges Foto links zeigt, dass die Mitarbeiter aber noch "am üben" sind. Der Dritte von links hält sein Schild verkehrt herum, der Pfeil zeigt nach unten – an diesem Arbeitsplatz werden dann die kaputten H5000 abgegeben. Gemäß nachfolgendem Tweet arbeiten die Techniker von PayOne auch an Pfingsten durch, um möglichst viele Geräte zu reparieren oder auszutauschen.
Bei EDV Ermtraud, die auch in diesem Bereich aktiv sind, gibt es hier einige Informationen, die in die gleiche Richtung deuten. Unter dem Strich ist es aber ein logistisches Problem, die Terminals auszutauschen oder zu reparieren. Die Schwierigkeiten mit Kartenzahlungen dürften erst einige Tage nach Pfingsten abklingen (siehe auch folgender Tweet).
Wie sieht es in den Läden aus?
Ich bin jetzt nicht herum gerannt und habe in einzelnen Läden geprüft, wie der Sachstand ausschaut. Meine Frau berichtete, dass diese Woche Kartenzahlungen in Geschäften möglich waren – es aber bei einigen Kassen Probleme gab. Meist wurde Lastschrift mit Unterschrift über die Lesegeräte angeboten – das braucht ja keine Kommunikation mit dem Zahlungsdienstleister.
Generell scheint es auch bis zum 4. Juni 2022 (Pfingst-Samstag) viele ausgefallene Kartenterminals in Geschäften zu geben. Obiger Tweet bestätigt bei einem Edeka-Laden, dass es noch Zahlungsprobleme mit Girokarten gebe. Viele Händler, deren Geräte noch laufen, stellen auf elektronisches Einzugsverfahren (ELV/SEPA) um. Bei Rossmann ist das beispielsweise der Fall – siehe dieser Tweet.
Bei Rossmann scheint das bargeldlose Zahlen zudem auf Geräte vom SumUp umgestellt worden zu sein – wie ich nachfolgendem Tweet entnehmen kann. Aber so ganz glänzend ist das auch nicht. Einmal scheinen die Transaktionen von Zahlungen sehr teuer (im Vergleich zu anderen Lösungen). Zudem ist wohl Handarbeit angesagt, wie man nachfolgendem Tweet entnehmen kann.
Zudem gibt es – z.B. bei Rossmann – ggf. Probleme durch schlecht instruierte Mitarbeiter, die mit den SumUp-Terminals nicht klar kommen, wie folgende Tweets zeigen. Da ist Ärger vorprogrammiert.
Bundesbank sieht Vertrauen gefährdet
Die deutsche Bundesbank sieht zusammen mit der Finanzaufsicht BaFin die Störung nicht als systemisch an, wird aber zitiert, dass man das Ganze als "gravierenden Vorfall" betrachtet. Die Bundesbank sieht zudem das Vertrauen der Verbraucher in die Girocard als bargeldloses Zahlungmittel gefährt. Die Bundesbank analysiert das Ganze und teilte dazu mit "Nach Wiederherstellung des Normalbetriebs werden wir die Störung mit der Deutschen Kreditwirtschaft als Steuerungsinstanz von Girocard grundlegend aufarbeiten."
Was war nun Ursache?
Kommen wir zum letzten Punkt des Dramas: Die genaue Ursache ist nach wie vor unklar. Im Blog-Beitrag Störung der Verifone H5000 EC-Kartenlesegeräte, einige Insights zur Zertifikateproblematik hatte ich angegeben, dass die betroffenen H5000 Terminals Zertifikatefehler haben und keine Zertifikate mehr finden (siehe folgendes Foto).
Zertifikate fehlen auf H5000-Terminals, Quelle: Cedric Fischer
Verifone erklärt aber, dass kein abgelaufenes Zertifikat und keine Sicherheitslücke und auch kein Hack die Ursache für die Störung sei. Ich habe mir die Geschichte an Hand der Fehlerberichte mal durch den Kopf gehen lassen. Letztendlich ist es egal, ob ein abgelaufenes Zertifikat oder ein Softwarefehler die Ursache ist. Die obige Meldung, dass keine Zertifikate gefunden werden, deutet auf einen Softwarefehler hin, der aber gravierende Folgen hatte.
- Als erstes konnte das H5000-Kartenterminal beim Einlesen einer Girokarte mit PIN-Eingabe die Authentifizierung der Transaktion mit dem Zahlungsdienstleister wegen des fehlenden DK-Zertifikats nicht mehr abwickeln.
- Weiterhin kann das H5000-Kartenterminal auch nicht mehr mit den Update-Servern des Herstellers oder des Zahlungsdienstleisters kommunizieren. Im Artikel Störung der Verifone H5000 EC-Kartenlesegeräte, einige Insights zur Zertifikateproblematik habe ich ja Log-Auszüge gezeigt, die solche Kommunikationsfehler belegen.
- Wird das H5000-Kartenterminal neu gestartet, verifiziert die Firmware an Hand der Zertifikate, das alles in Ordnung ist. Da aber die Zertifikate fehlen, läuft das Terminal in den meisten Fällen auch nicht mehr hoch.
Am Ende des Tages steht der Händler mit dem kaputten Gerät da und kann keine Kartenzahlungen mehr abwickeln. Jan Wildeboer weist in nachfolgendem Tweet auf seinen Artikel German Card Paying Drama – the Verifone H5000 hin, in dem er den Fall – ähnlich wie ich dies in meinen unten stehenden Blog-Beiträgen und bei Golem dargestellt habe – nochmals behandelt.
Ich hatte mich Freitag mit Jan Wildeboer telefonisch zum Sachstand abgestimmt. Seine Interpretation deckte sich mit meinen Informationen – er bringt lediglich noch einen Gedanken ein: Ursache könnte der Ablauf eines Root-Zertifikats des Wind River Embedded Linux des H5000 nach 10 Jahren sein. Denn das Gerät wurde 2012 in den Handel gebracht und ist pünktlich nach 10 Jahren in 2022 abgelaufen. Damit kann das Linux im Gerät keinen Integritäts-Check beim Start mehr durchführen. Klingt logisch, ist aber vom Hersteller nicht bestätigt.
Wildeboer hat hier die Zertifizierung des BSI aus 2013 ausgegraben. In seinem Blog-Beitrag vermutet er, dass die Payment-Anwendung im H5000, die in einer Sandbox läuft, das bereits erwähnte Update vom Dezember 2021 nicht erhalten hat. Durch das Zertifikateproblem kann dann diese Anwendung keine Zahlungsvorgänge per PIN mehr abwickeln. Sind aber Vermutungen, die allerdings logisch klingen. Mal schauen, ob wir je die Ursache erfahren.
Ergänzung: Im Juni 2022 hatte ich noch ein Telefonat mit einem Redakteur der Lebensmittelzeitung wegen der Angelegenheit. Über nachfolgenden Tweet – der offenbar einen Ausriss auf einem Lebensmittelzeitungs-Beitrag zeigt, wird als Hauptursache eine "abgelaufene Zeitstempel-Signatur in der zentralen Software-Plattform-Umgebung des H5000-Terminals" bestätigt – was immer das bedeuten mag. Ich habe das Ganze im Beitrag Verifone-Stellungnahme zum H5000-Kartenleser-Ausfall (14.6.2022) zusammengefasst.
Ähnliche Artikel:
Probleme mit Kartenzahlung im Handel: Softwarefehler schuld (24.5.2022)
Störung der Verifone H5000 EC-Kartenlesegeräte, einige Insights zur Zertifikateproblematik
Störung der Verifone H5000 EC-Kartenlesegeräte, neue Infos (29.5.2022)
Anzeige
Wir werden die Ursache nicht erfahren. Seit 24.Mai werden von allen Beteiligten Nebelkerzen geworfen. Das Vertrauen steht auf dem Spiel. In ein paar Tagen kräht kein Hahn mehr danach. In ein paar Wochen ist auch das letzte H5000 vom Markt. Es wird ausgesessen.
Aus der Praxis: Einige KK-Zahlungen funktionierten die ganze Zeit und ein Neustart der Geräte war kein Problem.
Da muss die BaFin dran bleiben und aufklären was da die Ursache war. Nicht um Schuldige zu finden, sondern um so etwas für die Zukunft zu vermeiden.
Bei uns ging das noch glimpflich aus. Aber was ist, wenn so etwas z.B. in Dänemark passiert? Dort ist Bargeld ja praktisch ausgestorben und abgeschafft. Da würde so ein Ausfall für ein riesiges Chaos sorgen.
So sieht es aus! Genau deshalb sollte Bargeld eben NICHT komplett abgeschafft werden. Es sollte nach wie vor Wahlfreiheit geben, welches Zahlungsmittel jeder verwenden möchte. Vor allem deshalb, da "so etwas für die Zukunft" wohl (erneut) NICHT zu vermeiden ist! Früher oder später wird "so etwas" wieder passieren. Und dann werden wir wieder froh sein, wenn es diverse Alternativen gibt – und dazu gehört nun mal auch (!) Bargeld, das keiner technischen Störung unterliegen kann; zumindest dann nicht, wenn man es sich rechtzeitig und in vernünftiger Menge bevorratet …
Ich finde es gut daß hier so offen über speziell die H5000 gesprochen wird. Sehr interessant zu lesen.
Hatte ich seit 10 Jahren in ordentlicher Menge im Betrieb, bis auf Altersschwäche (tamper error) liefen die super.
Hier ist closed source + wohl wenig nachträgliche Kontrolle /Tests des Herstellers eine Ursache gewesen? Wer weiß…
Kritische Geräte, und keiner wills wahrhaben.
"Die Bundesbank sieht zudem das Vertrauen der Verbraucher in die Girocard als bargeldloses Zahlungmittel gefährt."
Nun ja, mein Vertrauen in die Girocard ist durch diesen Vorfall eher weniger gefährdet – zumindest so lange nicht, so lange sich solch ein Disaster nicht ständig wiederholt. Viel mehr Vertrauen geht bei mir verloren, wenn ich dieses Kommunikations-Desaster wie im obigen Screenshot lese:
"Filialleitung: "Sorry, müssen Sie mit der Hotline klären""
"Hotline: "Sorry, müssen Sie mit unserem Zahlungsdienstleister klären""
"Zahlungsdienstleister: "Sorry, müssen Sie mit der Filialleitung von Rossmann klären""
??????
Perfekt! So sieht doch vertrauenerweckendes Verhalten aus … 👍 😂 👍
Einfach herrlich, wenn's nicht so traurig wäre …
Eigentlich hätte die Kassiererin, der Schicht- oder Marktleiter nur eine Minute im Handbuch des SumUp Terminals lesen müssen um den Punkt zu finden unter dem beschrieben steht wie man die letzte Zahlung storniert.
Falls es später erst bemerkt wurde vom betroffenen Kunden eben wie man eine frühere Zahlung storniert. Das geht eigentlich bei jedem Gerät.
@Günter Born
Vielleicht hat der Softwarefehler die Zertifikate vom Gerät gelöscht.
Vielleicht waren die Zertifikate abgelaufen und werden deshalb in der Ausgabe nicht mehr angezeigt.
Bei unserem Aldi sind die betroffenen Terminals (3 von 4) inzwischen ausgetauscht gegen neuere Modelle. Angenehmer Nebeneffekt: die Terminals sind schneller.
Ich zahle bei sumup 0.9% Gebühr.
Ich weiss von einer Apotheke, dass die Gebühren bei dem Kartenterminal für den Apotheker höher sind.
Sehr interessant, dass große Läden derart viel bessere Verträge erhalten.
Ist das wirklich verwunderlich? Größere Firmen bezahlen beispielsweiße sicherlich auch keine 5,95€ für ein Paket bei DHL, wenn es ab 29€ Einkauf versandkostenfrei verschickt wird ;)
Wie ich schon schrub:
In dem Logfile (besten Dank für den Klartext und kein dubioses "uns liegen Quellen vor") wird von der startbaren Software klar ein deploy datum
23. Arpil 2012 genannt.
Es ist sehr naheliegend, daß WR das Ablauf-Datum des Root Zertifikats im Linux um einen Monat verlängert hat. Was diese Jahr Mai wäre.
Auf der Website von Wind River (nicht Windriver, auch wenn die mal mit Windows Treibern begonnen haben) wird ein Support des "wrlinux" (Wind River Linux) von 10 Jahren zugesagt. Dieser kann aber auch verlängert werden. (gegen Einwurf kleiner Münzen, logo).
Es wäre absolut fatal, wenn der Verkäufer der Geräte den Käufern dieses Verfalls-Datum nicht genannt hätte…
Das würde auch erklären, warum ein romote Update nach dem 24. Mai nicht mehr funktionierte.
Das erste Statement von Verifone sprach ausserdem davon, das keine Zertifikate abgelaufen sind, die das Gerät identifizieren. Das wurde später von der Presse verkurzt.
Das mysteriöse Update zum 1. Weihnachtstag wird wohl eher die Mehrzahl der Gerät nicht erreicht gabel, weil diese garantiert ausgeschaltet waren (manche Unternehmen sammeln die Geräte jeden Abend im Tresor ein um so verhindern, das diese von Einbrechern unbemerkt manipuliert werden könnten.
Das Weihnachts Update wäre ein genau ein halbes Jahr vor Ultimo gewesen, genau dann wenn man professionell so ein Update gemacht haben sollte, um Zeit zum Reagieren zu haben, fslls es nicht geklappt hat.
Es ist auch naheliegend, daß ein Embedded System unglültige Zertifikate entfernt um Speicher frei zu halten.
Es stellt sich die Frage warum es nicht schon beim Weihnachts Update geknallt hat.
Vermutlich wurde auch ein Year2022 gefixt, und die neuen Zertifikate eingespielt.
Bei den anderen lief alles weiter, bis das eingebaute root Zertifikat abgelaufen war, der certmngr alle ungültigen Zertifikate gelöscht hat.
Stellt sich die Frage, warum es 6 Montate lang nicht aufgefallen sein kann, das das Weihnachts-Update nicht erfolgt ist. Hört sich das nicht plausibel an? Wo ist der Bruch?
Es hat bel dem Weihnachts update nicht geknallt, weil das aktuelle Datum ja noch 2021, rs also kein Überlauf Problem gab.
Passt wunderbar…oder?
(leider kann man nicht nach editieren wenn man vom Handy kommt)
Ich habe einige Tipp- und Autokorrekturfehler ausgebügelt.
https://finanz-szene.de/payments/wie-es-zum-terminal-gau-kam-und-die-unruehmliche-rolle-der-dk/
(Zuerst bei blog.Fefe.de)
Spoiler :
Ich verstehe dss so:
Durch Knowhow -Verlust…
25% der Mitarbeiter wurden 2018 ff. nach dem Aufkauf durch eine Heuschrecke entlassen.
Abzunehmen ist, das dies vorallem die waren, die das eh angekündigte H5000 unter sich hatten.. Weil das je eingestellt werden sollte. Und dann kam mit Corona der Chip-Mangel und man konnte nicht kurzmal 350000 Geräte neubauen…und so wurde der alte Kram auf über 10 Jahre verlängert.
Aber die Leute mit dem know how waren schon unerreichbar weg.
Ich bin mal gespannt was uns erzählt werden wird.
(Es ist natürlich eh alles höchst geheim! Security by obsurity funktioniert ja bei Banken, das hat man jahrelang mit den pseuorandom PINs für die EC Karten bewiesen, die Kunden zahlen fue Kosten… )
der FeFe hat einen schönen Post gemacht, warum die Terminals verlängert wurden..
"Ohne 'Single Tap' sind dann eben künftig Extra-Gebühren fällig"
https://blog.fefe.de/?ts=9c63ddc0
https://finanz-szene.de/payments/branchen-insider-erklaeren-die-hintergruende-des-terminal-gaus/
Ganz schwache Vorstellung von TeleCash. Die Hotline wimmelt einen nur mit Standardsätzen ab. "Wir schicken Ihnen ein Ersatzgerät. Es sollte in ein bis zwei Werktagen bei Ihnen sein." Das bekomme ich seit 24.05. regelmäßig zu hören. Die Servicestation in meiner Nähe, auf die TeleCash zur möglichen Reparatur verweist, B2X Care Solution GmbH in München, weiß von nichts. Der Mitarbeiter von B2X sagte mir, er wissen nichts von einer solchen Reparaturaktion. Ausserdem seien: "… sowieso fast alle Mitarbeiter nur im Home Office beschäftigt." So sollte Kundenservice nun mal gar nicht ablaufen….
Also heute bei DM in Südbayern wurde ich schon am Eingang mit dem Hinweis "nur Zahlung per Girocard möglich begrüßt". Exakt dies an einem H5000 getan und musste statt Pin unterschreiben. Habe dann gefragt, ob sie das Gerät austauschen wollen oder updaten. Klar, die Kassiererin ist keine ITlerin, aber es hieß lapidar (sinngemäß), dass da ein Zettel im Aufenthaltsraum [des Personals] liege, wo steht man wird öfter eine Unterschrift einholen müssen [vom Kunden]. Die meisten Kunden störe das aber nicht.
Ich war heute in einem DM in NRW mit H50000, es ist weiterhin nur Zahlung mit Girokarte und Unterschrift möglich. Ironischerweise hat meine Girokarte garkein Unterschriftenfeld mehr, da die Kassiererin die Unterschrift so nicht prüfen kann, musste ich Bar bezahlen.