[English]Blog-Leser Jona fragte gerade, ob mir etwas über eine Störung bei "Hornet-Security" bekannt sei. Bisher hatte noch niemand aus der Leserschaft diesbezüglich nachgefragt. Inzwischen gibt es eine zweite Meldung von Matthias. Aber es sieht so aus, als ob die Dienste dieses Anbieters für Managed Security Services aktuell nicht verfügbar sind. Selbst das Support-Forum ist im Web nicht mehr erreichbar. Ergänzung: Es gibt einen partiellen Workaround. Ergänzung 2: Die Funktionalität scheint zurückzukehren. Ergänzung 3: Hornetsecurity hat einen Incidenz-Report veröffentlicht.
Anzeige
Hornetsecurity ist laut eigener Aussage Premium-Anbieter für Managed Security Services. Die Produkte des Anbieters sollen für perfekte und sichere Kommunikation via E-Mail und Internet sorgen, so das Versprechen. Die Managed Security Services sind sofort aktiv und erfordern keine zusätzliche Software, keine Hardware und keinen Wartungsaufwand durch Ihre IT-Experten, heißt es auf deren Webseite.
Webdienste und Support-Seite nicht erreichbar
Aktuell müssen Kunden sich aber arg gedulden, denn es gibt eine massive Störung bei diesem Anbieter für Managed Security Services, da geht momentan (7. Juni 202, 10:40 Uhr) nichts mehr.
Neben Jonas, der fragte, ob über die Störung etwas bekannt sei, meldete sich Matthias einige Minuten später. Bei Matthias im Unternehmen wird der Dienst von Hornetsecurity als Sicherheitslösung für deren Exchange Online verwendet. Er schrieb: "Derzeit scheinen global alle Dienste gestört zu sein. Unser Mailversand und -empfang mit externen Domains ist ebenfalls davon betroffen, nichts geht mehr.". Sieht nach Stress für die IT-Abteilungen aus, die diesen Anbieter nutzen.
Es gibt DNS-Probleme
Die Statusseite liefert mir derzeit einem Fehler "Die Website ist nicht erreichbar", weil die komplette Webseite nicht erreichbar ist bzw. nicht gefunden wird.
Anzeige
Auf statusgator findet sich die obige Darstellung, dass diverse Dienste heute seit ca. 10:14 Uhr gestört waren oder noch sind. Zur Störung von 10:14 Uhr heißt es:
Message: [HSE20240607-01-I] Incident: Partial Service Disruption: Service Control Panel
Details: Currently we are investigating DNS issues which affects the Control Panel. This also affects the email delivery. We are working with maximum priority to resolve it.
Der Anbieter untersucht DNS-Probleme, die das Control Panel betreffen und sich auch auf die E-Mail-Zustellung auswirken. Die Techniker arbeiten mit höchster Priorität an der Behebung des Problems. Laut statusgator sollte dieses Problem binnen 10 Minuten behoben worden sein. Aber es schließt sich nahtlos ein zweiter Eintrag an, der besagt, dass diese Störung andauert. Irgend etwas ist bei deren DNS-Einträgen kaputt gegangen. Jemand aus der Leserschaft betroffen?
Ergänzung: Um 11:28 Uhr ist es mir gelungen, die Statusseite abzurufen (siehe obiger Screenshot), der noch einige Informationen enthält.
Incident Status: Partial Service Disruption
Components: AI Recipient Validation, 365 Permission Manager, 365 Total Backup, 365 Total Protection, Advanced Threat Protection, API, Control Panel – General, Control Panel – Config / Deployment, Control Panel – Email Live Tracking, Control Panel – Backup & Compliance Services, Email Signature and Disclaimer, Email Inbound, Email Outbound, Email Continuity, Email encryption: Websafe, Email encryption: S/MIME, Hornet.email, IMAP/POP3 Services, Security Awareness Service, Ticketsystem, Web Filter, Website
Locations: Canada, Düsseldorf, Frankfurt, Germany, Hannover, North Virginia, USA, Switzerland, Sydney 1, Sydney 2, United Kingdom, USA, West Europe, Global
Auf X gibt es zudem diesen Tweet, wo jemand einen Screenshot der Statusseite gepostet hat.
Name-Server-Umzug als Ursache
Ergänzung: Jan hat mir die Vermutung bestätigt, dass das Ganze mit einem Umzug des Name-Servers zu Hosteurope zu tun habe. Ich poste mal das, was er per E-Mail geschickt habe.
Hallo Günter,
ich habe mir das mal genauer angeschaut.
Für hornetsecurity.com sind folgende Nameserver zuständig:
hornetsecurity.com nameserver = pdns01.domaincontrol.com
hornetsecurity.com nameserver = pdns02.domaincontrol.comDie Abfrage www.hornetsecurity.com liefert folgende Ergebnisse:
*** www.hornetsecurity.com wurde von pdns01.domaincontrol.com nicht gefunden: No response from server.
*** www.hornetsecurity.com wurde von pdns02.domaincontrol.com nicht gefunden: No response from server.
Hornetsecurity verwendete früher den Namen "Antispameurope" und unterhält dafür noch eine alte Domain:
antispameurope.com nameserver = ns2.hans.hosteurope.de
antispameurope.com nameserver = godzilla-haj2.antispameurope.deFragen wir nun bei "Godzilla" nach den Hostnamen der Mailserver, bekommt man die korrekten Antworten:
>mx01.hornetsecurity.com
Server: godzilla-haj2.antispameurope.de
Address: 83.246.65.50
Name: mx01.hornetsecurity.com
Address: 94.100.132.8mx02.hornetsecurity.com
Server: godzilla-haj2.antispameurope.de
Address: 83.246.65.50
Name: mx02.hornetsecurity.com
Address: 94.100.136.8mx03.hornetsecurity.com
Server: godzilla-haj2.antispameurope.de
Address: 83.246.65.50
Name: mx03.hornetsecurity.com
Address: 94.100.134.8mx04.hornetsecurity.com
Server: godzilla-haj2.antispameurope.de
Address: 83.246.65.50
Name: mx04.hornetsecurity.com
Address: 94.100.136.7Ich vermute, dass Hornetsecurity den DNS-Server gewechselt hat und es dadurch zu dem Problem kommt. Die Antispameurope.com liegt bei HostEurope, die auch den primären DNS ns2.hans.hosteurope.de betreiben. HostEurope ist wiederum eine Tochter von GoDaddy, die den pdns0x.domaincontrol.com verwalten.
Ich glaube daher nicht, dass jemand die Domain gekapert hat. Es handelt sich wohl um einen Konfigurationsfehler.
Das bestätigt das, was bereits aus der Kommentarlage hier im Blog erkennbar ist.
Partieller Workaround des Anbieters
Ergänzung: Es gibt einen partiellen Workaround, den Hornetsecurity im Service Control Panel vorgibt. Ein Leser hat mir auf X folgenden Screenshot der betreffenden Seite mit den Hinweisen gepostet (danke dafür).
Vielleicht helfen die obigen Informationen ja weiter.
Problem behoben?
Ergänzung 2: Die Empfehlung für den partiellen Workaround wurde zurückgezogen – mutmaßlich sind die DNS-Probleme behoben. Die nachfolgenden Kommentare zeigen, dass das Problem wohl beseitigt ist.
Incidenz-Report veröffentlicht
Ergänzung 3: Mehrere Blog-Leser haben darauf hingewiesen, dass Hornetsecurity einen Incidenz-Report veröffentlicht habe. Hier dessen Inhalt (Stand 8.6.2024) – der von Nutzern in Kommentaren gepostet Link zum PDF-Dokument lässt sich von mir sporadisch nicht abrufen, weshalb ich den Link gelöscht und die Inhalt nachfolgend herausgezogen habe.
Current Status: Operational
Started: June 7, 2024 09:55 CEST
Resolved:
Affected Infrastructure
Components: AI Recipient Validation, 365 Permission Manager, 365 Total Backup, 365 Total Protection, Advanced Threat Protection, API, Control Panel – General, Control Panel – Config / Deployment, Control Panel – Email Live Tracking, Control Panel – Backup & Compliance Services, Email Signature and Disclaimer, Email Inbound, Email Outbound, Email Continuity, Email encryption: Websafe, Email encryption: S/MIME, Hornet.email, IMAP/POP3 Services, Security Awareness Service, Ticketsystem, Web Filter, Website
Locations: Canada, Düsseldorf, Frankfurt, Germany, Hannover, North Virginia, USA, Switzerland, Sydney 1, Sydney 2, United Kingdom, USA, West Europe, Global
Incident overview
Issue: Global DNS IssuesIncident Description: At 09:27 CET out Monitoring alarmed us about Issues with resolving Hornetsecurity.com DNS
Impact Customer: During the time in which the DNS Records could not be resolved customer were facing issues with In
and Outbound Mail delivery due to our MX Records not being resolvable anymore, additionally all Web Interfaces utilizing the Hornetsecurity.com Domain were not accessible anymore. This includes all our websites, the control Panel and multiple other Products which made use of these domains.Service Impact: The DNS outages also had a strong impact on our external communication capabilities of our support team as they could not be reached by email or via our chat. Our
status.hornetsecurity.com
page was also not reachable externally and could not send any updates to Hornetsecurity customer addresses despite a separate mail infrastructure. While waiting times might have been longer than usual our support team managed to serve 92% of incoming calls.
Root Cause Analysis: We found out that the SOA and NS records were unauthorized and unannounced changed by our
Domain Registrar Hosteurope which belongs to the GoDaddy Group to DNS-Servers we did not configure.To make things even worse the NS Servers did not have the Zone-Configuration replicated which led to a massive Global outage which got increasingly worse as the worldwide DNS propagation took place.
We first established contact with Hosteurope/Godaddy at 09:40h CET with the response that they were already investigating what went wrong during the unannounced migration. From there on we contacted Hosteurope/Godaddy every 20 Minutes to increase priority on the solution.
Unfortunately, it took Hosteurope/Godaddy until 14:00 CET to finally agree on a rollback of their change and revert the SOA/NS records to their original values. We could verify that the rollback was deployed 14:10 CET and the DNS propagation started to happen instantly.
At 14:15 CET we observed a huge number of delayed emails reaching our Servers again and our Infrastructure was able to filter everything without any issues in 30 Minutes which lead to fully operational services at 14:35 CET.
Conclusions and Preventive Measures
To avoid Incidents of this nature in the future we will immediately start to evaluate a Domain registrar with faster responses and solution times. Unfortunately, we could do nothing more than repeatedly escalating this Issue with the Registrar.
We understand the communication is key in such situations. Therefore we will implement redundancy for our status page in order to ensure external Communication even in scenarios like
this.We sincerely regret the incident and
Fällt ein wenig in das Raster, was ich mit HostEurope beobachtet habe, wenn es beim Paketwechsel Probleme gab.
Anzeige
Ja, Hornet ist Down/ hat massive Probleme.
DNS abfragen liefern wirklich teilweise NX z.B. für cp.hornetsecurity[DOT]com oder eben auch für status.hornet…
Der Mailflow funktioniert aktuell zumindest noch – aber verzögert.
Die Mailzustellungsfehler sind uns seit etwa 9:15 Uhr von Anwendern gemeldet worden. Unserem Partner war zu dem Zeitpunkt auch nichts seitens Hornet bekannt.
Hatte dazu auch zeitgleich eine Mail geschrieben.
Zwischendurch kamen ein paar Mails durch, aber jetzt ist wieder alles down.
Es ging so gegen 09:55 los mit den Problemen.
Hoffen wir, dass die Probleme zeitnah behoben werden.
Ist angekommen – ich turne hier ja schon zwischen Maileingang, Blog-Beitrag schreiben und Kommentare monitoren sowie auf X und der Hornetsecurity Statusseite nach Ursachen forschen.
Ja,
Mail an betroffenen Empfänger schlägt fehl….
Remote Server returned '554 5.0.0 '
Deren DNS-Server scheinen nur sporadisch mit IPs zu den jeweiligen Records zu antworten.
Wir versenden Mails an Kunden, welche hinter Hornetsecurity sitzen.
Seit ca. 9:20 ist das Problem hier ersichtlich.
Die IPs der MX records von Hornet im eigenen DNS Server statisch zu definieren könnte wohl funktionieren, wenn es jemand eilig hat. Hin und wieder gibt es doch eine passende Antwort vom DNS.
Schade, dass seitens Hornetsecurity keine Kommunikation stattfindet. Ich konnte zumindest auf deren X Profil nichts derartiges erkennen.
Bei mir kommt weiterhin NXDOMAIN als Error aber über Googles Admin Toolbox können Dinge aufgelöst werden.
mx01.hornetsecurity.com 94.100.132.8
mx02.hornetsecurity.com 94.100.136.8
mx03.hornetsecurity.com 94.100.134.8
mx04.hornetsecurity.com 94.100.136.7
Das Problem lässt sich auch mittels MX lookup leicht verifizieren.
https://mxtoolbox.com/MXLookup.aspx
Schade, dass es scheinbar seitens Hornet keine Kommunikation zu dem Problem gibt. Auf deren X Profil ist zumindest nichts zu lesen.
X ist wohl nur eine Seite für deren Social Media Team – da hatte ich auch nachgesehen.
Es scheint eine Support Seite von Hornetsecurity auf X zu geben, aber die ist geschützt.
Wurde bisher auch noch nicht freigeschaltet:
https://x.com/support24h
Ich hoffe, nach diesem Ausfall bekommt deren Statusseite vielleicht auch eine eigene Domain samt unabhängigem DNS spendiert. Gehostet wird diese offenbar immerhin schon abseits der eigentlichen Infrastruktur. (AWS)
You made my day. Was für ein Saftladen. Ein Social Media Team, welches das Medium nur als Kanal für belanglos-unverbindliches Herumlabern ansieht.
Auf Linkedin haben Sie es gemeldet:
https://www.linkedin.com/feed/update/urn:li:activity:7204810981258997760
Hier sind auch diverse Kunden betroffen, vorhin ging kurz das Control Panel und man konnte sehen das zumindest einige Mails angekommen sind, wie es aussieht handelt es sich um ein DNS Problem.
https://x.com/Schorsch92/status/1799006648771780674
Ja, auch betroffen.
Cloud, Software – kann man nichts machen.
Dito… auch wir sind betroffen, outbound geht wohl, nur inbound nichts…
Bei uns ist es genau umgekehrt, inbound funktioniert noch, outbound kann das Relay nicht aufgelöst werden.
Bei uns genau so. Inbound geht, aber Outbound nicht
Wir haben das um 9Uhr festgestellt. 90% der Mails (intern+extern) funktionieren nicht. Das gab es so m.W. noch nicht. Bleibt zu hoffen, das es bald gelöst ist und dann auf ein Statement, was und wo das Problem war.
Hallo Herr Born,
ja, betroffener Leser hier. Das ganze verhält sich sehr seltsam, es scheinen nur eingehende Mails spezifischer Mailhoster (t-online.de, web.de, gmx.de…) betroffen zu sein. Einige unserer Partner mit selbstgehosteten Mailservern haben keine Probleme, meine Testmails von googlemail.com und protonmail.com liefen ebenfalls fehlerfrei durch.
Die betroffenen Mailhoster liefern dann in der Regel einen DNS fail auf die eingestellten MX-Records, host not found – mx04.hornetsecurity.com oder non-existent domain.
Beste Grüße
Naja, bei DNS-Problem und Cache ist das wieder so ne Sache wann wer betroffen ist.
Kann ich Bestätigen.
Bei mir ging die Statusseite zumindest kurz. Alle Dienste sind Orange oder rot.
https://imgur.com/a/yKrF9Qc
Scheinen alle Dienste über *.hornetsecurity.com zu laufen.
Wenn mal E-Mails raus gehen schlägt hier natürlich DMIK/SPF fehl.
Kann das auch bestätigen. Nur stellenweise kommen Mails an oder gehen raus.
Ich bin's nochmal, ist bei uns im Unternehmen auch gegen 09:55 aufgefallen weil wir alle Mails die raus geschickt wurden mit dem Fehler Unzustellbar zurück bekommen haben…
Die Statusseite geht immer mal wieder kurz und die Betroffenen Locations werden immer mehr.
Bei uns im Unternehmen auch seit 09:55 Uhr.
Komme immer mal wieder ganz kurz ins CP und sehe dann, dass ein paar Mails rausgingen und reinkamen. Aber hatte selbst schon Testmails versendet, die nicht rausgingen und es leider auch keine Fehlermeldung gab.
CP bin ich seit 10 Uhr nicht mehr rein gekommen. Habe auch 1-2 Test Mails versendet die erste an meine Firma ging direkt durch, die Zweite von der Firma aus kam grade nach ungefähr einer Stunde an. Sehr interessant auf jeden Fall.
Bei uns und unseren Kunden geht auch nichts. Zunächst schien es so als ob spordisch mal eine Mail durchkommt, die letzte ist aber auch schon eine Stunde her.
Kann ich auch bestätigen.
Der E-Mail Empfang funktioniert nicht, da der Hornet Spamfilter nicht mehr funktioniert. Versenden können wir auch nichts mehr, da dann ein SPF Fehler bzw. fehlerhafter DNS/MX Eintrag vom Empfänger gemeldet wird und dieser die E-mail abweist.
Die scheinen zu versuchen den Nameserver von domaincontrol.com auf einen eigenen antispameurope.de zu wechseln.
Mit dem neuen NS klappt die Auflösung auch wieder xD
Da fragt man sich doch wie kann so etwas passieren.
Wenn meine Vermutung stimmt müsste so in 10min bei den ersten Google DNS Servern die TTL für die NS auslaufen und dann der neue in Kraft treten. Dann haben sie wieder einen nutzbaren NS veröffentlicht.
Bei 1.1.1.1 wird es hingegen noch fast 1h dauern ^^
Kann den Status meiner Vorredner bestätigen. Bei uns und unsren Kunden, die das nutzen, geht aktuell auch wenig. Mailverkehr scheint, wenn auch verlangsamt, zu funktionieren, es berichten aber auch Kunden, das Mails wieder zurückkommen.
Schade ist, dass hier keinerlei Kommunikation stattfindet und man eigentlich im trüben fischt. Das geht eigentlich gar nicht!
Die DNS Records für mx0[1,2,3,4].hornetsecurity.com liefern seit ca. 11:30 NXDOMAIN.
Daher werden eingehende Mails wahrscheinlich mit
[…]: Host or domain name not found. Name service error for name=mx04.hornetsecurity.com type=A: Host not found
Mailerdaemons Enden bei vielen Menschen aktuell. Das ist ungut.
Also ich habe im Moment das Gefühl, dass es derzeit generelle/allgemeinene größere DNS-Probleme gibt, nicht nur bei HORNET…
domaincontrol.com ist GoDaddy. Wenn das nicht nur den Hornet-Account dort betrifft hat das halbe Internet Probleme.
Um 10:22 habe ich vom Hornet Support folgende Mail bekommen:
Guten Tag,
wir haben aktuell einen Incident welcher unseren DNS betrifft.
Dies affektiert aktuell leider verschiedenen Services.
Wir arbeiten mit Hochdruck an der Behebung und werden Sie informieren, sobald alles wieder Ordnung gemäß funktioniert.
Wir bitten dies vielmals zu entschuldigen.
Viele Grüße
xxxx
Service Desk
Das Control Panel von hornet scheint wieder erreichbar zu sein. Anhand der Übersicht des E-Mail Live Tracking scheint deren AntiSpam Lösung auch weiterhin funktioniert zu haben.
Die Status Seite der hornet Dienste ist aber immer noch nicht erreichbar.
Hornet auch bei uns im Einsatz.
Mails über Google werden zugestellt, wenn mit zeitlicher Verzögerung. (eingehend & ausgehend)
Über GMX gibt es postwendend ein "Mail delivery failed" (eingehend & ausgehend)
– non-existent domain
Unschön das dort auf einen permanenten Fehler verwiesen wird.
Kurzfriste Lösung wäre den MX-Eintrag der Domain zu ändern und Hornet zu umgehen. Archiviert wird momentan eh unzuverlässig – was nicht durchkommt kann auch nicht archiviert werden.
>Archiviert wird momentan eh unzuverlässig
Was meinen Sie damit? Gibt es schon vor dem heutigen Ausfall, ein Problem mit der Archivierung?
Seit ca. 9:20 gab es die Probleme, hier waren zu der Zeit noch die Nameserver:
godzilla-haj2.antispameurope.de
ns2.hans.hosteurope.de
aktiv. Der ns2.hans.hosteurope.de hat hier anscheint keine Zone mehr gehabt.
Die Nameserver wurden dann geschwenkt, ich vermute (u.a. wegen der typischen TTL) das hier der schwenk noch nicht überall angekommen ist. Als Partner bekommt man hier bisher auch keine weiteren Details. Teilweise gehts wieder, teilweise nicht.
Das ist zwar nicht ressourcenschonend, aber wir arbeiten seit einiger Zeit nicht mehr mit den Standard-TTLs, damit Fehler schneller ausgebügelt werden können.
und das wirkt?
Früher wurde das nicht beachten der TTLs mit extra Wartezeiten bestraft, denn wenn das alle machen (was alle machen könnten, aber im sozialen Interesse nicht tun) wäre das System sehr schnell sehr tot.
ja Mail´s kommen wieder zurück.
Das dumme bei einem DNS Fehler ist ja das man das nicht "zack" wieder beheben kann, bzw. die Auswirkungen sich noch was länger hinziehen….
( wenn es denn so ist….)
Hornet Support hat uns das auch gegen 10 Uhr bestätigt.
Ausfall seit etwa 09:30 Uhr
Die DNS Thematik sehen wir hier ebenfalls
Der Support ist Telefonisch erreichbar.
Aktuell ist auch die status.hornetsecurity.com Seite teilweise nicht erreichbar aufgrund von DNS Schwierigkeiten.
Hat schon jemand als Workaround probiert, die alten MX-Einträge vor der Umbenennung zu nutzen? Liefern aber andere IPs als die mir letzbekannten unter *.hornetsecurity.com
dig -t A mx19a.antispameurope.com
94.100.132.100
83.246.65.85
dig -t A mx19b.antispameurope.com
83.246.65.85
dig -t A mx19c.antispameurope.com
94.100.132.100
dig -t A mx19d.antispameurope.com
83.246.65.85
Unsere Mails laufen, wir nutzen die alten antispameurope Einträge.
mx13a.antispameurope.com
mx13b.antispameurope.com
mx13c.antispameurope.com
mx13d.antispameurope.com
Nutz als Workaround einfach den NS: 83.246.65.50
Damit bekommst du die aktuellen MXer zurück.
Aber das hilft dir halt auch nur wenn du als Absender geneigt bist soetwas zu machen.
Als Hornet Kunde hilft es eben gar nicht ^^
Hi Andreas
Bin gerade dabei dies zu testen und gebe Feedback sobald ich mehr weiss.
Hi Mario,
hast du getestet und wie sieht das aus ?
Gruß aus Schwarzwald
Wir haben folgenden Workaround eingerichtet
Auf einer Domain von uns einen neuen A Eintrag erstellt, welcher auf eine «SMTP» IP von Hornetsecurity zeigt.
mxtemp.mbbservice.ch -> 94.100.132.100
Dabei haben wir einen extrem Tiefen TTL von 10 Sekunden definiert, damit wir flexibel sind.
Bei den Kundendomains haben wir einen zusätzlichen MX Eintrag (CNAME) mit der Priorität 1 erstellt
(hornet empfiehlt ja 10,20,30,40) und zeigen auf mxtemp.mbbservice.ch.
Damit ist INBOUND möglich und Antispam etc. funktioniert auch.
Für den Versand haben wir in M365 aktuell unter E-Mail-Fluss -> Regeln den «Hornetsecurity-relay-out» deaktiviert. Damit versendet M365 die Mails direkt an den Ziel SMTP Server.
Da ist zu beachten, dass der SPF der Senderdomäne die Server von M365 zulässt (include:spf.protection.outlook.com)
Der Nachteil ist, dass die Mails dann nicht mehr verschlüsselt werden, da diese nicht über die Server von Hornetsecurity gesendet werden.
Ich prüfe aktuell, ob es bessere Möglichkeiten gibt.
Es darf unser DNS Eintrag verwendet werden, ich empfehle es aber ausdrücklich NICHT.
Bitte verwendet wenn immer möglich einen eigenen Eintrag, den Ihr auch kontrollieren könnt.
Liebe Grüsse
Mario
Hallo,
wir haben IONOS Kunden, welche die alten MX Records nutzen. Da gibt es auch Probleme mit der Zustellung. Ich denke, es läuft am Ende alles auf hornetsecurity.com.
Wir sind auch betroffen…
CP-Ausfall ca. 9:50 Uhr
Mails kommen aktuell nur sehr vereinzelt rein.
Ich kann ein DNS-Leiden bestätigen, die Hornet MX-Records werden ja nicht mal sauber aufgelöst:
Siehe: https://www.whatsmydns.net/#A/mx01.hornetsecurity.com
Lustigerweise ist es genau während des Telefonats mit unserem Distributor passiert, der fragen wollte wie es uns als Neu-Hornet-User geht. :)
Jetzt bin ich so semi-zufrieden…
Hallo,
auch wir können die Störung bestätigen.
Schön wäre eine Einschätzung wie lange es wohl dauert.
Gar keine Informationen und Kommunikation von Hornet ist
nicht schön.
So wie es aussieht, ziehen Sie ihre Domain "hornetsecurity.com" vom DomainRegistrar "domaincontrol" auf eigene DNS-Server um. und die neuen haben schon die Infos aber die alten noch nicht
oder genauer. die Root-Server für ".COM" leiten die Anfragen noch an pdns01.domaincontrol.com/pdns02.domaincontrol.com weiter und nicht an "godzilla-haj2.antispameurope.de" (wobei ich denke, dass dies vielleicht auch nur ein temporäre Name ist.
Der Umzug von dem COM-Servern scheint länger zu dauern. Schade, dass Sie einen TTL von zwei Tagen haben.
Einfach mal eingeben
nslookup -q=NS hornetsecurity.com. l.gtld-servers.net
nslookup -q=NS -debug hornetsecurity.com. l.gtld-servers.net
Die Server und Dienste laufen aber wohl nur findet sie halt keiner mehr zuverlässig, denn die NS-Record gehen auf hornetsecurity.
Bei uns sind nur Domains betroffen, die als MX Eintrag "mxXX.hornetsecurity.com" haben (logisch kann nicht aufgelöst werden).
Bei anderen Domains war noch "mxXX.antispameurope.com" gesetzt (wurde nie angepasst). Als Relay Server steht auch noch "relay-cluster01.antispameurope.com" im Exchange Server. Dadurch ist das Senden weiterhin möglich.
Vielleicht hilft es dem einen oder anderem?
Gruß
Sebastian
Hallo,
wir sind ebenfalls betroffen.
Keine Information bzw. Kommunikation von Hornet zu erhalten ist einfach ein No-Go.
Auch versteh ich nicht, warum man eine Domain Freitag morgends umziehen muss.
Wieso macht man das nicht am Wochenende. Solche Umzüge dauern halt nun mal seine Zeit bis alle Server (weltweit) die neuen Einträge kennen.
Das ist keine geplante Aktion seitens Hornetsecurity.
Es liegt eine Störung beim DNS Provider vor, wodurch es zu Einschränkungen aller DNS basierten Dienste kommt.
Dadurch sind leider auch alle Kommunikationskanäle wie Homepage, Status Updates usw. unbrauchbar geworden.
Hab mir grade mal die Statusseite über die Hosts Datei zugänglich gemacht:
Der Screenshot hier im Beitrag ist immer noch aktuell – da wurde nichts weiter veröffentlicht.
Steht auf der Statusseite
Service Disruption: Ticketsystem
Partial Service Disruption: AI Recipient Validation, 365 Permission Manager, 365 Total Backup, 365 Total Backup, 365 Total Backup, 365 Total Backup, 365 Total Backup, 365 Total Protection, 365 Total Protection, Advanced Threat Protection, Advanced Threat Protection, API, API, Control Panel – General, Control Panel – General, Control Panel – Config / Deployment, Control Panel – Config / Deployment, Control Panel – Email Live Tracking, Control Panel – Email Live Tracking, Control Panel – Backup & Compliance Services, Control Panel – Backup & Compliance Services, Email Signature and Disclaimer, Email Signature and Disclaimer, Email Inbound, Email Inbound, Email Inbound, Email Inbound, Email Inbound, Email Inbound, Email Inbound, Email Inbound, Email Outbound, Email Outbound, Email Outbound, Email Outbound, Email Outbound, Email Outbound, Email Outbound, Email Outbound, Email Continuity, Email encryption: Websafe, Email encryption: Websafe, Email encryption: S/MIME, Hornet.email, IMAP/POP3 Services, Security Awareness Service, Web Filter, Website
Aktuell erhalten wir ungefiltert SPAM- & Phishingmails.
Das ist ein SuperGAU!
Dann habt Ihr aber wohl einen 2. MX (mit niedriger Priorität) der die Mails direkt an euren Mailserver zustellt..
Wie das? Habt ihre eure MX-Einträge ändern lassen, damit Hornet komplett umgangen wird?
Dies kann ich nicht besätigen.
– Ein Testmail mit EICART ist auf dem Zielsystem nicht angekommen
– ein Test Spammail wurde auch nicht zugestellt
Beide Test können einfach mit dem Tool https://www[.]skittel.de/smtpdiagpro/ durchgeführt werden, es gibt dazu jeweils eine Option.
Liebe Grüsse
Mario
Wie kommst du denn darauf?
Es ist ein DNS Problem, die Services laufen nach wie vor…
DNS Record not found
Warum werden keine eigenen DNS-Server in verteilten Rechenzentren betrieben? Da möchte man Premiumanbieter sein und mache solche Laienfehler.
https://gcore.com/de/learning/secondary-dns-explained/
Absolute Katastrophe!
wenn man keine Ahnung hat ….
Ich bin sehr erstaunt, dass der Blog hier immer noch der einzige ist der darüber berichtet o.O
Danke dafür :)
Reicht doch … ;-). Momentan ächst der HE-Server aber schon.
HE ist als Abkürzung ein wenig missverständlich, ich dachte zunächst an Hurricane Electric / he.net. Es ist wahrscheinlich HostEurope gemeint.
Ja HE steht für Hosteurope
HSE ist total down auf unbestimmte Zeit. Da fragt man sich also schon……
Trying to setup following dns entries can solve problem :
At least , status.hornetsecurity.com & hornetsecurity.com are reachable.
52.85.151.19 status.hornetsecurity.com
52.85.151.38 status.hornetsecurity.com
52.85.151.53 status.hornetsecurity.com
52.85.151.65 status.hornetsecurity.com
194.6.209.34 hornetsecurity.com
174.142.136.190 hornetsecurity.de
Wie geht ihr vor?
Was ist euer Workaround? Hornet komplett abklemmen oder wartet ihr?
Warten. Wir haben S/MIME darüber laufen und keine Zertifikate, die wir woanders einspielen könnten…
Abwarten und Tee trinken…
Ungefiltert Phishing und Spam rein lassen steht nicht zur Wahl.
Abwarten!
Lieber keine Mails erhalten, als ungefiltert alles an Phishing und Spam reinlaufen zu lassen.
Warten und zeitgleich einen Plan B ausarbeiten, wie wir einen halbwegs sicheren Notfallschwenk machen können.
Man kann jetzt nur abwarten. Klar kannst du den MX jetzt wieder direkt auf M365 etc. zurückstellen und den gegebenenfalls ausgehenden Connector über einen anderen Smarthost leiten, aber auch das sind zum Teil Nameserveränderungen, die wiederum Zeit brauchen. Wir halten aktuell die Füße still und teilen das auch den Kunden so mit, dass man hier nur Abwarten kann.
Problematisch finde ich lediglich, dass von Seiten Hornetsecurity und auch von der Distribution keinerlei Info kommt und man hier komplett in der Luft hängt. Ich hätte eigentlich heute gerne etwas anderes gemacht, als wütende Kunden zu beruhigen.
Habe vorhin mit dem Support gesprochen und lt. Hornet werden die eingehenden Mails (die angekommen) auch gefiltert. Ob man jetzt den MX umhängt ist natürlich jedem selbst überlassen, man sollte aber bedenken, dass dies auch Zeit benötigt.
Telefonischer Support ist jetzt auch erreichbar. Entsprechende Ansage wurde auch vor die Warteschlange geschaltet.
Hier ist die Statusseite für alle, die nicht die Hosts-Datei anpacken wollen/können:
https://status.io/pages/591aaa7fe69f388425000fda
Dort kam gerade folgendes Update:
Identified] Due to an unplanned change by our DNS provider, we are currently experiencing significant disruptions in the DNS resolution for Hornetsecurity.com. We are urgently working on a solution, but all DNS-based services are currently affected.
We recommend customers experiencing mail flow issues to switch to the following MX records:
Inbound:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Outbound:
hsrelay01.antispameurope.com
It is important for you to know that while our support is currently limited via email, we are fully reachable by phone.
Hallo zusammen
Hier der Workarround welcher ich bei uns und unseren Kunden eingerichtet habe, damit es wieder funktioniert.
Einen DNS A Eintrag erstellt, welcher auf eine IP von Hornetsecurity zeigt:
mxtemp.mbbservice.ch -> 94.100.132.100
Ich habe einen tiefen TTL von 10 Sekunden eingestellt, damit ich flexibel bleibe.
Dann bei allen Domains einen neuen MX Eintrag (CNAME) mit der Priorität 1, wecher auf den DNS mxtemp.mbbservice.ch zeigt.
Damit funktioniert INBOUND wieder und der Filter der SPAM und Virenfilter scheint auch zu funktionieren.
Für OUTBOUND habe ich auf M365 in Exchange Admincenter die Regel "Hornetsecurity-relay-out" deaktiviert, dann Senden M365 direkt an den Ziel SMTP.
Dabei ist zu beachten, dass der SPF Record dies zulässt (include:spf.protection.outlook.com).
Es kann auch unser DNS Eintrag verwendet werden, ich emfehle es aber nicht.
Viel Erfolg
Mario
Bei uns auch seit 10:00 kein Inbound mehr.
Was machen die eigentlich beruflich?
Huch! Wir haben hier auch Probleme :/ warum gibts eigtl. nichts bei Heise oder Golem.. Bloß gut das es diesen Blog hier gibt!
Golem habe ich gerade angetriggert – mal schauen, ob die reagieren – aber ich greife lieber das Azure-Thema auf (CVSS 3.1 10.0).
Infos von HS:
Aufgrund einer ungeplanten Änderung unseres DNS-Providers kommt es derzeit zu erheblichen Störungen bei der DNS-Auflösung für Hornetsecurity.com. Wir arbeiten mit Hochdruck an einer Lösung, aber alle DNS-basierten Dienste sind derzeit betroffen.
Wir empfehlen Kunden, die Probleme mit dem Mailverkehr haben, auf die folgenden MX-Einträge umzustellen:
Eingehend:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Ausgehend:
hsrelay01.antispameurope.com
Es ist wichtig für Sie zu wissen, dass unser Support zwar derzeit nur über E-Mail möglich ist, wir aber telefonisch voll erreichbar sind.
Status Update 13:41Uhr
[Identified] Due to an unplanned change by our DNS provider, we are currently experiencing significant disruptions in the DNS resolution for Hornetsecurity.com. We are urgently working on a solution, but all DNS-based services are currently affected.
We recommend customers experiencing mail flow issues to switch to the following MX records:
Inbound:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Outbound:
hsrelay01.antispameurope.com
It is important for you to know that while our support is currently limited via email, we are fully reachable by phone.
Wir haben jetzt hier eigene Hosts mit den Hornet MX Ips in unserer DNS und dann bei den MX EInträgen hornetsecurity.com durch unsere Domäne ersetzt
mx01 IN A 94.100.132.8
mx02 IN A 94.100.136.8
mx03 IN A 94.100.134.8
mx04 IN A 94.100.136.7
Klappt bisher
[Identified] Due to an unplanned change by our DNS provider, we are currently experiencing significant disruptions in the DNS resolution for Hornetsecurity.com. We are urgently working on a solution, but all DNS-based services are currently affected.
We recommend customers experiencing mail flow issues to switch to the following MX records:
Inbound:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Outbound:
hsrelay01.antispameurope.com
It is important for you to know that while our support is currently limited via email, we are fully reachable by phone.
https://x.com/Schorsch92/status/1799045128218398966
Due to an unplanned change by our DNS provider, we are currently experiencing significant disruptions in the DNS resolution for Hornetsecurity.com. We are urgently working on a solution, but all DNS-based services are currently affected.
We recommend customers experiencing mail flow issues to switch to the following MX records:
Inbound:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Outbound:
hsrelay01.antispameurope.com
It is important for you to know that while our support is currently limited via email, we are fully reachable by phone.
Aktuell wird wohl eine Änderung der MX Einträge empfohlen
We recommend customers experiencing mail flow issues to switch to the following MX records:
Inbound:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Outbound:
hsrelay01.antispameurope.com
Bei uns auch seit 9:50 keine Mails, nicht mal sporadisch. Aussage seitens eines Partners – Hornetsecurity fixt das schnellstmöglich. Um 11:30 haben wir dann umgestellt(MX) direkt auf ExchangeOnline (mit MDO Default Filter), damit wir nicht noch länger komplett mailtechnisch abgeschottet sind. Inbound sowie outbound nach Extern. Komplette Katastrophe seitens Hornetsecurity. Alleine die Downtime + Kommunikation (die nicht stattfindet).
Als Workaround:
We recommend customers experiencing mail flow issues to switch to the following MX records:
Inbound:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Outbound:
hsrelay01.antispameurope.com
Ich hab mir jetzt die status.hornetsecurity.com manuell auf die IP 99.86.91.107 aufgelöst, dann geht die Site.
Dort gibt es jetzt einen Workaround:
Due to an unplanned change by our DNS provider, we are currently experiencing significant disruptions in the DNS resolution for Hornetsecurity.com. We are urgently working on a solution, but all DNS-based services are currently affected.
We recommend customers experiencing mail flow issues to switch to the following MX records:
Inbound:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Outbound:
hsrelay01.antispameurope.com
Der Workaround wurde jetzt wieder von der Status-Seite entfernt.
Es bleibt spannend und wird immer dubioser…
We recommend customers experiencing mail flow issues to switch to the following MX records:
Inbound:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Outbound:
hsrelay01.antispameurope.com
UPDATE HORNET 13:41 UHR:
[Identified] Due to an unplanned change by our DNS provider, we are currently experiencing significant disruptions in the DNS resolution for Hornetsecurity.com. We are urgently working on a solution, but all DNS-based services are currently affected.
We recommend customers experiencing mail flow issues to switch to the following MX records:
Inbound:
10 mx14a.antispameurope.com
20 mx14b.antispameurope.com
30 mx14c.antispameurope.com
40 mx14d.antispameurope.com
Outbound:
hsrelay01.antispameurope.com
It is important for you to know that while our support is currently limited via email, we are fully reachable by phone.
Abwarten und Tee trinken – ist ja eh Freitag Nachmittag …. ab nachhause und am Montag läuft wieder alles …. am Montag läuft doch wieder alles??! ….. Hallo????
PS:
Der workaround (10 mx14a.antispameurope.com) wurde wieder entfernt von der Statusseite. hmmm
Obligatorisch: https://isitdns.com/
Kann jemand bestätigen, dass die geänderten MX Record funktionieren?
Wir haben Outbound testweise umgestellt, funktioniert, aber wegen SPF wieder zurückgedreht
Meine beiden Testmails von eine outlook.com Adresse kam nach der MX-Umstellung relativ flott, jeweils nach 3min an.
Immerhin… ;)
Scheint als hätte Hornet die Meldung geändert?
[Identified] Due to an unplanned change by our DNS provider, we are currently experiencing significant disruptions in the DNS resolution for Hornetsecurity.com. We are urgently working on a solution, but all DNS-based services are currently affected.
We're currently limited in support via email to support@hornetsecurity.com. You can reach us under our support@altaro.com address.
We are fully reachable by phone as well.
Danke, geben hier aktuell die Kommentare ohne viel Moderation frei – daher die vielen Doubletten mit dem "Recommendations". Sowohl Abrufe des Beitrags als auch die Zahl der Kommentare gehen gerade "steil".
Domains (https://status.hornetsecurity.com/) sind wieder erreichbar.
es kommen auch gerade Mails bei mir rein
Bestätigt. Queue baut sich ab.
Und schon ist der Workaround wieder von der Statusseite verschwunden…
[Identified] Due to an unplanned change by our DNS provider, we are currently experiencing significant disruptions in the DNS resolution for Hornetsecurity.com. We are urgently working on a solution, but all DNS-based services are currently affected.
We're currently limited in support via email to support@hornetsecurity.com. You can reach us under our support@altaro.com address.
We are fully reachable by phone as well.
Also die DNS Einträge wurden auf der Status Seite wieder rausgenommen… Stand 14:19. Dort steht jetzt nur noch die Info & eine erreichbare E-Mail.
https://i.imgur.com/KqdxWsv.png
NS Einträge wurden von hornetsecurity.com umgelegt auf:
hornetsecurity.com nameserver = ns2.hans.hosteurope.de
hornetsecurity.com nameserver = godzilla-haj2.antispameurope.de
In unserem Monitoring sind wieder alle MX mx0*.hornetsecurity.com Adressen erreichbar. Scheint als wäre wieder alles OK.
Bein uns geht es jetzt wieder.
Auch Mails von GMX
Jup, DNS stimmen langsam aber sicher wieder.
Wird wohl bald wieder OK sein.
Es geht wieder alles!!!
Status wurde geändert auf "Degraded Performance"
June 7, 2024 14:25 CEST
June 7, 2024 12:25 UTC[Monitoring] The cause of the incident has been resolved. All Services are recovering, keep in mind that it may take some time for the services to recover completely. We are monitoring the Situation.
Bei uns trudeln die Mails langsam aber sicher wieder ein
Also bei uns läuft es jetzt auch wieder.
Geht wieder
Sollte man die MX-Einträge wieder auf mx0*.hornetsecurity.com ändern, wenn man die Einträge wie zeitweise im Workaround beschrieben angepasst hatte?
Ja das ist definitiv eine gute Idee. Hier die offiziellen: https://www.hornetsecurity.com/de/onboarding-informationen/
Die als temporär als Workaround kommunizierten MX Einträge (.*antispameurope.*) sind nicht optimiert für den täglichen Gebrauch und bei einer flächendeckenden Nutzung über längeren Zeitraum könnten andere Probleme auftreten. Z.B. im Bereich von Performance oder Mail Annahme.
Zukünftige Maßnahmen Richtung Redundanz und Ausfallschutz werden vor allem die Hornetsecurity.com MX Records bevorzugen.
Ich empfehle bei technischen Fragen eine kurze Kontaktaufnahme mit dem Hornetsecurity Support.
wir warten bis Montag mit dem zurückstellen
Scheint wieder zu funktionieren.
FUN FACT am Rande: Selbst Hornet Security haben ihre MX-Records auf die antispameurope.com umgedreht! ;)
MX:hornetsecurity.com
20:hsmx03.antispameurope.com
30:hsmx01.antispameurope.com
Ich warte also noch bis ich meinen Workaround wieder zurücksetze…
Danke für den Blogpost. Die Information hat mir sehr weiter geholfen.
Account Manager hat sich um 14:16 Uhr gemeldet – Störung behoben
Ich habe mal meine technischen Analyse, mögliche Lösungsoptionen und Lernkurven auf https://www.msxfaq.de/spam/hornetsecurity_stoerung.htm beschrieben.
Hinweis. Es geht nicht darum, einen Marktbegleiter von NoSpamProxy hier schlecht dastehen zu lassen, sondern technische Zusammenhänge und Analysemöglichkeiten zu lernen und die eigene Umgebung ggfls. anzupassen. Wir ziehen da auch unsere Lehren draus und optimieren.
Danke Frank für die prima Zusammenfassung.
Sollte man das Banner-Bild nicht einmal aktualisieren? Windows 8 ist doch eine der größten Entgleisungen die sich Microsoft geleistet hat. Diese Badezimmeroptik ist nun wirklich das Allerschlimmste.
mein Blog, meine Entscheidung!
Danke für den Post. Hat (wie so oft) einiges an Arbeit erspart.
Hallo
Wir hatten schon vorher Performanceprobleme mit dem Relaycluster.
Wir nutzen relay-cluster01.antispameurope.com, in der Guide Sollte man aber neu relay-cluster-eu01.hornetsecurity.com nutzen.
Das sind auch ganz andere IPs.
Hat das mal geändert, weiss da jemand etwas?
Danke
Hallo,
gibt es aktuell jemand bei dem die ausgehenden Mails bei Hornet nur langsam angenommen werden?
THX
Hallo Zusammen,
Hornet hat als Konsequenz einen Wechsel des DNS Providers für Freitag angekündigt.
Hoffen das alles klappt. Finde ich erst mal gut das gehandelt wird, Spekulation: Hosteurope hat wohl keine zufriedenstellende Kommunikation geschaffen.
VG micha
Kann ich irgendwie nachvollziehen.
Hosteurope bzw. deren Support ist ein einziges Desaster wenn es um tiefergehende technische Fragen geht. Quelle: Eigene Erfahrung.