{"id":295927,"date":"2024-06-07T10:57:04","date_gmt":"2024-06-07T08:57:04","guid":{"rendered":"https:\/\/www.borncity.com\/blog\/?p=295927"},"modified":"2024-06-10T10:00:38","modified_gmt":"2024-06-10T08:00:38","slug":"hornetsecurity-ist-down-7-juni-2024","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2024\/06\/07\/hornetsecurity-ist-down-7-juni-2024\/","title":{"rendered":"Hornetsecurity ist "down" (7. Juni 2024)"},"content":{"rendered":"

\"Stop[English<\/a>]Blog-Leser Jona fragte gerade, ob mir etwas \u00fcber eine St\u00f6rung bei \"Hornet-Security\" bekannt sei. Bisher hatte noch niemand aus der Leserschaft diesbez\u00fcglich nachgefragt. Inzwischen gibt es eine zweite Meldung von Matthias. Aber es sieht so aus, als ob die Dienste dieses Anbieters f\u00fcr Managed Security Services aktuell nicht verf\u00fcgbar sind. Selbst das Support-Forum ist im Web nicht mehr erreichbar. Erg\u00e4nzung:<\/strong> Es gibt einen partiellen Workaround. Erg\u00e4nzung 2:<\/strong> Die Funktionalit\u00e4t scheint zur\u00fcckzukehren. Erg\u00e4nzung 3:<\/strong> Hornetsecurity hat einen Incidenz-Report ver\u00f6ffentlicht.<\/p>\n

<\/p>\n

\"\"Hornetsecurity<\/a> ist laut eigener Aussage Premium-Anbieter f\u00fcr Managed Security Services. Die Produkte des Anbieters sollen f\u00fcr perfekte und sichere Kommunikation via E-Mail und Internet sorgen, so das Versprechen. Die Managed Security Services sind sofort aktiv und erfordern keine zus\u00e4tzliche Software, keine Hardware und keinen Wartungsaufwand durch Ihre IT-Experten, hei\u00dft es auf deren Webseite.<\/p>\n

Webdienste und Support-Seite nicht erreichbar<\/h2>\n

Aktuell m\u00fcssen Kunden sich aber arg gedulden, denn es gibt eine massive St\u00f6rung bei diesem Anbieter f\u00fcr Managed Security Services, da geht momentan (7. Juni 202, 10:40 Uhr) nichts mehr.<\/p>\n

Neben Jonas, der fragte, ob \u00fcber die St\u00f6rung etwas bekannt sei, meldete sich Matthias einige Minuten sp\u00e4ter. Bei Matthias im Unternehmen\u00a0wird der Dienst von Hornetsecurity als Sicherheitsl\u00f6sung f\u00fcr deren Exchange Online verwendet. Er schrieb: \"Derzeit scheinen global alle Dienste gest\u00f6rt zu sein.\u00a0Unser Mailversand und -empfang mit externen Domains ist ebenfalls davon betroffen, nichts geht mehr.\". Sieht nach Stress f\u00fcr die IT-Abteilungen aus, die diesen Anbieter nutzen.<\/p>\n

Es gibt DNS-Probleme<\/h2>\n

Die Statusseite<\/a> liefert mir derzeit einem Fehler \"Die Website ist nicht erreichbar\", weil die komplette Webseite nicht erreichbar ist bzw. nicht gefunden wird.<\/p>\n

\"Hornetsecurity<\/a><\/p>\n

Auf statusgator<\/a> findet sich die obige Darstellung, dass diverse Dienste heute seit ca. 10:14 Uhr gest\u00f6rt waren oder noch sind. Zur St\u00f6rung von 10:14 Uhr hei\u00dft es:<\/p>\n

Message: [HSE20240607-01-I] Incident: Partial Service Disruption: Service Control Panel<\/p>\n

Details: Currently we are investigating DNS issues which affects the Control Panel. This also affects the email delivery. We are working with maximum priority to resolve it.<\/p><\/blockquote>\n

Der Anbieter untersucht DNS-Probleme, die das Control Panel betreffen und sich auch auf die E-Mail-Zustellung auswirken. Die Techniker arbeiten mit h\u00f6chster Priorit\u00e4t an der Behebung des Problems. Laut statusgator<\/em> sollte dieses Problem binnen 10 Minuten behoben worden sein. Aber es schlie\u00dft sich nahtlos ein zweiter Eintrag an, der besagt, dass diese St\u00f6rung andauert. Irgend etwas ist bei deren DNS-Eintr\u00e4gen kaputt gegangen. Jemand aus der Leserschaft betroffen?<\/p>\n

\"Hornetsecurity<\/a><\/p>\n

Erg\u00e4nzung: Um 11:28 Uhr ist es mir gelungen, die Statusseite abzurufen (siehe obiger Screenshot), der noch einige Informationen enth\u00e4lt.<\/p>\n

Incident Status: Partial Service Disruption<\/p>\n

Components: AI Recipient Validation, 365 Permission Manager, 365 Total Backup, 365 Total Protection, Advanced Threat Protection, API, Control Panel – General, Control Panel – Config \/ Deployment, Control Panel – Email Live Tracking, Control Panel – Backup & Compliance Services, Email Signature and Disclaimer, Email Inbound, Email Outbound, Email Continuity, Email encryption: Websafe, Email encryption: S\/MIME, Hornet.email, IMAP\/POP3 Services, Security Awareness Service, Ticketsystem, Web Filter, Website<\/p>\n

Locations: Canada, D\u00fcsseldorf, Frankfurt, Germany, Hannover, North Virginia, USA, Switzerland, Sydney 1, Sydney 2, United Kingdom, USA, West Europe, Global<\/p><\/blockquote>\n

Auf X gibt es zudem diesen Tweet<\/a>, wo jemand einen Screenshot der Statusseite gepostet hat.<\/p>\n

Name-Server-Umzug als Ursache<\/h2>\n

Erg\u00e4nzung: Jan hat mir die Vermutung best\u00e4tigt, dass das Ganze mit einem Umzug des Name-Servers zu Hosteurope zu tun habe. Ich poste mal das, was er per E-Mail geschickt habe.<\/p>\n

Hallo G\u00fcnter,<\/p>\n

ich habe mir das mal genauer angeschaut.<\/p>\n

F\u00fcr hornetsecurity.com sind folgende Nameserver zust\u00e4ndig:<\/p>\n

hornetsecurity.com\u00a0 nameserver = pdns01.domaincontrol.com
\nhornetsecurity.com\u00a0 nameserver = pdns02.domaincontrol.com<\/p>\n

Die Abfrage www.hornetsecurity.com<\/a> liefert folgende Ergebnisse:<\/p>\n

*** www.hornetsecurity.com<\/a> wurde von pdns01.domaincontrol.com nicht gefunden: No response from server.<\/p>\n

*** www.hornetsecurity.com<\/a> wurde von pdns02.domaincontrol.com nicht gefunden: No response from server.<\/p>\n

Hornetsecurity verwendete fr\u00fcher den Namen\u00a0 \"Antispameurope\" und unterh\u00e4lt daf\u00fcr noch eine alte Domain:<\/p>\n

antispameurope.com\u00a0 nameserver = ns2.hans.hosteurope.de
\nantispameurope.com\u00a0 nameserver = godzilla-haj2.antispameurope.de<\/p>\n

Fragen wir nun bei \"Godzilla\" nach den Hostnamen der Mailserver, bekommt man die korrekten Antworten:<\/p>\n

>mx01.hornetsecurity.com
\nServer:\u00a0 godzilla-haj2.antispameurope.de
\nAddress:\u00a0 83.246.65.50
\nName:\u00a0\u00a0\u00a0 mx01.hornetsecurity.com
\nAddress:\u00a0 94.100.132.8<\/p>\n

mx02.hornetsecurity.com
\nServer:\u00a0 godzilla-haj2.antispameurope.de
\nAddress:\u00a0 83.246.65.50
\nName:\u00a0\u00a0\u00a0 mx02.hornetsecurity.com
\nAddress:\u00a0 94.100.136.8<\/p>\n

mx03.hornetsecurity.com
\nServer:\u00a0 godzilla-haj2.antispameurope.de
\nAddress:\u00a0 83.246.65.50
\nName:\u00a0\u00a0\u00a0 mx03.hornetsecurity.com
\nAddress:\u00a0 94.100.134.8<\/p>\n

mx04.hornetsecurity.com
\nServer:\u00a0 godzilla-haj2.antispameurope.de
\nAddress:\u00a0 83.246.65.50
\nName:\u00a0\u00a0\u00a0 mx04.hornetsecurity.com
\nAddress:\u00a0 94.100.136.7<\/p>\n

Ich vermute, dass Hornetsecurity den DNS-Server gewechselt hat und es dadurch zu dem Problem kommt. Die Antispameurope.com liegt bei HostEurope, die auch den prim\u00e4ren DNS ns2.hans.hosteurope.de betreiben. HostEurope ist wiederum eine Tochter von GoDaddy, die den pdns0x.domaincontrol.com verwalten.<\/p>\n

Ich glaube daher nicht, dass jemand die Domain gekapert hat. Es handelt sich wohl um einen Konfigurationsfehler.<\/p><\/blockquote>\n

Das best\u00e4tigt das, was bereits aus der Kommentarlage hier im Blog erkennbar ist.<\/p>\n

Partieller Workaround des Anbieters<\/h2>\n

Erg\u00e4nzung:<\/strong> Es gibt einen partiellen Workaround, den Hornetsecurity im Service Control Panel vorgibt. Ein Leser hat mir auf X folgenden Screenshot der betreffenden Seite mit den Hinweisen gepostet (danke daf\u00fcr).<\/p>\n

\"Hornetsecurity<\/a><\/p>\n

Vielleicht helfen die obigen Informationen ja weiter.<\/p>\n

Problem behoben?<\/h2>\n

Erg\u00e4nzung 2:<\/strong> Die Empfehlung f\u00fcr den partiellen Workaround wurde zur\u00fcckgezogen – mutma\u00dflich sind die DNS-Probleme behoben. Die nachfolgenden Kommentare zeigen, dass das Problem wohl beseitigt ist.<\/p>\n

Incidenz-Report ver\u00f6ffentlicht<\/h2>\n

Erg\u00e4nzung 3:<\/strong> Mehrere Blog-Leser haben darauf hingewiesen, dass Hornetsecurity einen Incidenz-Report ver\u00f6ffentlicht habe. Hier dessen Inhalt (Stand 8.6.2024) – der von Nutzern in Kommentaren gepostet Link zum PDF-Dokument l\u00e4sst sich von mir sporadisch nicht abrufen, weshalb ich den Link gel\u00f6scht und die Inhalt nachfolgend herausgezogen habe.<\/p>\n

Current Status:<\/strong> Operational<\/p>\n

Started: <\/strong>June 7, 2024 09:55 CEST<\/p>\n

Resolved:<\/strong><\/p>\n

Affected Infrastructure <\/strong><\/p>\n

Components:<\/strong> AI Recipient Validation, 365 Permission Manager, 365 Total Backup, 365 Total Protection, Advanced Threat Protection, API, Control Panel – General, Control Panel – Config \/ Deployment, Control Panel – Email Live Tracking, Control Panel – Backup & Compliance Services, Email Signature and Disclaimer, Email Inbound, Email Outbound, Email Continuity, Email encryption: Websafe, Email encryption: S\/MIME, Hornet.email, IMAP\/POP3 Services, Security Awareness Service, Ticketsystem, Web Filter, Website<\/p>\n

Locations:<\/strong> Canada, D\u00fcsseldorf, Frankfurt, Germany, Hannover, North Virginia, USA, Switzerland, Sydney 1, Sydney 2, United Kingdom, USA, West Europe, Global<\/p>\n

Incident overview
\nIssue: Global DNS Issues<\/p>\n

Incident Description: At 09:27 CET out Monitoring alarmed us about Issues with resolving Hornetsecurity.com DNS<\/p>\n

Impact Customer: During the time in which the DNS Records could not be resolved customer were facing issues with In
\nand Outbound Mail delivery due to our MX Records not being resolvable anymore, additionally all Web Interfaces utilizing the Hornetsecurity.com Domain were not accessible anymore. This includes all our websites, the control Panel and multiple other Products which made use of these domains.<\/p>\n

Service Impact:\u00a0The DNS outages also had a strong impact on our external communication capabilities of our support team as they could not be reached by email or via our chat. Our<\/p>\n

status.hornetsecurity.com<\/p>\n

page was also not reachable externally and could not send any updates to Hornetsecurity customer addresses despite a separate mail infrastructure. While waiting times might have been longer than usual our support team managed to serve 92% of incoming calls.<\/p>\n

Root Cause Analysis: We found out that the SOA and NS records were unauthorized and unannounced changed by our
\nDomain Registrar Hosteurope which belongs to the GoDaddy Group to DNS-Servers we did not configure.<\/p>\n

To make things even worse the NS Servers did not have the Zone-Configuration replicated which led to a massive Global outage which got increasingly worse as the worldwide DNS propagation took place.<\/p>\n

We first established contact with Hosteurope\/Godaddy at 09:40h CET with the response that they were already investigating what went wrong during the unannounced migration. From there on we contacted Hosteurope\/Godaddy every 20 Minutes to increase priority on the solution.<\/p>\n

Unfortunately, it took Hosteurope\/Godaddy until 14:00 CET to finally agree on a rollback of their change and revert the SOA\/NS records to their original values. We could verify that the rollback was deployed 14:10 CET and the DNS propagation started to happen instantly.<\/p>\n

At 14:15 CET we observed a huge number of delayed emails reaching our Servers again and our Infrastructure was able to filter everything without any issues in 30 Minutes which lead to fully operational services at 14:35 CET.<\/p>\n

Conclusions and Preventive Measures<\/p>\n

To avoid Incidents of this nature in the future we will immediately start to evaluate a Domain registrar with faster responses and solution times. Unfortunately, we could do nothing more than repeatedly escalating this Issue with the Registrar.<\/p>\n

We understand the communication is key in such situations. Therefore we will implement redundancy for our status page in order to ensure external Communication even in scenarios like
\nthis.<\/p>\n

We sincerely regret the incident and<\/p><\/blockquote>\n

F\u00e4llt ein wenig in das Raster, was ich mit HostEurope beobachtet habe, wenn es beim Paketwechsel Probleme gab.<\/p>\n","protected":false},"excerpt":{"rendered":"

[English]Blog-Leser Jona fragte gerade, ob mir etwas \u00fcber eine St\u00f6rung bei \"Hornet-Security\" bekannt sei. Bisher hatte noch niemand aus der Leserschaft diesbez\u00fcglich nachgefragt. Inzwischen gibt es eine zweite Meldung von Matthias. Aber es sieht so aus, als ob die Dienste … Weiterlesen →<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7263,2039,7862],"tags":[1171,4353,987],"class_list":["post-295927","post","type-post","status-publish","format-standard","hentry","category-cloud","category-mail","category-stoerung","tag-cloud","tag-mail","tag-storung"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/295927","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=295927"}],"version-history":[{"count":0,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/295927\/revisions"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=295927"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=295927"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=295927"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}