{"id":254582,"date":"2021-06-09T19:32:00","date_gmt":"2021-06-09T17:32:00","guid":{"rendered":"https:\/\/www.borncity.com\/blog\/?p=254582"},"modified":"2021-06-09T19:34:55","modified_gmt":"2021-06-09T17:34:55","slug":"software-bug-grund-fr-fastly-ausfall","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2021\/06\/09\/software-bug-grund-fr-fastly-ausfall\/","title":{"rendered":"Software-Bug Grund f&uuml;r Fastly-Ausfall"},"content":{"rendered":"<p><img decoding=\"async\" title=\"Cloud\" style=\"margin: 0px 10px 0px 0px\" src=\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2021\/05\/Cloud-Symbol.jpg\" width=\"200\" align=\"left\"\/>Am 8. Juni 2021 gab es eine St\u00f6rung im Content Delivery Network (CDN) des US-Anbieters Fastly. Damit waren sehr viele Webseiten pl\u00f6tzlich nicht mehr erreichbar. Die St\u00f6rung war zwar nach einer Stunde wohl wieder behoben. Aber der Grund f\u00fcr den Ausfall war unklar: Hardware kaputt, DDoS-Angriff, Software-Fehler, alles war m\u00f6glich. <\/p>\n<p><!--more-->Nun hat Fastly in einem Blog-Beitrag die Ursache f\u00fcr den gravierenden Ausfall mitgeteilt &#8211; es war ein Software-Bug und eine Verkettung ungl\u00fccklicher Umst\u00e4nde.  <\/p>\n<h2>Der Ausfall: Internet kaputt<\/h2>\n<p><img loading=\"lazy\" decoding=\"async\" alt=\"\" src=\"https:\/\/vg09.met.vgwort.de\/na\/c37e749244c548afa71c33b61d844329\" width=\"1\" height=\"1\"\/>Es war eine heftige St\u00f6rung, die am 8. Juni 2021 so gegen 12:00 Uhr deutscher Zeit das Internet traf. Alle Webseiten, die das Content Delivery Networks (CDN) des US-Anbieters Fastly verwendeten, waren pl\u00f6tzlich nicht mehr erreichbar. Ich hatte versucht, die Seite von reddit.com im Browser abzurufen und habe die nachfolgende Fehlerseite angezeigt bekommen.<\/p>\n<p><img decoding=\"async\" title=\"Error 503\" alt=\"Error 503\" src=\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2021\/06\/Err503.jpg\"\/>  <\/p>\n<p>Der ca. 80 Minuten dauernde Ausfall betraf von Amazon \u00fcber Reddit bis zu Twitch eine Reihe prominenter Namen. Ich hatte im Blog-Beitrag <a href=\"https:\/\/borncity.com\/blog\/2021\/06\/08\/stackoverflow-twitch-reddit-etc-down-fastly-cdn-ausfall\/\">StackOverflow, Twitch, Reddit, etc. down \u2013 Fastly CDN-Ausfall (8.6.2021, 12:00 Uhr)<\/a> berichtet. Die Hintergr\u00fcnde, warum der Ausfall so gravierende Folgen hatte, habe ich im Blog-Beitrag <a href=\"https:\/\/borncity.com\/blog\/2021\/06\/09\/der-ausfall-der-fastly-cloud-server-und-die-folgen\/\">Der Ausfall der Fastly-Cloud-Server und die Folgen<\/a> angesprochen. Beim Amazon geht man davon aus, dass der Ausfall um die 32 Millionen US-Dollar an Umsatzverlusten verursacht hat. <\/p>\n<h2>Softwarefehler f\u00fchrt zum Ausfall<\/h2>\n<p>Im Blog-Beitrag <a href=\"https:\/\/www.fastly.com\/blog\/summary-of-june-8-outage\" target=\"_blank\" rel=\"noopener\">Summary of June 8 outage<\/a> gibt Nick Rockwell, Senior Vice President of Engineering and Infrastructure bei Fastly einen Abriss, was passiert ist. Am 12. Mai begannen die Techniker von Fastly mit einer Softwareimplementierung f\u00fcr das CDN. Dieses Software-Update enthielt aber einen Fehler, der durch eine bestimmte Kundenkonfiguration unter bestimmten Umst\u00e4nden ausgel\u00f6st werden konnte.<\/p>\n<p>Am 8. Juni 2021 f\u00fchrte ein Kunde recht fr\u00fch am Tag eine g\u00fcltige Konfigurations\u00e4nderung durch, die die spezifischen Umst\u00e4nde beinhaltete, die den Fehler in der CDN-Software ausl\u00f6sten. Dieser Bug f\u00fchrte dazu, dass 85 % des Fastly-Netzwerks Fehler zur\u00fcckgaben. Die Techniker bemerkten die St\u00f6rung innerhalb einer Minute, identifizierten und isolierten dann die Ursache. Im Anschluss deaktivierten sie die betreffende Konfiguration. Innerhalb von 49 Minuten funktionierten 95 % unseres Netzwerks wieder wie gewohnt. Hier nach der zeitliche Ablauf der St\u00f6rung (alle Zeiten sind UTC):<\/p>\n<p><b>09:47 <\/b>Initial onset of global disruption<br \/><b>09:48<\/b> Global disruption identified by Fastly monitoring<br \/><b>09:58 <\/b><a href=\"https:\/\/status.fastly.com\/incidents\/vpk0ssybt3bj\" target=\"_blank\" rel=\"noopener\">Status post<\/a><u><\/u> is published<br \/><b>10:27 <\/b>Fastly Engineering identified the customer configuration<br \/><b>10:36<\/b> Impacted services began to recover<br \/><b>11:00<\/b> Majority of services recovered<br \/><b>12:35<\/b> Incident mitigated<br \/><b>12:44<\/b> Status post resolved<br \/><b>17:25<\/b> Bug fix deployment began  <\/p>\n<p>Nach diesem Fix wurde eine dauerhafte L\u00f6sung f\u00fcr den Fehler erstellt und um 17:25 Uhr (UTC) mit der Bereitstellung begonnen. Der Fall zeigt, wie fragil das Ganze doch geworden ist.  <\/p>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n<p><a href=\"https:\/\/borncity.com\/blog\/2021\/06\/09\/der-ausfall-der-fastly-cloud-server-und-die-folgen\/\">Der Ausfall der Fastly-Cloud-Server und die Folgen<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Am 8. Juni 2021 gab es eine St\u00f6rung im Content Delivery Network (CDN) des US-Anbieters Fastly. Damit waren sehr viele Webseiten pl\u00f6tzlich nicht mehr erreichbar. Die St\u00f6rung war zwar nach einer Stunde wohl wieder behoben. Aber der Grund f\u00fcr den &hellip; <a href=\"https:\/\/borncity.com\/blog\/2021\/06\/09\/software-bug-grund-fr-fastly-ausfall\/\">Weiterlesen <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7862],"tags":[987],"class_list":["post-254582","post","type-post","status-publish","format-standard","hentry","category-stoerung","tag-storung"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/254582","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=254582"}],"version-history":[{"count":0,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/254582\/revisions"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=254582"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=254582"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=254582"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}