{"id":279316,"date":"2023-04-04T00:11:00","date_gmt":"2023-04-03T22:11:00","guid":{"rendered":"https:\/\/www.borncity.com\/blog\/?p=279316"},"modified":"2023-04-03T22:02:16","modified_gmt":"2023-04-03T20:02:16","slug":"kvm-bug-windows-vms-knnen-nach-11-tagen-beim-booten-hngen","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2023\/04\/04\/kvm-bug-windows-vms-knnen-nach-11-tagen-beim-booten-hngen\/","title":{"rendered":"KVM-Bug: Windows VMs können nach 11 Tagen beim Booten hängen"},"content":{"rendered":"

\"Stop[English<\/a>]In den letzten Monaten klagten einige Administratoren \u00fcber Boot-Probleme von virtuellen Maschinen mit Windows in Verbindung mit den monatlichen Sicherheits-Updates. In vielen F\u00e4llen lie\u00df sich dies auf VMware-Produkte wie ESXi zur\u00fcckf\u00fchren – oder das Ausschalten des Secure Boote half dabei, dass die VMs wieder starteten. Es gibt aber einen Bug in bestimmten Versionen des Virtualisierers KVM, der z.B. QUEMU- oder Proxmox-Nutzer ab Version 7.x betrifft. Dann booten virtuelle Windows-Maschinen nicht mehr, wenn sie l\u00e4nger als 11 Tage gelaufen sind. Ich ziehe das Thema mal separat heraus.<\/p>\n

<\/p>\n

Zittern bei Windows-Boots<\/h2>\n

\"\"Seit Februar zittern Administratoren virtualisierter Windows Server-Systeme vor jedem Patchday. Der Hintergrund: Das zum 14. Februar 2023 f\u00fcr Windows Server 2022 ver\u00f6ffentlichte Sicherheitsupdate KB5022842<\/a> hatte zur Folge, dass virtuelle Maschinen unter diversen ESXi-Versionen anschlie\u00dfend nach einem Reboot nicht mehr starten konnten. Es wurden entweder die Systemlaufwerke nicht mehr gefunden, oder die VMs l\u00f6sten beim Booten einen Secure Boot-Fehler aus. Dieser Fehler ist durch ein ESXi-Update behoben (siehe Windows Server 2022: VMware ESXi 7.0 U3k-Patch f\u00fcr Secure Boot-Problem (Update KB5022842, Feb. 2023)<\/a>).<\/p>\n

Zudem habe ich im Blog-Beitrag Windows Server 2022 Feb. 2023 Patchday: Secure Boot-Problem auch auf Bare-Metal-Systemen!<\/a> auf F\u00e4lle hingewiesen, wo der durch das Sicherheitsupdate KB5022842<\/a> verursacht Secure Boot-Fehler auch auftritt. Hier muss Secure Boot weiterhin ausgeschaltet bleiben. Treten Boot-Probleme mit virtualisierten) Windows auf, werden seit dieser Erfahrung gerne Windows-Updates als Ursache vermutet. Aber die Ursache k\u00f6nnte auch an anderer Stelle liegen.<\/p>\n

KVM-Bug verhindert Boot<\/h2>\n

Im M\u00e4rz 2023 ist mir dann im Blog ein ganz interessanter Kommentar von Joachim zugegangen, und er hatte mich auch nochmals per E-Mail darauf hingewiesen. Ausgangspunkt war, dass Blog-Leser Markus S. in diesem Kommentar<\/a> Probleme mit Windows Server 2019 in Verbindung mit dem Patchday und der Update-Installation erw\u00e4hnte. Der Server fror bei der Update-Installation ein. Joachim fragte in diesem Kommentar<\/a> nach dem Virtualisierer, der verwendet wird.<\/p>\n

Welchen Hypervisor hast Du? Das ist zb ein bekanntes Problem bei KVM und hat nichts mit Windows Updates zu tun. Der Fehler war recht schwer zu finden, weil es nur VMs betrifft, die 11 Tage oder l\u00e4nger gelaufen sind.<\/p><\/blockquote>\n

In seiner Erg\u00e4nzungsmail an mich schrieb mir Joachim (danke daf\u00fcr, hatte das Thema eh auf dem Radar f\u00fcr einen Blog-Beitrag):<\/p>\n

Windows VMs, die auf einem Hypervisor mit einer bestimmten Version von KVM l\u00e4nger als 11 Tage laufen, k\u00f6nnen beim Booten h\u00e4ngen bleiben. F\u00fcr Admins sieht es in fast allen F\u00e4llen dabei so aus, als ob ein Windows Update daran schuld w\u00e4re.<\/p>\n

Details: Wir haben einen Hyper-Converged Hypervisor, der auf KVM aufsetzt. Vor ca. 2 Monaten gab es ein Upgrade, w\u00e4hrenddessen einige VMs neu gestartet wurden und drei VMs nicht mehr erreichbar waren.<\/p>\n

Die VMs zeigten einen schwarzen Schirm mit der Windows Bootanimation (Kreis), aber noch ohne Windows Logo.<\/p>\n

Zuerst haben wir das als Anomalie abgetan, aber dann hat sich das in den Wochen danach geh\u00e4uft. Wir hatten alles in Verdacht (Windows Updates, Antivirus usw.) aber nat\u00fcrlich war der Zusammenhang mit dem Upgrade des Hypervisors auch im Blickfeld, auch wenn der Support meinte, das w\u00e4re sicher nicht das Upgrade, denn kein anderer Kunde hatte das Problem.<\/p><\/blockquote>\n

Das sind dann die Situationen, die kein Administrator ersehnt, denn die Ursachen sind nur mit Aufwand, viel testen und Recherche zu finden. Mir f\u00e4llt der Blog-Beitrag Hyper-V: VMs und Host h\u00e4ngen sich auf; kein Netzwerkping au\u00dferhalb der eigenen VM<\/a> ein, der wohl mit Tausch des Main-Boards behoben zu sein scheint. Joachim ist bei Recherchen auf einen exotischen Bug in KVM gesto\u00dfen, den er folgenderma\u00dfen beschreibt:<\/p>\n

Einen Monat sp\u00e4ter habe ich selber durch Recherche das Problem per Zufall im Proxmox Forum gefunden: KVM hatte ab einer gewissen Version ein Problem mit VMs, die l\u00e4nger als 11 Tage gelaufen sind und dann neu gestartet wurden: Windows VMs stuck on boot after Proxmox Upgrade to 7.0 | Page 3 | Proxmox Support Forum<\/a> (wir verwenden nicht Proxmox!)<\/p><\/blockquote>\n

Im Proxmox-Forum wird das Problem von einer Reihe Administratoren best\u00e4tigt. Es gibt zudem einen GitLab-Bug-Eintrag f\u00fcr Quemu (qemu 7.0.0 stuck at Windows boot logo with SeaBios and MBR disk<\/a>), der folgendes Fehlerbild beschreibt:<\/p>\n

When trying to boot an MBR Windows guest with SeaBios, it is stuck at the blue Windows boot logo, before the loading circle. Changing the vGPU doesn't help, 0% cpu load just frozen. Even if I boot a WinPE iso, the same happens. Even after 30 minutes, the same. Rebooted host multiple times. Since SeaBios is the default in qemu and virt-manager I imagine many VMs are installed as MBR and thus will be stuck.<\/p><\/blockquote>\n

Also auch ein Effekt, der vielen Administratoren bei der Update-Installation unter Windows bekannt vorkommen k\u00f6nnte. Joachim schrieb mir dazu:<\/p>\n

Warum ist das interessant f\u00fcr Ihre Leser? Weil fast jeder das Problem auf Windows-Updates geschoben hat und ich das Problem bisher in keinem Blog gesehen habe! Siehe z.B. Kommentar von Peter S. hier Patchday: Windows 10-Updates (14. M\u00e4rz 2023)<\/a> Denn in 99% der F\u00e4lle wird das Problem ja erst beim ersten Neustart einer VM bemerkt \u2013 und Neustarts gibt es meist nach Windows Updates.<\/p>\n

Auch hat der Hersteller unseres Hypervisors das Problem nicht in den aktuellen Release Notes vermerkt, obwohl das Problem durch die neue Version gel\u00f6st wurde. Auf Nachfrage wurde mir gesagt, dass das Problem zwar tats\u00e4chlich vorhanden war, aber au\u00dfer uns kein Kunde ein Ticket er\u00f6ffnet hat. Ich habe versucht klarzumachen, dass kaum ein Admin auf die Idee kommt, dass der Hypervisor das Problem ist, wenn eine Windows VM nach Windows Updates beim Start h\u00e4ngen bleibt. Das stie\u00df aber auf taube Ohren. Damit bleibt den wenigen Admins, die Release Notes lesen, leider verborgen, dass eben nicht \u201ewieder mal Windows Updates\" daran schuld waren. Daher w\u00e4re sch\u00f6n, wenn Sie das ver\u00f6ffentlichen w\u00fcrden.<\/p><\/blockquote>\n

An dieser Stelle mein Dank an Joachim f\u00fcr die Hinweise und den Kommentar im Blog. Und ich habe nun das Vorhaben umgesetzt und das Thema mal hier im Blog erw\u00e4hnt. Vielleicht liest es ein Administrator, der vielleicht betroffen ist, aber die Ursache noch nicht herausgefunden hat.<\/p>\n

\u00c4hnliche Artikel:
\n<\/strong>Windows Server 2022: Februar 2023-Patchday und das ESXi VM-Secure Boot-Problem<\/a>
\nWindows Server 2022 Feb. 2023 Patchday: Secure Boot-Problem auch auf Bare-Metal-Systemen!<\/a>
\nWindows Server 2022: VMware ESXi 7.0 U3k-Patch f\u00fcr Secure Boot-Problem (Update KB5022842, Feb. 2023)<\/a>
\nHyper-V: VMs und Host h\u00e4ngen sich auf; kein Netzwerkping au\u00dferhalb der eigenen VM<\/a>
\nWindows Server 2019\/2022: Dezember 2022-Sicherheitsupdates verursachen Hyper-V-Probleme<\/a>
\nWindows Server 2019\/2022: Out-of-Band Updates fixen Hyper-V-Probleme (20. Dez. 2022)<\/a>
\nNachlese: Fix f\u00fcr Hyper-V-Host Start-Problem in Windows (Januar 2022)<\/a>
\nWindows 10: Outlook 2013 streikt bei Virtualisierungssoftware<\/a>
\nVirtualisierung: Neue Office-Versionen als Performance-Killer<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

[English]In den letzten Monaten klagten einige Administratoren \u00fcber Boot-Probleme von virtuellen Maschinen mit Windows in Verbindung mit den monatlichen Sicherheits-Updates. In vielen F\u00e4llen lie\u00df sich dies auf VMware-Produkte wie ESXi zur\u00fcckf\u00fchren – oder das Ausschalten des Secure Boote half dabei, … Weiterlesen →<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[14,301],"tags":[24,4299,3288],"class_list":["post-279316","post","type-post","status-publish","format-standard","hentry","category-virtualisierung","category-windows","tag-problem","tag-virtualisierung","tag-windows-en"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/279316","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=279316"}],"version-history":[{"count":0,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/279316\/revisions"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=279316"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=279316"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=279316"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}