Kurze Information für Nutzer und Administratoren, die auf Veeam Backup (Veeam Data Cloud für Microsoft 365 und Veeam Backup für Microsoft 365) setzen. Ein Leser hat mich darüber informiert, das es ein Problem in der betreffenden Software gebe, wodurch in seinem Umfeld ein SharePoint-Nutzer Dokumente verloren hat, obwohl es ein Veeam-Backup gab. Das Ganze ist Veeam sogar bekannt und es gibt einen Supportbeitrag dazu. Ich stelle es mal als Warnung hier im Blog ein – aber vielleicht ist das alles ja bekannt.
Ein Leserhinweis auf Backup-Probleme
Blog-Leser Gabriel M. hat sich heute per E-Mail mit "Wir haben jetzt ein 'when the shit hit the fan' Moment" gemeldet und den Fall auf den Tisch gebracht (danke dafür). Was ist passiert? Der unschöne Sachverhalt ist schnell erzählt: In der IT-Umgebung des Blog-Lesers sichert man mittels Veeam Backup u.a. auch SharePoint-Inhalte. Wie befürchtet hat ein Benutzer in der "Geschichte" versehentlich über 30.ooo Objekte aus einer SharePoint Library gelöscht. Kann schon mal passieren, aber man hat ja Backup.
Anstatt die gelöschten Objekte aus dem Papierkorb zurück zu holen, hat die IT einen Restore über Veeam gestartet. Dieser Restore lief auch einwandfrei durch. Fall erledigt … hat die IT gedacht, da Veeam Backup & Replication nichts bemängelt hatte.
Fast zwei Wochen später kamen die Meldungen der Benutzer, dass einige Dokumente im SharePoint-Verzeichnis sich nicht öffnen lassen. Also wurde ein Support-Ticket bei Veeam eröffnet.
Veeam-Supportbeitrag kb4835 über "potential Issues"
Auf das Support-Ticket kam vom Veeam-Support der Hinweis auf den KB-Artikel Potential Issue With Backing up Sharepoint, Onedrive, Teams Files, and List Attachments, wo der staunende Kunde informiert wird, dass es potentiell Probleme gebe.
Die Sicherung von SharePoint-, OneDrive- und Teams-Daten wird zwar erfolgreich mit Veeam Backup & Replication abgeschlossen, meldet das Programm. Und auch die anschließende Wiederherstellung dieser gesicherten Daten verläuft angeblich erfolgreich. Beim Öffnen einiger der wiederhergestellten Dateien oder Listenanhänge kann es jedoch vorkommen, dass diese Elemente in den zugehörigen Anwendungen (z. B. Microsoft Word, Excel, PowerPoint und Adobe Acrobat) nicht korrekt geöffnet werden, heißt es bei Veeam im Supportbeitrag.
Veeam gibt auch den Grund für das Problem an: Bei Sicherungsvorgängen wurden Dateien, Listenanhänge oder Bilder aus SharePoint, OneDrive oder Teams mit dem Inhalt der von der API zurückgegebenen HTML-Fehlerseiten, statt mit ihrem tatsächlichen Dateiinhalt, gespeichert. Liest sich für mich so, als ob die API diesen Unsinn zurück gibt. Veeam hat dieses Problem erstmals Anfang März 2026 festgestellt.
Dieses Verhalten betrifft Veeam Data Cloud für Microsoft 365 und alle unterstützten Versionen von Veeam Backup für Microsoft 365. Es ist unabhängig vom Repository-Typ und betrifft sowohl JET-basierte als auch Objektspeicher-Repositorys. Fatal: In Backup-Jobs oder Wiederherstellungsaufgaben werden keine Fehler angezeigt; das Problem tritt erst auf, wenn der Benutzer versucht, die wiederhergestellte Datei zu öffnen.
Backups sind teilweise unbrauchbar
Der Leser schrieb mir dazu: "Meiner Meinung [nach] sollte Veeam das allen Kunden explizit mit einer deutlichen Warnung mitteilen. Angeblich wurde das Problem mit der neuesten Version gefixt, aber die Backups auf den Platten der Kunden sind unbrauchbar!"
Die IT des Lesers muss jetzt mühsam die mit Veeam wiederhergestellten Daten aus der SharePoint-Produktivumgebung entfernen und die Objekte aus dem Papierkorb wiederherstellen. Ein Library-Restore über die Einstellungen ist auch nicht mehr möglich. Der Leser schreibt dazu "Microsoft selbst will/kann da nicht helfen." und ergänzte "Das Thema ist vielleicht einen Eintrag wert, um andere ITler zu warnen".
Von Veeam hat der Leser die folgende Antwort auf die Frage, ob noch irgendwas zu retten ist, erhalten:
At this stage, I would not say that there is nothing that can be done, but I do want to be transparent that this issue may affect certain items that were backed up during the impacted period.The fix included in the latest build helps prevent the issue for newly created or modified items, but it does not automatically repair items that were already backed up in a corrupted state.In summary:
- New or changed items backed up after upgrading to the fixed build should no longer be affected.
- Previously backed up items that were impacted may still remain corrupted if they have not changed since then.
- In some cases, starting a new full backup job or forcing a fresh backup may be necessary to capture clean copies, provided the original source data in Microsoft 365 is still intact and accessible.
Please also note that our Development team is actively investigating whether there is a way to repair the affected files.
Frage: Ist das bei euch in der Leserschaft allgemein bekannt, dass es das Backup-Problem bei Veeam gibt? Oder schlummert da noch ein Problem, was manchem IT-Mitarbeiter auf die Füße fallen wird, wenn Backups zurückgespielt werden sollen?
MVP: 2013 – 2016
Klasse und nu? Die könnten ja wenigstens mal ein Tool bereitstellen mit dem man seine Repositories auf solche fehlerhaften Dateien hin überprüfen könnte?
Im verlinkten KB-Artikel steht: "Veeam is working on a solution that will allow customers to remediate the impacted items. "
Ah ok, danke!
Ich hatte ähnliches auch schon bei HyperV beobachtet. Alles Grün, Restore aber nicht möglich da Datei kaputt. Es gilt wie immer bei Backups: Ist es getestet, oder existiert es nicht.
Deshalb gehört zu einem ordentlichen Backup immer ein Verify.
Da werden die im Backup enthaltenen Daten mit den zu sichernden Daten verglichen.
Kein Verify = selbst schuld, wenn Daten im Backup fehlerhaft sind.
Ich vermute, daß das hier nicht geholfen hätte, da ja wieder nur die HTML-Fehlerseiten verglichen worden wären.
Wie willst du das testen? Die Wiederherstellung funktioniert ja auch ohne Fehler und wenn ich das richtig verstanden habe sind nur einige Dateien aus dem Backup betroffen. Willst du nach der Wiederherstellung tausende Dateien prüfen und ausprobieren, ob die alle mit dem zugehörigen Programm öffnen kannst?
Kurze Frage am Rande an die IT-Admins, die diesen Blog lesen.
Da Günter hier regelmäßig Beiträge über Veeam veröffentlicht:
Wir nutzen in unserer Umgebung seit Jahren und ohne Probleme Commvault.
Welche Backup-Lösung ist bei Euch im Einsatz?
Danke!!!
Nur Onboard Standard Funktionen vom Storage System, mit Snapshot Replikation auf Block ebene sowie das dazugehörige VMware Plugin. Ausnahme ist eine Software nur für die Offline Tape Sicherung dort verwenden wir ArcServe Backup, die Preise für das Modul sind entspannt.
Wir hatten VEEAM für M365 im Einsatz.
Da VEEAM das nicht als Perpetual, sondern nur als Subscription anbietet haben wir uns bei jeder anstehenden Verlängerung gefragt, ob das Preis-Leistungsverhältnis noch stimmt.
Tut es inzwischen nicht mehr.
Solche Bugs wie oben sind da natürlich Wasser auf die Mühlen, aber auch ansonsten hatte VEEAM regelmäßig mit API-Änderungen seitens Microsoft zu kämpfen die regelmäßig einen Teil der Backups (z.B. shared Teams Ordner oder auch Ordner größer 2 GB) unbrauchbar machten.
Im Moment sind wir für M365 bei Synology Active Backup und einer entsprechenden lokalen Appliance. Vereinfacht vieles.
Ansonsten klassisch: für VMware VEEAM (perpetual Socket License) und für Proxmox der entsprechende Backup-Server. Physische Linux-Systeme werden darüber ebenfalls gesichert.
@Bernie: Wir nutzen Commvault Cloud Backup für MS365 Workloads. Insbesondere mit dem Workload Exchange Online sind wir unzufrieden. Hier es gibt es keinen Point-in-Time-Restore, sondern nur einen alle 30 Tage im Hintergrund laufenden True-up-Job.
Das bedeutet, dass man eine Mailbox nicht zu einem bestimmten Zeitpunkt der Vergangenheit wiederherstellen kann, also z.B. die Frage: Welche Emails waren am 23.05.2026 in der Inbox des Users A zum Zeitpunkt des damaligen Backups.
Ein ordentliches Backupsystem, das auch Exchange unterstützt, sollte auch eine granulare Wiederherstellung ermöglichen, d.h. auch einzelne Emails.
@R.S.: Einzelne Emails wiederherstellen ist nicht das Problem.
Aber stell Dir vor, gestern hattest Du 10 Emails in Deiner Inbox. Eines davon hast Du in einen Ordner namens "Erledigt" verschoben. Also sind zum Zeitpunkt des Backups noch 9 Emails in der Inbox.
Bei Commvault Cloud wird Dir der Restore aber 10 Emails zurückbringen. Der "Verschiebe-Vorgang" triggert kein Ereignis, also bleibt das 10. Email im Backup in der Inbox. Erst nach ca. 30 Tagen wird dies über einen True-up-Job bereinigt.
Dann ist das Backup fehlerhaft.
Das hat den Istzustand zu sichern und auch nicht nur die InBox, sondern auch den "Erledigt"-Ordner, eben alle Ordner, die es in einem Postfach gibt.
@R.S.: Da Du es genau wissen willst ;-) Selbstverständlich sichert das Backup auch den Erledigt-Ordner. Darin befindet sich auch das 10. verschobene Email. ABER: In der Restore-Anzeige der Inbox wird das 10. Email weiterhin angezeigt, denn Commvault macht beim Backup keinen Vergleich mit dem Istzustand. Erst nach ca. 30 Tagen wird im Hintergrund geprüft, welche Emails denn jetzt noch tatsächlich in den jeweiligen Ordnern sind.
Alles mit dem Commvault-Support abgeklärt und "works as designed".
KORREKTUR: …wird das 10. Email weiterhin IN DER INBOX angezeigt, ….
Für M365-Cloudinhalte nutzen wir die Produkte von KeepIt mit Nutzungsbeschränkung auf EU-Datencenter.
Wie zufrieden sind Sie mit dem Produkt und dem Backup in der KeepIT internen Cloud? Wie kann man die Backups verifizieren? Wir überlegen M365, Jira, Confluence und GitHub dort zu sichern.
Wir nutzen Keepit und zusätzlich Synology. Doppelt hält besser. Einmal die Cloud-Lösung und einmal on-Prem Lösung.
Nakivo könnte noch interessant sein. Wir überlegen ob wir damit Veeam komplett ablösen könnten (für VMWare Backups).
Veeam bei allen Kunden mit HyperV-Clustern lange rausgeschmissen und durch eigene GitOps Skripte ersetzt, die automatisiert alle VMs wegsichern und zugleich wichtige Systeme (DC, ERP-System etc.) in einem anderen vLAN restoren.
Im Fall der Fälle hat man durch vLAN-Anpassung mit Stand vom Vortag binnen Sekunden ein lauffähiges System und eleminiert elegant das Schroedinger-Problem. Man weiß, dass das Backup funktioniert und muss nicht mehr raten oder bangen.
Die wenigsten wissen, dass HyperV komplette VMs mit PowerShell-Bordmitteln auch "live" wegsichert. No überteuerter Veeam-Dreck needed.
Das Schöne an GitOps: Die Admins turnen nicht mehr direkt an den Servern rum und machen Dinge kaputt sondern pushen nachvollziehbar und transparent ins Git-Repo auf der eigenen Forgejo-Instanz. Die GitOps automatisierten Server pullen sich selbst das Repo und führen die Sicherungsskripte aus. Dinge können natürlich weiterhin durch Admin-Fehler kaputt gehen, aber dann weiß ich, was und wer es war und kann zur letzten Version zurück.
Keine zentralen Passwort-Vaults, die bei Veeam in der Vergangenheit immer gerne "rausgetragen" und "übernommen" wurden.
Hier die beiden Artikel dazu in meinem Blog mit dem zugehörigen PowerShell:
https://blog.jakobs.systems/micro/20241016-hyperv-backups-faq/
https://blog.jakobs.systems/blog/20240908-gitops-veeam-ersatz/
Veeam ist tatsächlich imo furchtbar und ich habe auch mit Powershell gearbeitet und jetzt bei Proxmox mit Proxmox Backup Server. Aber für HyperV ist Veeam mit Incremental Backups einfach im Vorteil. Das kann/konnte ich mit meinen Skripten und Bordmitteln nicht ersetzen.
Für M365 und Entra ID – Keepit.
Also wir haben 2 Nachrichten von Veeam, KB Digest am 31.03. und auch ein direktes Email vom 08.04. erhalten mit der Info. Nicht, dass es das besser macht, aber Veeam hat Kunden wohl doch informiert.
Und hast Du ein neues Fullbackup deiner M365 Daten durchgeführt?
Ich weiß nicht, ob das hiermit zu tun hat, aber es ist auch schon so einiges in M365 SharePoint/OneDrive kaputt. Habe vor ein paar Tagen bei uns größere (paar GB) Ordner per Mausklick aus Sharepoint heruntergeladen. Das Endprodukt hier pro Click ist jedesmal eine einzige große zip-Datei OneDrive*irgendwas.zip, die alle gewünschten Daten enthalten soll (die GUI hierzu ist Teil von Sharepoint).
Überraschung: Manchmal fehlt ein Teil der Daten, die dann durch Fehlerdateien mit Inhalt "WebException irgendwas" ersetzt sind. Probiert man es ein zweites oder drittes Mal, bekommt man eine größere, vollständiger scheinende zip (habe aber noch nicht rekursiv nachgesehen, ob wirklich alles da ist).
Wenn Veeam und Konsorten eine ähnlich gute MS-API zum Backup benutzen, dann gute Nacht!!
Die MS Graph API ist fehlerhaft und unvollständig. Aktuelle Beispiele, für die wir Tickets bei MS offen haben:
– Last Sign-In-Datum von Registered apps weisen ein falsches Datum in der Vergangenheit auf.
– Get-mgauditlogsignin liefert unvollständige Daten.
Hier ist VEEAM for MS365 im Einsatz, das geschilderte Problem war mir bislang nicht bekannt. Hier ist auch keine Mitteilung von VEEAM dazu eingegangen, hab gerade extra nochmal das Postfach durchforstet (kommt ja mal vor, dass man solche Hinweise einfach gekonnt überliest). Aber wir haben ohnehin schon seit etlichen Wochen mit den MS365-Backups…
Wir nutzen Cubebackup und sind bisher zufrieden. Point in time recovery gibt's auch und deutlich günstiger als veeam ist es auch.
Falls jemand Interesse hat, hier ein Link für 10%: https://cubebackup.com/?pr=pekreqyd
Ironie on:
Backup ist von gestern; alle brauchen nicht nur "Jetzt with Trademark"; professional version of rebootz or so fuer Internetcoffeeshops; fruer mal vertrieben von "Digitrade mit TM", jeder braucht heute a clean… restore; restauration; a claen wipe from the "Laptop from Hell"; aka Hunter BI.en…
Warum die NichtSpezifiertenAngreifer so viele Adult…; Snowden… ur training of…
Quantum Squirrelsz, wen jucken Quantenkomputer, wenn man im ThreeLetterDatacenter, dette haette,Fahradkette vielleicht simuliern kann…
Manche verpixelten Bilder, kann man durch "Blinzeln" decodieren, rein analog ohne Hilfsmittel, Analogrechner, Matrixrechner, Rainbowtables……..
"Altmanns Iris Scanns", 007 irisscan umgehungs kontaktlinsen…
Nunja das "Gute" ist nicht "neu" und das neue ist vielleicht nicht so (erporbt, gedacht und ausgetestet / A320 +kosmische Strahlung, selbst der Pabst…
Ironie offe.
Mal ne Frage in die Runde, wenn die MS-API das falsche an Veeam zurück liefert müssten dann andere Backup Lösungen nicht auch betroffen sein?
@IT-Admin: Gute Frage. Allerdings gibt es einen Fix von Veeam:
"The fix included in the latest build helps prevent the issue for newly created or modified items"
Wenn die anderen Hersteller den Fehler gar nichts erst gemacht haben, ist bei denen ja alles in Ordnung.
Wie man das allerdings selbst feststellen soll: ??