Der Streaming-Anbieter Amazon Prime Video treibt die Entwicklung automatisierter Synchronisationstechnologien voran und setzt dabei auf den Einsatz von Künstlicher Intelligenz.
Im Zentrum der aktuellen Testphase steht die Erfolgsserie „Maxton Hall“, bei der eine neuartige Technik zur Lippensynchronisation erprobt wird. Ziel des Verfahrens ist es, die visuelle Wahrnehmung von synchronisierten Inhalten deutlich zu verbessern und die Immersion für das Publikum zu erhöhen.
Technologische Verbindung von KI und Postproduktion
Die eingesetzte Technologie kombiniert Künstliche Intelligenz mit visuellen Effekten (VFX) in der Postproduktion, um die Lippenbewegungen der Schauspieler exakt an eine fremdsprachige Audiospur anzupassen. Im aktuellen Fall von „Maxton Hall“ sind die erste und zweite Staffel bereits mit dieser Funktion verfügbar. Im Katalog des Streaming-Dienstes ist diese Version explizit als „Lip Sync for English Dub“ gekennzeichnet.
Der Prozess unterscheidet sich von rein generativen Audio-Verfahren dadurch, dass die englische Synchronisation weiterhin von menschlichen Sprechern aufgenommen wird. Erst nach der Vertonung passt die KI die Mundbewegungen der Charaktere im Bildmaterial an die gesprochenen englischen Wörter an. Damit soll die bei traditionellen Synchronisationen häufig auftretende Diskrepanz zwischen dem Gehörten und dem Gesehenen beseitigt werden.
Strategische Ziele und kreative Aufsicht
Raf Soltanovich, Vice President Technology bei Prime Video und den Amazon MGM Studios, betonte die strategische Bedeutung dieses Projekts. Die Technologie solle ein immersiveres Seherlebnis schaffen und dem Unternehmen dabei helfen, eine größere globale Reichweite zu erzielen.
Wer sich professionell mit dem Einsatz von KI-Systemen befasst, muss heute neben der technologischen Innovation auch die komplexen rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des neuen EU AI Acts. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Trotz des hohen Automatisierungsgrades finde der gesamte Prozess unter kreativer Aufsicht statt. Amazon reagiert damit auf die Herausforderung, dass traditionelle Dubbing-Verfahren oft als störend empfunden werden, wenn die Lippenbewegungen nicht zum Ton passen.
Die Wahl fiel nicht zufällig auf „Maxton Hall“: Die Produktion, die auf dem im Jahr 2018 erschienenen Roman „Save Me“ von Mona Kasten basiert, gilt als die bisher meistgesehene internationale Original-Serie auf der Plattform. Während die ersten beiden Staffeln bereits mit einem spanischen Dub verfügbar waren, markiert der Einsatz der KI-Lippensynchronisation für die englische Fassung einen neuen Entwicklungsschritt.
Pilotprojekte und weitere Planungen
Die aktuelle Anwendung bei „Maxton Hall“ ist das Ergebnis einer längeren Testreihe. Bereits im Vorjahr führte Amazon ein Pilotprojekt mit zwölf Filmen und Serien durch, um KI-gestütztes Dubbing zu untersuchen. Zu den Titeln dieser Testphase gehörten unter anderem „El Cid“, „Mi Mamá Lora“ und „Long Lost“.
Da die Entwicklung und der Einsatz von KI-Systemen zunehmend strenger reguliert werden, stehen viele Unternehmen vor neuen Dokumentations- und Qualitätssicherungspflichten. Erfahren Sie in diesem kostenlosen Report, welche Systeme als Hochrisiko eingestuft werden und wie Sie die Compliance in Ihrem Bereich sicherstellen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Für die Zukunft plant das Unternehmen den Start der dritten Staffel von „Maxton Hall“ für den 9. Dezember. Diese soll zum Auftakt zunächst ausschließlich in der englischen Fassung mit synchronisierten Lippenbewegungen zur Verfügung stehen.
Obwohl die Technologie derzeit exklusiv für diese Serie genutzt wird, ist eine Ausweitung auf weitere Projekte des Studios vorgesehen. Konkrete Details zu künftigen Titeln oder einem zeitlichen Rahmen für den breiten Rollout nannte das Unternehmen bislang jedoch nicht.
