Das US-Technologieunternehmen Block hat mit Dessa ein neues Sprachmodell vorgestellt, das auf Endgeräten wie Apples MacBook Pro mit M4-Max-Prozessor oder leistungsfähigerer Hardware vollständig lokal und schneller als in Echtzeit ausgeführt werden kann.
Wie das Unternehmen bekannt gab, arbeitet das System ohne den Umweg über zwischengeschaltete Texttranskriptionen und ermöglicht eine wechselseitige Echtzeit-Sprachkommunikation direkt über Audiosignale.
Vollduplex-Architektur ohne klassisches Sprachmodell
Im Gegensatz zu traditionellen Sprachassistenten, die Sprache zunächst in Text umwandeln, diesen durch ein großes Sprachmodell verarbeiten und anschließend per Sprachsynthese ausgeben, setzt Dessa auf einen reinen Audiodurchlauf. Das System wurde laut Block von Grund auf ausschließlich mit menschlichen Konversationen trainiert, ohne auf vortrainierte Modelle oder Textdaten zurückzugreifen.
Durch das Vollduplex-Verfahren kann das System gleichzeitig zuhören und sprechen. Die Architektur erlaubt es dem Modell, bereits mit der Formulierung und Ausgabe einer Antwort zu beginnen, während das eingehende Audiosignal noch verarbeitet wird.
Block-Mitgründer Jack Dorsey erklärte auf der Plattform X, die Interaktion wirke wie ein Gespräch mit einem echten Menschen, geprägt von emotionalen Nuancen und natürlichen Sprechpausen. Zudem hob Dorsey hervor, dass das System ohne klassisches Text-LLM funktioniere und als authentisches Vollduplex-Sprachmodell konzipiert sei.
In ersten Demonstrationen zeigte die Technologie menschliche Verhaltensweisen wie Lachen mitten im Satz, Zögern, Weinen, Tonlagenwechsel und Sarkasmus, wenn auch Sprecher vereinzelt fälschlich zugeordnet wurden.
Während andere Lösungen wie ElevenLabs v4 oder Fish Audio Drama 3 spezielle Markierungen nutzen, um Emotionen zu steuern, seien emotionale Nuancen laut Block direkt in Dessa integriert. Projektleiter Ragavan Thurairatnam bezeichnete die Veröffentlichung als einen wegweisenden Moment für die Sprachverarbeitung, vergleichbar mit dem damaligen Durchbruch von GPT-3 im Textbereich.
Hardware-Anforderungen für Training und lokalen Betrieb
Für das Training des Modells nutzte das Entwicklungsteam ein Exascale-Rack des Typs NVIDIA GB200 NVL72, das mit 72 Blackwell-Grafikprozessoren ausgestattet ist. Trotz des massiven Rechenaufwands in der Trainingsphase soll der spätere Betrieb auf Endgeräten ressourcenschonend ablaufen.
Nach Angaben des Teams sowie einer Bestätigung von Dorsey benötigt der lokale Einsatz auf einem MacBook Pro mit M4-Max-Chip keine bestehende Internetverbindung. Das für die Entwicklung zuständige Labor agiert als kleine Einheit innerhalb des Konzerns, besteht aus früheren Mitgliedern des von Block übernommenen gleichnamigen Toronto-Startups Dessa und berichtet direkt an Dorsey. Voice-AI kommt bei Block bereits in der Praxis zum Einsatz, unter anderem im Geschäftsbereich Square zur Automatisierung von Bestellvorgängen.
Wer sich mit den rasanten Entwicklungen im Bereich der Künstlichen Intelligenz befasst, sollte auch die rechtlichen Rahmenbedingungen kennen. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der neuen EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen: Jetzt E-Book sichern
Veröffentlichung vorerst als geschlossene Forschungsversion
Dessa ist vorerst nicht für die breite Öffentlichkeit zugänglich. Block stuft das System als experimentelle Forschungsvorschau ein. Ein Vorabzugang wird zunächst nur einem ausgewählten Kreis von Forschern im Bereich der KI-Sicherheit gewährt, während für Interessierte eine Warteliste eingerichtet wird.
Bislang hat Block weder technische Details zu den Modellgewichten oder der Parameteranzahl veröffentlicht, noch Angaben zu den genauen Trainingsdatenmengen oder standardisierten Leistungsvergleichen gemacht. Auch Programmcodes oder ein wissenschaftliches Papier wurden noch nicht bereitgestellt.
Die Reaktionen auf die Ankündigung fielen in der Fachwelt und Öffentlichkeit geteilt aus. Während einige Branchenvertreter wie CZ Zhao potenzielle Einsatzfelder in der kindlichen Bildung nannten, äußerten andere Beobachter wie Justine Bateman und Shiv Aroor Bedenken hinsichtlich des Missbrauchsrisikos.
Die authentische Stimmimitation und Reaktionsgeschwindigkeit könnten künftig für Täuschungsversuche oder betrügerische Anrufe ausgenutzt werden. In Fachforen wie Hacker News entspann sich infolgedessen eine vielschichtige Diskussion über Chancen und Sicherheitsrisiken lokal lauffähiger Audiomodelle.
Die fortschreitende Entwicklung von KI-Systemen eröffnet auch neue Wege für Cyberkriminalität, etwa durch täuschend echte Stimmimitationen. Erfahren Sie in diesem kostenlosen Report, welche neuen gesetzlichen Anforderungen auf Sie zukommen und wie Sie Ihr Unternehmen proaktiv schützen. Gratis-E-Book: Cyber Security Trends und neue KI-Gesetze
Die authentische Stimmimitation und Reaktionsgeschwindigkeit könnten künftig für Täuschungsversuche oder betrügerische Anrufe ausgenutzt werden. In Fachforen wie Hacker News entspann sich infolgedessen eine vielschichtige Diskussion über Chancen und Sicherheitsrisiken lokal lauffähiger Audiomodelle.