Das Technologieunternehmen Cohere hat die Einführung der Modellfamilie Embed 5 bekannt gegeben, die speziell auf die Anforderungen von Unternehmen im Bereich Information Retrieval und Retrieval-Augmented Generation (RAG) zugeschnitten ist. Die neue Serie umfasst die Varianten Embed 5 Pro und Embed 5 Fast, die darauf ausgerichtet sind, große Datenmengen effizient zu durchsuchen und für KI-Anwendungen nutzbar zu machen.
Multimodale Fähigkeiten und technische Spezifikationen
Die Modelle der Embed-5-Familie verfügen über ein Kontextfenster von 128K-Token und unterstützen mehr als 100 Sprachen. Ein wesentliches Merkmal der Neuentwicklung ist die Multimodalität. Die Systeme können sowohl Text als auch Bilder mit einer Auflösung von bis zu 2 MM Pixeln verarbeiten, wobei eine verschachtelte (interleaved) Eingabe von verschiedenen Datentypen möglich ist.
Technisch setzt Cohere auf sogenannte Matryoshka-Dimensionen, die eine flexible Skalierung der Vektoren in den Stufen 256, 512, 768, 1024, 1536 und 2048 ermöglichen.
Unterstützt werden die Formate float, int8 und binary. Ein technologischer Vorteil besteht darin, dass sich die Varianten Pro und Fast einen gemeinsamen Embedding-Space teilen, was die Integration und den Wechsel zwischen den Modellen erleichtert.
Leistungsdaten und Verfügbarkeit
In Branchen-Benchmarks erzielte das Modell Embed 5 Pro laut entsprechenden Berichten Spitzenwerte. Im ViDoRe V3 erreichte das System einen Score von 85,8, was einer Steigerung von +8,8 im Vergleich zum Vorgängermodell Embed 4 entspricht. In spezialisierten Finanz-Benchmarks wie FinanceBench wurde ein Wert von 80,1 und bei FinQA ein Ergebnis von 90,0 dokumentiert.
Hinsichtlich der Verarbeitungsgeschwindigkeit bietet die Fast-Variante einen Durchsatz von 377,3 Dokumente/Sek., während die Pro-Version auf 159,7 Dokumente/Sek. kommt. Die Modelle sind über die Cohere API sowie über Cloud-Plattformen wie Microsoft Foundry und Amazon SageMaker verfügbar. Für den Betrieb in eigenen Rechenzentren (on-prem) können vLLM oder Model Vault genutzt werden.
Während neue Modelle die technische Leistungsfähigkeit steigern, stellt der EU AI Act Unternehmen vor komplexe regulatorische Herausforderungen. Dieses kostenlose E-Book bietet Ihnen einen praxisnahen Umsetzungsleitfaden zu Risikoklassen und Dokumentationspflichten für KI-Systeme. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Die Preisgestaltung sieht für die Pro-Variante 0,12 US-Dollar/1M Text-Token vor, während die Fast-Variante mit 0,08 US-Dollar/1M Text-Token berechnet wird. Die Verarbeitung von Bildern kostet einheitlich 0,40 US-Dollar/1M.
Validierung durch neue Bewertungsmethodik
Die Entwicklung von Embed 5 stützt sich auf ein neues Evaluationsverfahren namens RCP-nDCG@10, das Cohere Ende September vorstellte. Dabei bewertet ein kalibrierter KI-Judge jedes Dokument anhand einer Rubrik aus fünf Ja/Nein-Kriterien sowie durch Paarvergleiche innerhalb eines nDCG@10-Rahmens.
Zur Validierung dieser Methode wurde eine Blindstudie mit 46 Annotatoren durchgeführt, die mindestens über einen Bachelor-Abschluss verfügten. In 289 entschiedenen Duellen über 273 verschiedene Abfragen hinweg stimmen die menschlichen Prüfer in 70 Prozent der Fälle mit der neuen Metrik überein, wenn diese einen anderen Sieger als konventionelle Verfahren ermittelte.
Compliance-Experten warnen davor, dass die rechtlichen Anforderungen an KI-Systeme oft unterschätzt werden und empfindliche Strafen drohen können. Sichern Sie sich jetzt den kostenlosen Umsetzungsleitfaden mit allen relevanten Übergangsfristen für Ihr Unternehmen. Umsetzungsleitfaden zum EU AI Act jetzt kostenlos herunterladen
In einem Pool mit bewusst uneindeutigen Ergebnissen lag die Zustimmung zur neuen Metrik bei 77 Prozent, während das herkömmliche nDCG nur in 52 Prozent der Fälle bevorzugt wurde.
Die Untersuchung zeigte jedoch auch die Komplexität der menschlichen Bewertung auf: Zwei menschliche Prüfer stimmten in ihrer exakten Bewertung auf einer Skala von 0 bis 4 nur in 42 Prozent der Fälle überein.
Zudem hielten die Reviewer 28 Prozent der Dokumente für nützlich, die zuvor als irrelevant eingestuft worden waren. Cohere hat den Code und die Daten der Methode veröffentlicht. Kenneth Enevoldsen, Maintainer des MTEB-Benchmarks, äußerte bereits Interesse an einer Integration des Verfahrens.