LG Uplus und das KI-Optimierungs-Startup OptAI haben eine Partnerschaft zur Entwicklung von Token-Optimierungstechnologie angekündigt. Ziel der Zusammenarbeit zwischen LG-Uplus-CTO Lee Sang-yeop und OptAI-CEO Lee Jae-ho ist es, mit gleichbleibenden Rechenressourcen mehr Anfragen zu verarbeiten und so GPU- sowie Stromkosten zu senken.
Vierfache Steigerung in realer Serviceumgebung
Nach Angaben der beiden Unternehmen konnte in einer realen Serviceumgebung die Anzahl der auf derselben GPU verarbeitbaren Tokens im Vergleich zu vorher um bis zu das Vierfache gesteigert werden. Diese Verbesserung soll es ermöglichen, bestehende Hardware-Infrastruktur effizienter auszulasten, ohne zusätzliche GPU-Kapazitäten anschaffen zu müssen.
Klare Aufgabenverteilung zwischen den Partnern
Die beiden Unternehmen haben ihre Zusammenarbeit arbeitsteilig organisiert: LG Uplus verantwortet die Validierung und den praktischen Einsatz der Technologie in realen KI-Serviceumgebungen.
OptAI übernimmt die Forschung an Modellkomprimierungs- und Optimierungstechnologien, mit dem Ziel, KI-Modelle leichter und schneller zu machen. Die gemeinsame Forschung wird dabei vom On-Device-KI-Bereich auf Server-GPU-Umgebungen ausgeweitet, um mit gleichen GPU-Ressourcen eine größere Zahl an Nutzeranfragen bearbeiten zu können.
Wer sich mit der Entwicklung und dem Einsatz leistungsfähiger KI-Systeme befasst, muss heute auch die rechtlichen Rahmenbedingungen der EU kennen. Dieser kostenlose Report klärt darüber auf, welche KI-Systeme als Hochrisiko eingestuft werden und was Unternehmen jetzt konkret tun müssen. Umsetzungsleitfaden zum EU AI Act jetzt kostenlos anfordern
Aufbau auf früherer Kooperation
Die aktuelle Partnerschaft knüpft an eine frühere Zusammenarbeit der beiden Unternehmen im Bereich On-Device-KI an. Dabei wurde ein auf EXAONE basierendes kleines Sprachmodell (sLM) für Smartphone-NPUs optimiert. Nach Angaben der beteiligten Unternehmen reduzierte dieses Verfahren den Stromverbrauch um 78 Prozent und die Modellgröße um 82 Prozent, bei gleichbleibender Leistung im Vergleich zur CPU-basierten Methode.
LG-Uplus-CTO Lee Sang-yeop betonte, dass die Wettbewerbsfähigkeit eines Unternehmens künftig davon abhänge, wie effizient Token mit gleichen Ressourcen verarbeitet werden könnten. Auch OptAI-CEO Lee Jae-ho hob die Bedeutung der operativen Effizienz für die weitere Entwicklung von KI-Diensten hervor.
Einbindung in bestehende KI-Infrastruktur geplant
LG Uplus kündigte an, die neu entwickelte Technologie schrittweise in seine eigenen KI-Dienste sowie in seine umfangreiche KI-Infrastruktur zu integrieren. Damit soll die Partnerschaft nicht auf den Forschungsbereich beschränkt bleiben, sondern konkrete Auswirkungen auf den laufenden Betrieb der KI-Angebote des Unternehmens haben.
OptAI wurde 2021 von CEO Lee Jae-ho gegründet, der zuvor als Manager bei LG Electronics tätig war. Das Unternehmen hat sich auf Technologien zur Optimierung von KI-Modellen spezialisiert.
Mit der zunehmenden Integration von KI in die Unternehmensinfrastruktur wachsen auch die Anforderungen an Compliance und Dokumentation. Ein kostenloser Download verschafft Ihnen den nötigen Überblick über Fristen, Pflichten und Risikoklassen der neuen EU-Verordnung. EU AI Act in 5 Schritten verstehen – Gratis-E-Book sichern
Gemeinsames Fachseminar zu effizienter KI
Im Zuge der Partnerschaft veranstalteten LG Uplus und OptAI zudem das „Efficient AI Tech Seminar“, bei dem Forschungstrends und Industrieanwendungen effizienter KI-Technologie vorgestellt wurden. An der Veranstaltung waren neben den beiden Hauptpartnern auch Furiosa AI, VESSL AI, das KETI sowie die Hanyang University beteiligt.
Das Seminar unterstreicht, dass die Frage der Ressourceneffizienz bei KI-Modellen branchenweit zunehmend an Bedeutung gewinnt, da steigende GPU- und Stromkosten den wirtschaftlichen Betrieb großer KI-Infrastrukturen zunehmend herausfordern.