Plugin Caveman soll Token-Kosten bei AI-Nutzung reduzieren

Die Token-Kosten für die Nutzung von KI-Angeboten explodieren geradezu, seit die Anbieter diese nach Verbrauch abrechen. Ein Entwickler hat das Plugin Caveman veröffentlicht, welches die Nutzung von Tokens minimieren soll.

Explosion der KI-Token-Kosten

Ich hatte Anfang Juni 2026 im Beitrag Zerschellt der KI-Traum an den gigantischen (Token-)Kosten? über die Explosion der Token-Kosten für die KI-Nutzung berichtet. Das autonome Taxi-Unternehmen Uber hat sein KI-Jahresbudget für 2026 in einem Monat verbrannt.

Accenture stellte laut nachfolgendem Tweet fest, dass ein Großteil seiner "explodierenden Token-Kosten" darauf zurückzuführen war, dass Mitarbeiter PDFs in Präsentationen umwandelten. Weiterhin wurde von einem Unternehmen berichtet, welches 500 Millionen US-Dollar an Token-Kosten binnen eines Monats angehäuft hat. Meinen Informationen nach war dies Amazon, wo die Belegschaft vor Monaten noch angehalten wurde, KI "auf Teufel komm raus zu nutzen".

Firmen reduzieren inzwischen die Nutzung der KI durch ihre Mitarbeiter. Microsoft hat die Verwendung von Claude Code für Entwickler extrem eingeschränkt und stellt diesen Copilot als Alternative bereit. Der Traum von der breiten AI-Nutzung verpufft gerade. Und erste Firmen werfen Mitarbeiter raus, um ihre KI-Rechnungen nach bezahlen zu können.

Ed Zitron deutet in diesem Tweet an, dass die Abrechnung der KI-Kosten für viele Unternehmen ziemlich undurchsichtig ist und diese nicht wissen, wofür sie KI überhaupt einsetzen. KPMG hat diesen "Blindflug" bezüglich der Kosten in einer Analyse offen gelegt. Ich hatte dies im Beitrag Firmen haben keine Kontrolle über ihre AI-Kosten angesprochen.

Und Gartner prognostiziert, dass die KI-Token-Kosten im Jahr 2028 die Gehälter der sie nutzenden Entwickler übersteigen werde. heise hat das beispielsweise in diesem Artikel aufgegriffen. Die Firmen werden sich da also etwas in Bezug auf die KI-Nutzung bei der Entwicklung von Software überlegen müssen. Ich sehe auf X in den letzten Wochen häufiger Meldungen, wo Software-Entwickler den Einsatz von KI stark zurück fahren oder sogar gänzlich einstellen, da die Erwartungen nicht erfüllt wurden.

Caveman soll KI-Token-Verbrauch reduzieren

Jede Maßnahme, die den Token-Verbrauch reduziert, wirkt sich also sofort auf die Kosten aus. Ich bin über nachfolgenden Tweet auf einen entsprechenden Sachverhalt aufmerksam geworden: Ein Plugin, welches den KI-Token-Verbrauch reduzieren soll.

Das Plugin "caveman" (Höhlenmensch) soll KI-Tools zwingen, Artikel, Füllwörter und Höflichkeitsfloskeln aus ihren vom LLM generierten Antworten zu entfernen, um die Token-Kosten zu senken. Bei Claude Code soll das bis zu 65% Token-Einsparung bringen, heißt es.

Die Eigenbeschreibung lautet, dass das Plugin für Claude-Code sowie weitere AI-Produkte wie Codex, Gemini, Cursor, Windsurf, Cline, Copilot und über 30 weitere die Anzahl der benötigten KI-Tokens um ca. 75 % reduziert und trotzdem die volle technische Genauigkeit der Anfragen bewahrt. Die an die LLMs gestellten Prompts werden dazu entsprechend vor dem Absenden um die oben angesprochenen Inhalte und Floskeln

Ein leitender Mitarbeiter von OpenAI habe dabei geholfen, ein Tool zu entwickeln, das die Nutzung des eigenen Produkts von OpenAI kostengünstiger macht, heißt es in obigem Tweet. Das Tool hat 54.000 Sterne auf GitHub und Entwickler bei OpenAI, Nvidia und GitHub sollen das Plugin bereits nutzen. Das Plugin Caveman wird von Julius Brussee auf GitHub angeboten.