KI-Inferenzkosten: Uber senkt Ausgaben um 52% durch Routing
Veröffentlicht am: 28.08.2026 um 13:02 Uhr | Redaktion boerse-global.de
In der Entwicklung von Anwendungen auf Basis großer Sprachmodelle (LLM) findet derzeit ein Paradigmenwechsel statt. Branchenexperten betonen zunehmend, dass der Fokus zur Senkung der Inferenzkosten von reinem Prompt-Engineering auf architektonische Ansätze wie Modell-Routing, semantisches Caching und Prompt-Caching übergehen muss. Dieser systemorientierte Ansatz betrachtet die Kostenoptimierung als komplexes Geflecht aus verschiedenen Variablen, darunter nicht gecachter Input, Schreib- und Lesevorgänge im Cache, Output-Token sowie Infrastrukturkosten und API-Gebühren.
Effizienzsteigerung durch gezielte Systemarchitektur
Analysen zeigen, dass die Messung von Kennzahlen wie Kosten pro Request, pro Token oder pro Geschäftsergebnis die Grundlage für jede Optimierung bilden sollte. Ein zentrales Instrument ist dabei das Modell-Routing.
Hierbei werden Anfragen je nach Schwierigkeitsgrad an unterschiedliche Modelle verteilt, anstatt pauschal das leistungsfähigste und teuerste Modell zu nutzen. Ergänzend dazu wird eine sogenannte Kontext-Diät empfohlen, um die Menge der verarbeiteten Daten zu reduzieren.
Der Mobilitätsdienstleister Uber demonstriert die Wirksamkeit dieser Techniken in der Praxis. In der hauseigenen „Software Factory“ werden inzwischen über 70 Prozent der Pull-Requests durch KI-Agenten bearbeitet.
Trotz eines massiven Anstiegs der Nutzung – die wöchentlich aktiven Nutzer stiegen zwischen Februar und August 2026 um das Siebenfache, die Requests um das 9,4-Fache – konnte das Unternehmen die Kosten pro 1.000 Requests um 34 Prozent senken.
Die Kosten pro Sitzung reduzierten sich bei gleichbleibendem Modell sogar um 52 Prozent. Erreicht wurde dies unter anderem durch Token-Reduktion, Caching und eine optimierte Hardware-Auslastung.
Wer sich mit dem Einsatz moderner KI-Systeme befasst, muss neben der technischen Effizienz auch die rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des EU AI Acts. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Neue Hardware und spezialisierte Router-Modelle
Auch Hardware-Hersteller und Software-Entwickler reagieren auf den Kostendruck. NVIDIA stellte im August das Modell Nemotron 3.5 Lightning vor, ein Mixture-of-Experts-Modell (MoE) mit 30 Milliarden Parametern, von denen 3 Milliarden aktiv genutzt werden. In Kombination mit dem NeMo Switchyard-Router sollen die Kosten auf ein Drittel im Vergleich zu früheren Modellen wie Opus 4.8 sinken.
Partnerunternehmen wie Boomi meldeten durch den Einsatz dieser Routing-Technologien eine Genauigkeit von 100 Prozent, während 59 Prozent des Traffics auf ein fünfmal schnelleres Modell umgeleitet werden konnten. Andere Partner wie Cognition verzeichneten Kosteneinsparungen von 28 Prozent.
Parallel dazu treibt OpenAI die Entwicklung eigener Hardware voran. In Zusammenarbeit mit Broadcom und TSMC entstand in einem neunmonatigen Designzyklus der „Jalapeño“-Chip. Dieser ASIC (Application-Specific Integrated Circuit) zielt darauf ab, die Abhängigkeit von Standard-GPUs zu verringern und die hohen Margen etablierter Chiphersteller zu umgehen.
Benchmarks zufolge soll der Jalapeño-Chip einen bis zu 1,9-fach höheren Durchsatz pro Kilowatt und eine bis zu 3,6-mal niedrigere Latenz im Vergleich zur Blackwell-Architektur von NVIDIA erreichen. Obwohl OpenAI weiterhin NVIDIA-Hardware bezieht, ist geplant, dass jede Einheit des neuen Chips, der für 2027 erwartet wird, eine herkömmliche GPU ersetzt.
Die rasante Entwicklung bei KI-Modellen und Hardware stellt Unternehmen vor neue Herausforderungen bei der Einhaltung gesetzlicher Standards. Dieser kostenlose Report klärt auf, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen, um rechtlich auf der sicheren Seite zu sein. Kostenlosen Umsetzungsleitfaden zum EU AI Act anfordern
Preisdynamik und die Bedeutung von Caching-Mechanismen
Die Auswirkungen optimierter Architekturen zeigen sich auch in den Preisstrukturen der Provider. OpenAI bietet für das Modell GPT-5.6 Luna einen regulären Preis von 0,20 US-Dollar pro Million Input-Token an. Durch den Einsatz von Caching sinkt dieser Preis drastisch auf 0,02 US-Dollar.
Ein komplexer Workflow für KI-Agenten, der zuvor einen US-Dollar kostete, könne so für 0,10 US-Dollar realisiert werden. Insgesamt entspreche dies einer Preissenkung von 80 Prozent gegenüber der Vorgängerversion GPT-5.5.
Auch internationale Wettbewerber wie Alibaba und Z.ai setzen auf hocheffiziente MoE-Architekturen. Alibabas Qwen3.8-Flash etwa benötigt im Training nur ein Neuntel der Ressourcen des Vorgängermodells.
Solche Effizienzsprünge auf Modell- und Hardware-Ebene ermöglichen es Unternehmen, KI-Anwendungen in einem deutlich größeren Maßstab wirtschaftlich zu betreiben, sofern die zugrunde liegende Systemarchitektur die verfügbaren Optimierungswerkzeuge konsequent nutzt.
