OpenAI halbiert die Antwortkosten bei ChatGPT – warum das die ganze KI-Branche bewegt

OpenAI hat die Kosten für die Beantwortung von ChatGPT-Anfragen offenbar drastisch gesenkt: Für nicht angemeldete Gastnutzer sollen die sogenannten Inferenzkosten seit Anfang Juni um mehr als die Hälfte gefallen sein. Das berichtet das US-Medium The Information unter Berufung auf interne Mitteilungen von OpenAI-Ingenieuren. Die Meldung klingt zunächst technisch – sie berührt aber die zentrale Frage der gesamten Branche: Wie teuer ist der Betrieb von KI-Modellen wirklich, und wie schnell fallen diese Kosten?

Das Wichtigste in Kürze

• Die Kosten pro Antwort für ChatGPT-Gastnutzer sollen seit Anfang Juni 2026 um mehr als 50 Prozent gesunken sein.
• Zeitweise kam OpenAI dafür mit wenigen hundert Nvidia-GPUs aus – eine auffällig niedrige Zahl für einen Dienst dieser Größenordnung.
• Welche Techniken genau eingesetzt werden, verrät OpenAI nicht; Fachleute halten Quantisierung, Caching, Batching und Modell-Routing für die wahrscheinlichsten Bausteine.
• Die API-Bruttomarge von OpenAI lag Ende des ersten Quartals bei 39 Prozent – bis Jahresende sollen es 52 Prozent werden.
• Offen ist, ob sich die Einsparungen auf den vollen Funktionsumfang von ChatGPT übertragen lassen.

Was bekannt ist – und was nicht

Inferenz bezeichnet den laufenden Betrieb eines bereits trainierten KI-Modells, also das Erzeugen von Antworten auf Nutzeranfragen. Anders als das einmalige, teure Training fällt Inferenz bei jedem einzelnen Chat an – sie ist damit der größte dauerhafte Kostenblock eines Dienstes wie ChatGPT.

Nach dem Bericht von The Information gelang OpenAI die Kostensenkung zunächst dort, wo der Dienst am einfachsten ist: bei Gastnutzern, die ChatGPT ohne Konto und nur mit stark eingeschränkten Funktionen verwenden. Interne Nachrichten von Ingenieuren sprechen davon, dass für diese Nutzergruppe zeitweise nur ein paar hundert Nvidia-Prozessoren nötig waren. Zur Einordnung: Üblicherweise wird der GPU-Bedarf großer KI-Dienste in Zehntausenden Beschleunigern gemessen.

Wie OpenAI das erreicht hat, bleibt Spekulation. Als plausible Bausteine gelten etablierte Verfahren: Quantisierung reduziert die Rechengenauigkeit der Modelle und spart damit Speicher und Rechenzeit. Key-Value-Caching verwertet Zwischenergebnisse früherer Berechnungen wieder. Batching bündelt viele Anfragen zu einem gemeinsamen Rechendurchlauf. Und Routing leitet einfache Fragen an kleinere, günstigere Modelle weiter, während nur komplexe Aufgaben beim großen Modell landen.

Der Preis der Effizienz: Qualitätsrisiken

Jede dieser Techniken hat eine Kehrseite. Zu aggressive Quantisierung kann die Antwortqualität messbar verschlechtern. Und ein fehlerhaftes Routing stuft Anfragen womöglich fälschlich als einfach ein – der Nutzer bekommt dann eine schwächere Antwort, ohne es zu merken. Dass OpenAI die Optimierungen zuerst bei Gastnutzern ausrollt, passt ins Bild: Dort sind die Erwartungen am niedrigsten und Qualitätseinbußen am wenigsten sichtbar. Ob sich die Einsparungen verlustfrei auf zahlende Kunden und den vollen Funktionsumfang übertragen lassen, ist die eigentliche offene Frage.

Warum die Zahl für die ganze Branche zählt

Für OpenAI ist der Effekt unmittelbar wirtschaftlich: Die Bruttomarge im API-Geschäft lag Ende des ersten Quartals bei 39 Prozent, nach 33 Prozent im Vorjahr – bis Jahresende peilt das Unternehmen 52 Prozent an. Halbierte Inferenzkosten zahlen direkt auf dieses Ziel ein. OpenAI kann die Gewinne einstreichen, in bessere Modelle investieren oder als Preissenkungen an Kunden weitergeben und damit Druck auf Wettbewerber ausüben.

OpenAI ist damit nicht allein. Der chinesische Anbieter DeepSeek, der die Branche schon Anfang 2025 mit radikal günstigen Modellen aufschreckte, hat parallel eigene Fortschritte gemeldet und die Verarbeitung paralleler Anfragen um 60 bis 85 Prozent beschleunigt. Effizienz ist zum eigenen Wettbewerbsfeld geworden – neben der reinen Modellqualität.

Interessant ist auch die Folgerung für den Chip-Markt: Man könnte meinen, effizientere Inferenz drücke die Nachfrage nach Nvidia-GPUs. Wahrscheinlicher ist das Gegenteil. Weil der Ausbau von Rechenzentren derzeit der Flaschenhals der gesamten Branche ist, schaffen Effizienzgewinne vor allem Freiraum: Dieselbe Hardware kann mehr Nutzer bedienen oder anspruchsvollere Modelle betreiben. Gespart wird nicht an der Nachfrage, sondern am Engpass.

Für Nutzer und Unternehmen in Deutschland ist die Entwicklung ebenfalls relevant: Wer KI-Funktionen über die OpenAI-API in eigene Produkte einbaut, hat in den vergangenen zwei Jahren bereits mehrere Preissenkungsrunden erlebt. Setzt sich der Effizienztrend fort, dürften auch rechenintensive Anwendungen wie lange Dokumentanalysen oder KI-Agenten, die viele Arbeitsschritte selbstständig ausführen, spürbar günstiger werden – und damit für kleinere Firmen ohne Großbudget erreichbar.

Ausblick

Die Meldung stützt einen Trend, der sich seit Monaten abzeichnet: Die Kosten pro KI-Antwort fallen deutlich schneller, als viele Geschäftsmodell-Skeptiker angenommen haben. Für Nutzer dürfte das mittelfristig günstigere oder großzügigere KI-Angebote bedeuten. Für die Anbieter verschiebt sich der Wettbewerb – wer Inferenz billiger rechnet, kann entweder mehr verdienen oder aggressiver wachsen. Die spannendere Frage stellt sich für OpenAI intern: Gelingt die Übertragung der Einsparungen auf das Kerngeschäft mit zahlenden Kunden, wäre das Margenziel von 52 Prozent eher konservativ. Scheitert sie an der Qualitätsfrage, bleibt der Erfolg ein Randnotiz-Experiment mit Gastnutzern.