KI ohne OpenAI und Anthropic: Was der eigene KI-Server wirklich bringt

Wer ChatGPT, Claude oder Gemini nutzt, schickt jede Anfrage an einen fremden Server in den USA. Für viele reicht das völlig aus. Doch ein wachsender Teil der technikaffinen Nutzer und immer mehr Unternehmen fragen sich: Muss das sein? Der aktuelle c’t-Podcast uplink hat sich genau dieser Frage gewidmet und gezeigt, wie weit man mittlerweile ohne die großen KI-Konzerne kommt.

Das Wichtigste in Kürze

• Mit Open-Source-Software wie Ollama und Open WebUI lässt sich aus handelsüblicher Hardware ein eigener KI-Server bauen.
• Der größte Vorteil ist der Datenschutz: Keine Anfrage verlässt das eigene Netzwerk, kein Anbieter liest mit oder speichert Gespräche.
• Ollama Cloud bietet inzwischen rund 20 offene Spitzenmodelle, viele davon aus China, als Preis-Leistungs-Alternative zur eigenen Hardware.
• Wer selbst hostet, muss sich um Lizenzfragen, Datenschutz-Technik und Governance selbst kümmern – das entfällt bei Cloud-Anbietern.
• Für kleinere Modelle bis rund 13 Milliarden Parameter reicht bereits eine einzelne Consumer-Grafikkarte mit 24 GB Speicher.

Was ein lokaler KI-Server heute leisten kann

Im Kern eines selbst gehosteten KI-Systems steht meist Ollama, eine Server-Software, die sich um das Laden und Ausführen von Sprachmodellen kümmert. Darüber legt sich häufig Open WebUI als Bedienoberfläche, die optisch an bekannte Chat-Interfaces erinnert. Im c’t-Podcast berichten die Redakteure Jan Mahn und Jan-Keno Janssen von eigenen Erfahrungen mit LLM-Servern für ganze Teams und mit agentischen Experimenten, bei denen KI-Systeme selbstständig Aufgaben wie die Konfiguration von Linux-Rechnern übernehmen. Die technische Hürde ist kleiner geworden, als es noch vor ein, zwei Jahren der Fall war: Eine wachsende Zahl offener Modellgewichte, wie sie etwa auch Mira Muratis Thinking Machines Lab veröffentlicht hat, macht es einfacher, ein passendes Modell für die eigene Hardware zu finden.

Für den Einstieg genügt laut den c’t-Redakteuren „eine Linux-Maschine mit ordentlicher GPU“. Konkreter wird es bei aktuellen Hardware-Einschätzungen aus der Praxis: Für Modelle bis etwa 13 Milliarden Parameter reicht bereits eine einzelne Consumer-Grafikkarte mit 24 Gigabyte Videospeicher, etwa aus Nvidias RTX-4090-Reihe. Wer größere und leistungsfähigere Modelle lokal betreiben will, braucht mehr: mehrere GPUs, mehr Arbeitsspeicher, im Zweifel spezialisierte Server-Hardware. Der Charme des Modells liegt für viele Nutzer trotzdem in der Kalkulierbarkeit. Wer einmal in Hardware investiert hat, zahlt keine laufenden Token-Gebühren mehr und ist nicht von Preiserhöhungen oder Ausfällen eines Cloud-Anbieters abhängig.

Datenschutz als Hauptargument – aber mit Eigenverantwortung

Der meistgenannte Vorteil lokaler KI ist der Datenschutz: Keine Anfrage verlässt das eigene Netzwerk, kein externer Anbieter liest Gespräche mit, speichert sie oder wertet sie für eigene Zwecke aus. Für Unternehmen, die mit sensiblen Kundendaten, Geschäftszahlen oder internen Dokumenten arbeiten, ist das ein Argument mit Gewicht – gerade weil bei Cloud-Diensten wie ChatGPT oder Gemini Daten häufig auf Servern außerhalb der EU verarbeitet werden.

Ganz ohne Aufwand ist die Sache aber nicht. Wer LLMs selbst hostet, übernimmt auch die Verantwortung, die sonst der Cloud-Anbieter trägt: Er muss technische Maßnahmen wie Verschlüsselung oder Anonymisierung selbst umsetzen, sich vertraglich für grenzüberschreitenden Datenaustausch absichern und nachvollziehbare, prüfbare Prozesse etablieren. Hinzu kommt die Lizenzlage der Modelle selbst. Anders als bei echten Open-Source-Modellen gelten bei vielen offenen Modellgewichten individuelle Lizenztexte, die etwa bestimmte Einsatzzwecke – Überwachung, militärische Nutzung – ausdrücklich ausschließen oder das Nachtrainieren einschränken können. Wer einen lokalen KI-Server im Unternehmenskontext aufsetzt, kommt an dieser rechtlichen Prüfung nicht vorbei.

Die Cloud-Alternative: Fremde Modelle, eigene Kontrolle

Wem der Aufwand für eigene Hardware zu groß ist, muss trotzdem nicht zwangsläufig zu OpenAI oder Anthropic zurück. Ollama selbst bietet mit Ollama Cloud inzwischen einen Mittelweg: Rund 20 offene Spitzenmodelle lassen sich dort mieten, ohne dass man sie auf eigener Hardware betreiben muss. Die Auswahl liest sich wie ein Who’s who der aktuellen Open-Weight-Szene – von Alibabas Qwen 3.5 über Zhipus GLM-5.1 und GLM-5.2 bis zu DeepSeeks V4-Pro und den agentisch ausgerichteten Kimi-K2-Modellen von Moonshot AI, dessen neuestes Flaggschiff Kimi K3 kürzlich für Aufsehen gesorgt hat. Auch offene Modelle westlicher Anbieter wie Googles Gemma 4 oder OpenAIs eigene Open-Weight-Reihe GPT-OSS sind vertreten.

Der Preisunterschied zu den etablierten US-Anbietern fällt dabei oft drastisch aus: Chinesische Modelle wie DeepSeek werden am Markt teils fünf- bis dreißigmal günstiger angeboten als vergleichbare Angebote von OpenAI oder Anthropic. Wer über Ollama Cloud auf diese Modelle zugreift, gibt zwar die vollständige Datenhoheit der eigenen Hardware auf, bleibt aber unabhängig von den großen drei US-Anbietern und zahlt nach GPU-Zeit statt nach Tokens – ein Abrechnungsmodell, das die Kosten planbarer macht als klassische Pay-per-Token-Preise.

Fazit: Kein Ersatz für alle, aber eine echte Alternative

Ein eigener KI-Server ersetzt ChatGPT oder Claude nicht für jeden Anwendungsfall – bei den größten und leistungsfähigsten Modellen liegen die US-Anbieter weiterhin vorn. Doch die Lücke ist kleiner geworden, als viele annehmen. Für alltägliche Aufgaben, für Nutzer mit Datenschutzbedenken und für Unternehmen, die Kontrolle über ihre Daten behalten wollen, ist die Kombination aus lokaler Hardware und offenen Modellen längst praxistauglich. Und wer weder Hardware noch Betriebsaufwand stemmen will, findet mit Diensten wie Ollama Cloud einen Zwischenweg, der zumindest die Abhängigkeit von einem einzigen Anbieter auflöst.