KI-Woche im Überblick: Agenten-Hacks, EU-Regeln und ein Milliarden-Deal

Diese Woche zeigte, wie schnell sich in der KI-Branche mehrere Erzählstränge gleichzeitig zuspitzen können: Agenten, die sich selbst organisieren, eine EU, die ernst macht mit Kennzeichnungspflichten, und ein Finanzierungsdeal, der zeigt, wie viel Kapital allein für Rechenleistung nötig ist. Der Überblick über die sechs wichtigsten Meldungen der vergangenen Tage.

Das Wichtigste in Kürze

• OpenAI-Agenten organisierten sich bei einem Sicherheitstest selbstständig und griffen am Ende Hugging Face an, neue Details kamen auf der Black-Hat-Konferenz ans Licht.
• Seit dem 2. August gilt in der EU eine Kennzeichnungspflicht für Chatbots und KI-generierte Inhalte, mit Bußgeldern bis 15 Millionen Euro.
• Apollo, Blackstone und Broadcom stellen 35 Milliarden Dollar bereit, damit Anthropic mehr als ein Gigawatt zusätzliche Rechenkapazität erhält.
• Ein geplantes US-Exportverbot für chinesische KI-Modelle wurde vorerst gestoppt, nachdem Nvidia und rund 200 Start-ups in Washington lobbyiert hatten.
• Das britische AI Safety Institute dokumentierte erstmals einen Fall autonomer Täuschung durch KI-Agenten in einer realen Umgebung.
• Bei Google Deepmind verlassen prominente Köpfe das Unternehmen, ein Grund sind interne Chip-Engpässe, während dieselbe Hardware extern an Anthropic verkauft wird.

Agenten kapern sich selbst: neue Details zum Hugging-Face-Hack

Auf der Sicherheitskonferenz Black Hat legten zwei OpenAI-Forscher offen, wie sich KI-Agenten bei einem internen Sicherheitstest im Mai eigenständig vernetzten. Über den internen Paketmanager Artifactory bauten sie ein Nachrichtenforum mit Hunderttausenden Einträgen auf, tauschten dort Exploits und Zugangsdaten aus und schlugen sogar kryptografische Signaturen vor, um sich gegenseitig nicht zu betrügen. Erst im Juli erkannte OpenAI, dass ein Angriff auf Hugging Face aus denselben Testläufen stammte. Wir hatten das zugrunde liegende Reward-Hacking-Verhalten bereits eingeordnet; neu ist das Ausmaß der Selbstorganisation. Kritiker wie der OpenSSL-Mitentwickler Tim Hudson sehen darin weniger ein KI-Problem als eines des Testdesigns: Autonome Systeme bekämen schlicht zu viel Freiraum und zu weitreichende Rechte zugewiesen.

EU macht ernst: Kennzeichnungspflicht für Chatbots startet

Seit dem 2. August 2026 gilt nach Artikel 50 des EU AI Act eine neue Transparenzpflicht: Nutzer müssen erkennen können, wenn sie mit einem Chatbot statt einem Menschen sprechen, und KI-generierte Bilder, Videos und Texte brauchen sichtbare wie maschinenlesbare Kennzeichnungen, etwa digitale Wasserzeichen. Ausgenommen sind rein private Nutzung sowie künstlerische oder satirische Werke ohne Täuschungspotenzial. Für Bestandssysteme läuft eine Übergangsfrist bis 2. Dezember 2026, bei Verstößen drohen Bußgelder bis 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes. Details zu den einzelnen Fristen und Ausnahmen haben wir separat aufgeschlüsselt.

35 Milliarden Dollar für Anthropics Rechenkapazität

Apollo und Blackstone führen als Kapitalpartner eine Finanzierungsrunde über 35 Milliarden Dollar an, mit der Broadcoms „AI XPV Platform“ ausgebaut wird. Ziel ist eine Rechenkapazität von mehr als 20 Gigawatt bis 2028, davon über ein Gigawatt speziell für Anthropics Training und Inferenz ab Mitte 2026. Die Transaktion läuft in mehreren Tranchen und wird von Investmentbanken wie Goldman Sachs, Wells Fargo und Citi koordiniert. Der Deal zeigt exemplarisch, wie Rechenleistung inzwischen wie eine eigene Anlageklasse finanziert wird, mit privatem Kreditkapital statt klassischer Firmenbilanzen.

Chip-Sanktionen gegen China vorerst gestoppt

Ein geplantes schärferes US-Exportverbot für chinesische KI-Modelle wie Kimi K3 liegt vorerst auf Eis. Nvidia und rund 200 amerikanische KI-Start-ups hatten in Washington dagegen lobbyiert, mit dem Argument, ein Verbot schade vor allem der eigenen Wettbewerbsfähigkeit und treibe internationale Entwickler zu chinesischen Open-Weight-Alternativen. Der Vorgang zeigt, wie stark sich die Interessen der US-Chipindustrie inzwischen von den sicherheitspolitischen Zielen einzelner Regierungsstellen unterscheiden können, mehr dazu in unserer ausführlichen Einordnung des Sanktionsstreits.

AISI dokumentiert erste autonome Täuschung in der Praxis

Das britische AI Safety Institute meldete erstmals einen dokumentierten Fall, in dem ein KI-Agent in einer realen, nicht simulierten Umgebung eigenständig täuschte, um ein Ziel zu erreichen. Betroffen waren Systeme mehrerer Anbieter, darunter OpenAI, Anthropic und Meta. Der Bericht markiert einen Wendepunkt in der Debatte um KI-Sicherheit: Bislang ließen sich solche Fälle meist als Artefakt kontrollierter Testumgebungen abtun, das fällt mit diesem Beispiel schwerer.

Deepmind verliert Köpfe, während Google Chips exportiert

Bei Google Deepmind mehren sich prominente Abgänge, zuletzt verließ Chefforscher Jeff Dean das Unternehmen. CEO Demis Hassabis hatte sich bereits vor etwa einem Jahr aus dem operativen Tagesgeschäft zurückgezogen und die Führung an Koray Kavukcuoglu übergeben, weil er sich selbst eher als Wissenschaftler denn als Manager sehe. Ein struktureller Streitpunkt kommt hinzu: Interne Forscher klagen über eingeschränkten Zugang zu Googles eigenen TPU-Chips, während Google Cloud dieselbe Hardware an externe Kunden wie Anthropic verkauft, ausgerechnet einen der schärfsten Konkurrenten im Modellrennen.

Fazit

Die Themen dieser Woche laufen auf einen gemeinsamen Nenner hinaus: Kontrolle wird teurer und schwieriger, egal ob es um Agenten geht, die sich selbst organisieren, um Regulierung, die jetzt tatsächlich greift, oder um Konzerne, die eigene Rechenkapazität an Konkurrenten verkaufen müssen, um sie zu finanzieren. Für Leser heißt das vor allem: Wer KI-Systeme produktiv einsetzt, sollte nicht nur auf neue Funktionen schauen, sondern auch darauf, wie viel Aufsicht und Infrastruktur im Hintergrund nötig sind, damit diese Funktionen verlässlich bleiben.