Ein neuer Sicherheitsbericht von Anthropic beschreibt, wie Akteure mit mutmaßlichen Verbindungen zu staatlichen Stellen Claude für Überwachungsarbeit eingesetzt haben sollen. Der Bericht, veröffentlicht am 10. September, behandelt Fälle, die das Unternehmen zwischen Dezember 2025 und August 2026 nach eigenen Angaben unterbrochen hat. Das Beunruhigende daran ist weniger ein Bild von allmächtiger KI als die nüchterne Beschleunigung bekannter Arbeit: Daten sortieren, Berichte zusammenfassen, Profile priorisieren und Verdachtsmomente in den Arbeitsalltag einer Behörde übersetzen.
Diese Unterscheidung ist wichtig. Überwachung entsteht nicht erst durch ein neues Modell. Sie braucht Datenquellen, rechtliche oder faktische Macht, Personal und fehlende Kontrolle. KI kann jedoch die Kosten und die Zeit für einzelne Schritte senken. Was früher mehrere Analysten beschäftigte, kann damit leichter in größere Routineprozesse eingebaut werden. Genau deshalb ist der Bericht auch für Menschen relevant, die selbst nie mit Claude arbeiten werden.
Das Wichtigste in Kürze
- Anthropic berichtet über unterbrochene Missbrauchsfälle aus sieben Schadensbereichen, darunter Überwachung und Cyberoperationen.
- Bei Überwachung geht es laut Bericht und unabhängiger Berichterstattung vor allem um Analyse, Priorisierung und das Automatisieren täglicher Abläufe.
- Der Kern des Problems sind nicht magische Fähigkeiten eines Modells, sondern Datenzugang, Berechtigungen und fehlende Rechenschaftspflicht.
- Für Anbieter, Behörden und Unternehmen folgt daraus: Schutzmaßnahmen müssen vor dem Modellzugriff, bei den Werkzeugen und in der Kontrolle von Entscheidungen ansetzen.
Was Anthropic tatsächlich dokumentiert
Anthropics Threat-Intelligence-Bericht ist kein Überblick über den normalen Gebrauch von Claude. Das Unternehmen betont selbst, es stelle besonders auffällige und neuartige Fälle vor. Genannt werden sieben Bereiche: Cyberoperationen, Einflussoperationen, Überwachung, Betrug, biologischer Missbrauch, konventionelle Waffenentwicklung und das Abschöpfen von Modellwissen. Die Beispiele sind deshalb kein Maßstab dafür, wie die meisten Nutzer arbeiten. Sie zeigen aber, welche Missbrauchsformen ein Anbieter in seinen Protokollen entdecken kann, wenn Modelle und Werkzeuge leistungsfähiger werden.
Für den Bereich Überwachung beschreibt Anthropic unter anderem Akteure mit Verbindungen zu staatlichen Stellen in Mali, China und Iran. Laut der Berichterstattung von Axios sollen Claude-Modelle dabei genutzt worden sein, um Daten aus sozialen Netzwerken auszuwerten, politische Sensibilität einzuordnen, mögliche Zielpersonen zu priorisieren und wiederkehrende Lageberichte vorzubereiten. Anthropic gibt an, betroffene Konten gesperrt und Schutzmaßnahmen nachgeschärft zu haben.
Die konkrete Zuschreibung muss man vorsichtig lesen. Der Bericht stammt vom Anbieter selbst, und die Öffentlichkeit kann nicht alle Rohdaten prüfen. Gerade deshalb ist es sinnvoll, zwischen belegter Beobachtung, technischer Einordnung und politischer Schlussfolgerung zu unterscheiden. Unabhängig davon bestätigt die Art der beschriebenen Arbeit einen naheliegenden Befund: Für einen Kontrollapparat ist es bereits wertvoll, wenn Software große Mengen vorhandener Informationen schneller vorsortiert. Es braucht keinen perfekten Algorithmus, damit daraus ein ernstes Grundrechtsrisiko wird.
Die gefährliche Effizienz liegt in der Routine
Oft wird über KI-Überwachung gesprochen, als würde ein System Menschen vollautomatisch durchschauen. Der realistischere Mechanismus ist gewöhnlicher und gerade deshalb schwerer zu bemerken. Ein Modell kann Texte zusammenfassen, Namen und Orte aus großen Datenmengen herausziehen, wiederkehrende Muster markieren oder einen Bericht in eine vorgegebene Form bringen. Jede einzelne Funktion wirkt für sich banal. Zusammengenommen kann sie die Reichweite einer Stelle erheblich vergrößern.
Das Problem beginnt dort, wo ein automatisch erzeugter Hinweis als objektives Urteil behandelt wird. Sprachmodelle können plausibel formulieren, ohne zuverlässig wahr zu sein. Sie können ironische, mehrdeutige oder regionale Sprache missverstehen. Wenn ein solcher Fehler nur in einer internen Notiz landet, ist er ärgerlich. Wenn er darüber entscheidet, wer genauer beobachtet, befragt oder von einer Leistung ausgeschlossen wird, wird er folgenreich. Menschen, die von einem System erfasst werden, erfahren oft nicht einmal, welche Daten oder Bewertungen zu ihrem Profil beigetragen haben.
Der jüngste Beitrag über Metas Agenten Muse behandelte eine viel alltäglichere Anwendung. Er zeigt trotzdem denselben Grundsatz: Sobald ein System von Information zu Handlung übergeht, müssen Zuständigkeiten und Zustimmung sichtbar sein. Bei staatlicher Überwachung ist die Schwelle noch höher, weil Betroffene ihre Einwilligung nicht frei geben können und Machtungleichgewichte bereits Teil des Falls sind.
Warum Modellgrenzen allein nicht genügen
Anbieter können Missbrauch erschweren: Konten prüfen, auffällige Muster erkennen, gefährliche Anfragen ablehnen und Zugang sperren. Das ist notwendig. Es löst aber nicht jede Frage. Ein Modell muss für Überwachungsarbeit nicht zwingend geheime Daten erhalten. Schon die Verarbeitung öffentlich gesammelter Posts, bereits vorhandener Akten oder von Angaben aus anderen Systemen kann sensible Folgen haben. Außerdem können Nutzer Aufgaben in kleine, zunächst harmlos wirkende Schritte zerlegen.
Deshalb ist der Blick auf die gesamte Kette wichtiger als ein einzelner Sicherheitsfilter. Wer liefert die Daten? Wer darf sie zusammenführen? Welches Werkzeug kann auf welche Datenbank zugreifen? Wer sieht, wenn das System eine Person falsch einordnet? Und welche Stelle kann eine Entscheidung korrigieren? Die Lehre aus dem vierten Claude-Testvorfall passt auch hier: Eine technische Begrenzung ist wertvoll, aber sie ersetzt keine unabhängige Prüfung der Anreize und der gesamten Umgebung.
Für Unternehmen, die KI intern einsetzen, ist das ein praktischer Warnhinweis. Auch ein gut gemeintes Tool für Betrugsabwehr, Personalplanung oder Kundensupport kann in eine verdeckte Bewertungsmaschine kippen, wenn es zu viele Daten zusammenzieht und seine Ergebnisse nicht überprüfbar macht. Besonders sensibel sind Systeme, die Personen priorisieren, Zugang beschränken oder Empfehlungen an Menschen mit Entscheidungsmacht geben.
Transparenz ist nicht nur ein Bericht im Nachhinein
Dass Anthropic seine Fälle veröffentlicht, ist nützlich: Es macht sichtbar, dass Sicherheitsarbeit nicht bei allgemeinen Richtlinien endet. Zugleich bleibt eine Unternehmensmeldung kein Ersatz für externe Kontrolle. Anbieter entscheiden, welche Fälle sie erkennen, wie sie sie beschreiben und welche Daten sie veröffentlichen können. Unabhängige Forschung, Datenschutzaufsicht, Gerichte und eine kritische Öffentlichkeit brauchen daher eigene Möglichkeiten, Risiken zu prüfen.
In Europa bietet der EU AI Act einen Rahmen für besonders riskante KI-Anwendungen, doch Regeln helfen nur, wenn sie in Beschaffung, Betrieb und Aufsicht konkret werden. Eine Behörde oder Firma sollte nicht erst nach einem Skandal fragen, ob ein Tool sensible Entscheidungen vorbereitet hat. Nötig sind dokumentierte Zwecke, minimale Datenzugänge, Protokolle, regelmäßige Tests auf Fehler und ein Weg für Betroffene, Entscheidungen anzufechten. Wer diesen Aufwand für bürokratisch hält, verwechselt Geschwindigkeit mit Legitimität.
Ausblick: Das Warnsignal ist organisatorisch
Anthropics Bericht liefert keine einfache Zahl darüber, wie groß KI-Missbrauch insgesamt ist. Er zeigt aber ein Muster: Sprachmodelle können aus vielen kleinen Arbeitsschritten eine skalierbare Infrastruktur machen. Der besondere Risikofaktor ist nicht, dass die Maschine plötzlich einen Staat ersetzt. Er liegt darin, dass sie bestehende Macht schneller, billiger und weniger sichtbar ausüben helfen kann.
Die angemessene Antwort ist deshalb weder Technikpanik noch blinder Verweis auf einen Sicherheitsfilter. Anbieter müssen Missbrauch erkennen und Zugang begrenzen. Organisationen müssen Daten, Berechtigungen und Folgen ihrer Werkzeuge kontrollieren. Und dort, wo Menschen überwacht oder bewertet werden, braucht es nachvollziehbare Regeln und echte Einspruchsmöglichkeiten. Erst dann lässt sich entscheiden, ob eine automatisierte Hilfe einen legitimen Zweck erfüllt – oder nur einen alten Kontrollapparat effizienter macht.