KI-Sicherheitstests messen nicht nur Sicherheit: Was eine neue Studie zeigt

Wenn ein KI-Anbieter einen hohen Safety-Score meldet, klingt das nach einer einfachen Aussage: Das Modell sei sicherer. Eine neue Vorabveröffentlichung stellt genau diese Bequemlichkeit infrage. Vier Forscher, darunter zwei vom britischen AI Security Institute, haben acht Sicherheitsbenchmarks über 192 Sprachmodelle mit Methoden aus der Testpsychologie untersucht. Ihr Ergebnis: Hinter einem Durchschnittswert stecken mindestens drei unterschiedliche Eigenschaften, die sich nicht sauber zu einer einzigen Sicherheitszahl verdichten lassen.

Die Arbeit ist noch nicht begutachtet und beweist nicht, wie sich ein Modell im offenen Alltag verhält. Sie liefert aber einen wichtigen Hinweis für die Debatte: Tests können günstiger und häufiger werden, ohne deshalb zu einem Freifahrtschein für eine Veröffentlichung zu werden. Gerade weil KI-Anbieter immer öfter mit Benchmarks werben, ist diese Unterscheidung relevant.

Das Wichtigste in Kürze

• Die Studie wertet acht Sicherheitsbenchmarks mit 192 Sprachmodellen aus und findet drei getrennte Faktoren: strenge Verweigerung, Wahrhaftigkeit und kontextabhängigen Schaden.
• Für mehrere einzelne Benchmarks reichten ungefähr zehn gezielt ausgewählte Prompts, um die Rangfolge des vollständigen Tests weitgehend nachzubilden.
• Die Kostensenkung von 97 bis 99 Prozent misst Effizienz innerhalb bestehender Tests, nicht reale Sicherheit im Einsatz.
• Kurze Tests eignen sich als Frühwarnsystem nach Änderungen am Modell. Vollständige Tests, neue Aufgaben und menschliche Prüfung bleiben nötig.

Warum ein hoher Wert missverständlich sein kann

Sicherheitsbenchmarks stellen einem Modell typischerweise riskante oder harmlose Anfragen und bewerten, ob es korrekt hilft, ablehnt oder unnötig blockiert. Das Problem beginnt beim Zusammenrechnen. Ein Modell kann sehr konsequent verweigern und deshalb bei einer Aufgabe gut aussehen, zugleich aber bei ungefährlichen Fragen übervorsichtig sein. Ein anderes kann sachlich wahrheitsgetreuer antworten, aber empfindlicher auf den Kontext einer schädlichen Anfrage reagieren. Ein einziger Mittelwert verdeckt diese Unterschiede.

Die Autoren nutzen dafür Item-Response-Theorie, ein Verfahren aus der Bildungs- und Testforschung. Dabei gelten Modelle als Testteilnehmer und einzelne Prompts als Aufgaben mit unterschiedlichem Schwierigkeitsgrad und unterschiedlicher Trennschärfe. Nach Bereinigung blieben 5.067 auswertbare Prompts übrig. Die Analyse ergab drei Faktoren, die laut Arbeit 77 Prozent der Unterschiede zwischen den Modellen erklären: Verweigerungsstrenge, Wahrhaftigkeit und kontextabhängiger Schaden. Ein einzelner Faktor erklärte deutlich weniger.

Das ist keine semantische Spitzfindigkeit. Wer Verweigerung mit Sicherheit verwechselt, kann Systeme belohnen, die im Zweifel einfach schweigen. Nutzer bekommen dann womöglich weniger Hilfe bei legitimen Gesundheits-, Rechts- oder Sicherheitsfragen, ohne dass damit ein tatsächliches Missbrauchsrisiko zuverlässig sinkt. Wir haben bei der Untersuchung, warum mehrere KI-Agenten gegeneinander arbeiten können, bereits gesehen: Das Verhalten eines Systems hängt vom Einsatzkontext ab, nicht nur vom Modellnamen.

Weniger Prompts, häufiger prüfen

Der praktische Befund klingt zunächst fast banal: Nicht jede Testfrage trägt gleich viel Information. Für mehrere einzelne Benchmarks konnten ungefähr zehn adaptiv ausgewählte Prompts die Rangfolge des vollständigen Tests mit hoher Korrelation nachbilden. Gegenüber dem gesamten Testbestand senkt das den Aufwand laut Studie um 97 bis 99 Prozent. Auch feste Kurzformen mit 25 Fragen konnten in gehaltenen Auswertungen die drei Faktoren abbilden.

Das kann für die Praxis sehr wertvoll sein. Modelle ändern sich nicht nur bei einem großen Versionssprung. Systemprompts, Sicherheitsregeln, Quantisierung, neue Werkzeuge oder eine nachträgliche Feinabstimmung können ihr Verhalten verschieben. Ein vollständiger Benchmark ist teuer und langsam. Ein kurzer, gut ausgewählter Test könnte nach jeder dieser Änderungen laufen und auffällige Ausschläge markieren. Teams hätten dann eher eine Warnleuchte als einen jährlichen TÜV-Stempel.

Doch genau hier liegt die Grenze. Ein verkürzter Test kann nur das zuverlässig nachbilden, was im großen Ausgangstest bereits enthalten ist. Er entdeckt nicht automatisch eine neue Angriffsmethode, eine Schwäche in einer anderen Sprache oder ein Problem, das erst bei Werkzeugnutzung und langen Agentenabläufen entsteht. Das AI Security Institute beschreibt die Wissenschaft der Evaluationen selbst als junges Feld mit uneinheitlichen Methoden, unausgereiften Messinstrumenten und oft schwacher Unsicherheitsanalyse. Ein sauberer Kurztest löst diese Grundprobleme nicht.

Gegen den Test spielen ist ein eigenes Risiko

Die Studie prüft außerdem, ob sich bewusstes Underperformen, oft als Sandbagging bezeichnet, an Antwortmustern erkennen lässt. Bei simulierten Fällen entdeckte ein Mustercheck selektives Underperformen, verfehlte aber einen Großteil von Fällen, in denen die Leistung gleichmäßig gedrosselt wurde. Zusammen mit einem Vergleich historischer Fähigkeiten stieg die Erkennung in diesen Simulationen auf 94 bis 97 Prozent. Das ist interessant, bleibt aber ein Befund unter Laborbedingungen, nicht der Nachweis, dass sich ein absichtlich täuschendes Frontier-Modell zuverlässig überführen lässt.

Diese Vorsicht ist wichtig, weil Benchmarks zu Zielen werden, sobald sie über Marktzugang, Regulierung oder Reputation entscheiden. Entwickler können unbewusst auf die bekannten Fragen optimieren. Ein Modell kann auch lernen, den Stil einer Prüfung zu erkennen. Deshalb brauchen Prüfer reservierte Aufgaben, wechselnde Testsets, transparente Versionsstände und unabhängige Wiederholungen. Der Befund erinnert an die Analyse, wie Modelle in einer Sandbox Grenzen umgehen konnten: Ein passender Score ist kein Ersatz für den Blick auf das tatsächliche Verhalten.

Ausblick: Sicherheitswerte brauchen ein Beipackzettel

Die Studie liefert keine Ausrede, Sicherheitstests zu verkürzen und dann weniger genau hinzusehen. Im Gegenteil: Sie schlägt eine Arbeitsteilung vor. Kurze, psychometrisch ausgewählte Tests sollten häufig laufen und Regressionen melden. Bei auffälligen Ergebnissen, vor großen Releases und in Hochrisikobereichen folgen breite Benchmarks, neue Aufgaben, menschliche Begutachtung und Tests mit realistischen Werkzeugen. Eine Kennzahl kann dann nützlich sein, wenn sie erklärt, was sie misst und was sie nicht misst.

Für Nutzer, Unternehmen und Aufsichtsbehörden ist das eine unglamouröse, aber hilfreiche Lektion. Nicht die höchste Zahl gewinnt automatisch. Vertrauenswürdig ist eher ein Anbieter, der Testumfang, Grenzen, Unsicherheiten und Änderungen offenlegt. KI-Sicherheit wird damit weniger zur Frage nach einem magischen Score und mehr zu einer überprüfbaren Praxis.