Pakistans Richter bekamen einen KI-Assistenten – die Studie zeigt, worauf es ankommt

Kann künstliche Intelligenz überlastete Behörden tatsächlich produktiver machen, oder bleibt das reines Marketingversprechen? Eine große Feldstudie liefert dazu handfeste Evidenz: Forscher der ETH Zürich, des Imperial College London und der New Economic School haben gemeinsam mit der pakistanischen Justiz 1.559 Richter an 118 Gerichten in ein kontrolliertes Experiment eingebunden – und dabei etwas gefunden, das über die übliche KI-Erfolgsmeldung hinausgeht: Der entscheidende Faktor ist nicht der Zugang zum Werkzeug, sondern wie er vermittelt wird.

Das Wichtigste in Kürze

• 1.559 Richter an 118 Gerichten wurden in drei Gruppen randomisiert: KI-Zugang mit gezieltem Training, KI-Zugang mit allgemeinem Technologiekurs, und eine Kontrollgruppe ganz ohne KI-Zugang.
• Gezieltes Training auf das Tool JudgeGPT steigerte die Nutzungsintensität um das Vierfache gegenüber dem allgemeinen Kurs.
• Bei mittlerer Nutzungsintensität wurden 1.848 zusätzliche Fälle pro Jahr und Distrikt erledigt – ein Plus von 6,3 Prozent gegenüber dem Durchschnitt.
• Die Urteilsqualität litt darunter nicht: Berufungsquoten sanken leicht, die Textqualität der Urteile blieb stabil oder verbesserte sich sogar.
• Die Forscher beziffern die geschätzte Einsparung auf rund 38,5 Dollar pro investiertem Dollar, konservativ gerechnet mindestens 10 Dollar.

Was JudgeGPT eigentlich ist

JudgeGPT ist kein fertiges Produkt von der Stange, sondern ein eigens für pakistanische Gerichte entwickelter KI-Assistent, trainiert auf Basis der Urteile und Gesetzestexte des Landes. Vor dem Experiment gaben nur rund 25 Prozent der teilnehmenden Richter an, mit Sprachmodellen wie ChatGPT überhaupt vertraut zu sein – die Studie traf also auf eine weitgehend unerfahrene Zielgruppe, was die Ergebnisse besonders aussagekräftig macht. Die Forscher unterschieden sauber zwischen zwei Fragen, die in der öffentlichen Debatte oft vermischt werden: Hilft der reine Zugang zu einem KI-Tool, oder braucht es zusätzlich eine Anleitung, wie man es sinnvoll einsetzt? Die erste Gruppe erhielt beides, den Zugang plus sechs eigens zugeschnittene 90-minütige Trainingseinheiten über drei Wochen; die zweite Gruppe bekam denselben Zugang, aber nur einen allgemeinen Kurs zu Technologie und Recht ohne toolspezifische Anleitung.

Training entscheidet, nicht der Zugang

Das Ergebnis fiel eindeutig aus: Richter mit gezieltem Training nutzten JudgeGPT viermal intensiver als jene mit nur allgemeiner Schulung – im Schnitt rund 60 Logins mit über 200 Prompts gegenüber etwa 20 Logins mit unter 50 Prompts. Wichtig ist dabei die Art der Nutzung: Gezieltes Training verschob den Einsatz hin zu klar abgegrenzten Aufgaben wie Textverbesserung und Zusammenfassungen, weg von offenen juristischen Anfragen, bei denen die Antworten schwerer zu verifizieren sind und das Risiko von Halluzinationen steigt. Die Richter nutzten das Tool also überwiegend, um juristische Konzepte zu klären und beim Formulieren von Entwürfen zu unterstützen, nicht um komplette Urteile generieren zu lassen.

Auf Distriktebene übersetzte sich das in messbar mehr erledigte Fälle: Bei mittlerer Exposition gegenüber trainierten, KI-nutzenden Richtern stiegen die jährlich abgeschlossenen Fälle um rund 1.848 pro Distrikt – ein Plus von 6,3 Prozent. Bemerkenswert ist, dass die Richter dabei laut eigenen Angaben weder mehr Zeit für Recherche und Verwaltungsarbeit aufwendeten noch über eine höhere Arbeitsbelastung klagten. Der Produktivitätsgewinn kam also nicht durch längere Arbeitstage zustande, sondern durch effizientere Abläufe.

Qualität statt nur Tempo

Mehr Output um jeden Preis wäre für ein Justizsystem ein schlechtes Geschäft. Die Forscher prüften deshalb gezielt, ob die schnellere Fallbearbeitung auf Kosten der Entscheidungsqualität ging. Das Gegenteil war der Fall: Die Berufungsquote, ein gängiger Indikator für die wahrgenommene Qualität von Urteilen, sank in Distrikten mit stärkerer KI-Nutzung tendenziell sogar leicht. Auch bei der Analyse der Urteilstexte selbst, etwa Lesbarkeit, Länge und einer expertenvalidierten KI-gestützten Qualitätsbewertung, fanden sich keine Hinweise auf eine Verschlechterung; wenn überhaupt, deutete sich eine leichte Verbesserung an. Ebenso wenig fanden die Forscher systematische Verschiebungen bei Vorurteilen gegenüber bestimmten Gruppen in der juristischen Sprache. Die ökonomische Bilanz fällt entsprechend deutlich aus: Weil KI-gestützte Richter mehr Fälle pro Monat abschließen, ließe sich derselbe Output sonst nur durch zusätzliche Richterstellen erreichen. Auf Basis der beobachteten Infrastrukturkosten schätzen die Autoren die Nettoeinsparung auf rund 38,5 Dollar pro in JudgeGPT investiertem Dollar, selbst bei konservativer Rechnung bleiben es mindestens 10 Dollar.

Einordnung

Die Studie ist deshalb bemerkenswert, weil belastbare experimentelle Evidenz zu KI im öffentlichen Sektor bislang rar ist – die meisten Produktivitätsstudien zu Sprachmodellen stammen aus der Privatwirtschaft, wo andere Anreize und Kontrollmechanismen gelten. Dass ausgerechnet in einem zentralen Staatsapparat wie der Justiz, wo Entscheidungen über Freiheit und Eigentum fallen, ein sauber randomisiertes Experiment überhaupt möglich war, ist an sich schon ein kleiner methodischer Erfolg. Für die deutsche Debatte um KI in Verwaltung und Justiz liefert die Studie eine unbequeme, aber wichtige Botschaft: Der bloße Einkauf von KI-Lizenzen bringt wenig, wie auch im Bildungsbereich schon deutlich wurde. Entscheidend ist, ob Institutionen bereit sind, in zugeschnittenes Training zu investieren, das Beschäftigten zeigt, wofür ein Werkzeug taugt und wofür nicht. Die Autoren selbst warnen ausdrücklich davor, die Ergebnisse als Argument für KI als Ersatz von Richtern misszuverstehen: Untersucht wurde ausschließlich die Unterstützung bei Recherche und Formulierung, nicht die automatisierte Entscheidungsfindung.