OpenAI steigt ins Rechts-KI-Geschäft ein – Harvey darf nicht stillstehen

OpenAI hat Astra for Law am 17. September vorgestellt – eine Kombination aus GPT-6 Astra, juristischer Recherche und spezialisierten Anweisungen. Harvey und Legora werden als künftige API-Nutzer genannt; ausgewählte Kanzleien erhalten über ChatGPT und Codex einen ersten Zugang. Der Anbieter bietet damit auch einen direkten Weg zum Kunden an. ¹

Die Bedrohung ist ernst. Doch sie bedeutet nicht, dass Harveys Geschäft soeben verschwunden wäre.

Diese Schlussfolgerung setzt voraus, dass Harvey stillsteht, während OpenAI voranschreitet. Die nützliche Frage ist, was Harvey lernen und aufbauen kann, wenn Fähigkeiten, die früher Spezialentwicklung erforderten, nun beim eigenen Anbieter verfügbar werden. Ein besseres Fundament kann ein Produkt stärken – und zugleich dafür sorgen, dass sich Teile davon schwerer abrechnen lassen.

Für diese Frage gibt es heute einen konkreten Anlass. Zeitgleich zum Start von OpenAI hat Harvey eine Forschungsarbeit↗ dazu vorgelegt, wie sich Urteile von Anwälten nutzen lassen, um Rechts-KI zu bewerten und zu verbessern. Die Studie macht eine schwierige Hürde deutlich: eine Antwort zu bekommen, die für eine bestimmte Aufgabe als gut genug befunden wird. ²

Die Messlatte hat sich verschoben. Die Ausgaben bleiben unbekannt.

Der Index von OpenAI umfasst mehr als 230 Millionen URLs. Die Ankündigung↗ beschreibt ihn als Ergänzung zu lizenzierten Inhalten von Anbietern wie Thomson Reuters. Sie nennt weder einen Preis noch die Zahl bezahlter Nutzerplätze oder Umsätze für Astra for Law. Und sie stellt auch nicht klar, dass die Nutzung des Index kostenlos ist. ¹

Diese Lücken wiegen schwer. Ein großer Korpus zeigt, welches Material ein System durchsuchen kann. Er zeigt nicht, was eine Kanzlei kündigen kann, was sie für den Ersatz zahlt oder ob der Ersatz dieselbe Arbeit erledigt.

Unser früherer Bericht über Harvey hat Finanzierung und Bewertung des Unternehmens beleuchtet. ³ Harvey selbst meldete am 9. September↗ eine Finanzierungsrunde von 550 Millionen Dollar zu einer Bewertung von 15,5 Milliarden Dollar – und erklärte, 80 Prozent der Kanzleien der Am Law 100 nutzten seine Produkte. Es sind Unternehmensangaben; die Nutzung sagt nichts über Größe oder Profitabilität dieser Beziehungen. ⁴

Der neue Marktstart gibt Anlass, dieses Geschäft erneut zu betrachten. Er liefert weder ein neues Umsatzmultiple noch Belege dafür, dass Kunden abwandern.

Der schwierige Teil: zu bestimmen, was „besser“ bedeutet

Harvey beschreibt eine Studie zu 24 Aufgaben für Rechts-Agenten, bei der drei Anwälte jede Aufgabe bewerteten. Die Prüfer waren sich nur in 25 Prozent der Paarvergleiche einig. Nach Angaben des Unternehmens betraf ein großer Teil der Meinungsverschiedenheiten die Frage, wie dieselben Stärken und Schwächen zu gewichten sind. ²

Genau hier wird das Problem interessant. Man stelle sich zwei Antwortentwürfe vor: Der eine ist leichter zu lesen, der andere geht sorgfältiger mit einer wichtigen Ausnahme um. Welchen von beiden sollte das System lernen zu erzeugen? Wer positive Bewertungen zählt, ohne den Grund zu verstehen, könnte dem System die falsche Lektion beibringen.

Harvey experimentiert mit generativen Reward-Modellen (generative reward models): KI-Bewertern, die Ergebnisse anhand von Kriterien prüfen, die Rechtsexperten geprägt haben. Das Unternehmen berichtet, dass diese Bewerter mitunter schwerwiegende Fehler in Kauf nahmen, weil eine Antwort andere Stärken aufwies, oder einen Gewinner bestimmten, obwohl die Anwälte beide Antworten für unzureichend hielten. Es sind Befunde aus Harveys eigener Forschung, keine unabhängige Validierung. ²

Ein System kann mehr Antworten erzeugen, ohne ein verlässliches Signal dafür zu liefern, welche Antworten es verdienen, wiederholt zu werden. Dieser Engpass verdient genaue Prüfung, bevor irgendjemand ein Daten-Flywheel (data flywheel) feiert.

Die Arbeit rund um das Modell zählt: was der Bewerter einsehen kann, wie die Korrektur eines Anwalts erfasst wird, was als schwerwiegendes Versagen gilt und ob die nächste Version bei unvertrauter Arbeit besser abschneidet. Mehr Nutzung wäre nur dann ein Vorteil, wenn das Unternehmen die einschlägigen Erfahrungen in verlässliche Verbesserungen umsetzen könnte – im Rahmen der Berechtigungen, die für diese Informationen gelten.

Kunden zu haben ist für sich genommen kein Beleg, dass diese Schleife existiert. Zu zeigen, dass sie die Ergebnisse bei den Kunden verbessert, wäre deutlich überzeugender, als das Produkt als spezialisiert zu bezeichnen.

Auch OpenAI kann dazulernen

In OpenAIs eigenem Test mit 200 privaten Validierungsfragen bestand Astra for Law die Prüfung der Gesamtkorrektheit in 54,0 Prozent der Fälle, Astra mit Websuche in 38,7 Prozent. OpenAI beschreibt zudem kanzleispezifische Anwendungen, die gemeinsam mit Sullivan & Cromwell, Ropes & Gray und Cooley entstanden sind. ¹

Der Benchmark ist ein enger Vergleich, kein Maß für abgeschlossene Mandate. Doch die Kanzleiprojekte machen die Wettbewerbsfrage schwieriger. Es wäre ein Fehler anzunehmen, der Anbieter des Fundaments müsse der Arbeit fernbleiben, während nur Spezialisten die Kunden verstehen.

Harvey kann sich nicht darauf verlassen, dass die heutige Arbeitsteilung Bestand hat. Ebensowenig sollten wir annehmen, dass OpenAIs Marktstart das endgültige Produkt ist, gegen das Harvey antreten wird. Beide Seiten können besser werden.

Der beste Zug des Spezialisten ist, das stärkere Fundament dort einzusetzen, wo es nützt, und die eigenen Anstrengungen auf die schwierige Arbeit zu konzentrieren, die Kunden bislang nicht zufriedenstellend erledigen können. Zu suchen wäre nach Belegen für weniger folgenreiche Korrekturen, geringeren Prüfaufwand und die wiederholte Nutzung bei bedeutsamen Aufgaben. Das sind vorgeschlagene Tests, keine Ergebnisse, die eine der beiden Ankündigungen bereits belegt.

Der nächste kommerzielle Beleg sollte ebenso konkret ausfallen: eine Vertragsverlängerung, eine Beschaffungsentscheidung, offengelegte Preise oder ein Kunde, der erklärt, welche Arbeit wohin gewandert ist und warum. Fortgesetzte Zahlungen würden zeigen, dass Kunden weiterhin Wert darin sehen. Wir müssten dann verstehen, was sie eigentlich kaufen – und nicht an ihrer Stelle entscheiden, dass eine Allzwecklösung eigentlich genügen müsste.

Astra for Law macht Stillstand gefährlicher. Sinnlos macht es den Aufbau eines Spezialisten dennoch nicht. Harveys Chance besteht darin, ein stärkeres Fundament schneller in ein besser funktionierendes Produkt zu verwandeln, als der Anbieter des Fundaments die verbleibende Lücke schließen kann. Diesen Vorsprung muss sich das Unternehmen immer wieder neu erarbeiten. Seine Bewertung kann ihm diese Arbeit nicht abnehmen.