OpenAI s'attaque à l'IA juridique. Harvey doit, elle aussi, continuer d'avancer.

OpenAI a lancé Astra for Law le 17 septembre. L'offre combine GPT-6 Astra avec une recherche juridique et des instructions spécialisées. Harvey et Legora sont cités comme futurs utilisateurs de l'API ; certains cabinets sélectionnés y accèdent dans un premier temps via ChatGPT et Codex. Le fournisseur propose par ailleurs une voie directe vers le client. ¹

La menace est sérieuse. Elle ne signifie pas que l'activité de Harvey vient de disparaître.

Cette conclusion suppose que Harvey reste immobile pendant qu'OpenAI progresse. La question utile est de savoir ce que Harvey peut apprendre et construire, à mesure que des capacités qui exigeaient jusqu'ici une ingénierie spécialisée deviennent disponibles chez son fournisseur. Un socle plus performant peut renforcer un produit et rendre, dans le même temps, certains de ses éléments plus difficiles à facturer.

Il existe aujourd'hui une raison concrète de poser cette question. Parallèlement au lancement d'OpenAI, Harvey a publié une étude↗ sur l'utilisation du jugement des avocats pour évaluer et améliorer l'IA juridique. Ces travaux mettent en évidence une contrainte difficile : obtenir une réponse jugée assez bonne pour une tâche donnée. ²

Le niveau de référence a bougé. Les dépenses, elles, restent inconnues.

L'index d'OpenAI couvre plus de 230 millions d'URL. L'annonce↗ le présente comme complémentaire des contenus sous licence proposés par des fournisseurs dont Thomson Reuters. Elle ne fournit ni tarif, ni nombre de licences payantes, ni chiffre d'affaires pour Astra for Law. Elle n'établit pas non plus que l'utilisation de l'index est gratuite. ¹

Ces omissions comptent. Un vaste corpus renseigne sur la matière qu'un système peut interroger. Il ne dit pas ce qu'un cabinet peut résilier, combien il paiera la solution de remplacement, ni si celle-ci accomplit le même travail.

Notre précédent article sur Harvey revenait sur le financement et la valorisation de la société. ³ Dans sa propre annonce du 9 septembre↗, Harvey a fait état d'une levée de fonds de 550 millions de dollars pour une valorisation de 15,5 milliards de dollars, et indiqué que 80 % des cabinets de l'Am Law 100 utilisaient ses produits. Ce sont des chiffres déclarés par l'entreprise ; l'usage ne dit rien de l'ampleur ni de la rentabilité de ces relations. ⁴

Ce lancement donne une raison de revenir sur cette activité. Il n'apporte pas de nouveau multiple de chiffre d'affaires, ni de preuve que des clients partent.

Le plus difficile : définir ce que « mieux » veut dire

Harvey décrit une étude portant sur 24 tâches confiées à des agents d'IA juridique, chacune évaluée par trois avocats. Les évaluateurs n'ont été unanimes que dans 25 % des confrontations. Selon l'entreprise, une grande partie des désaccords portait sur la manière de pondérer les mêmes forces et faiblesses. ²

C'est là que le problème devient intéressant. Imaginez deux projets de réponse : l'un est plus lisible, l'autre traite avec plus de soin une exception importante. Lequel le système doit-il apprendre à produire ? Compter les notes positives sans comprendre ce qui les motive pourrait lui enseigner la mauvaise leçon.

Harvey expérimente les modèles de récompense génératifs (generative reward models) : des évaluateurs d'IA qui confrontent les réponses produites à des critères définis par des juristes. L'entreprise rapporte que ces évaluateurs ont parfois accepté des erreurs graves en échange d'autres atouts, ou désigné un vainqueur alors que les avocats jugeaient les deux réponses insuffisantes. Ces conclusions proviennent de la propre étude de Harvey, et non d'une validation indépendante. ²

Un système peut produire davantage de réponses sans produire pour autant un signal fiable sur celles qui méritent d'être reproduites. Ce goulot d'étranglement mérite un examen attentif avant que quiconque ne célèbre un cercle vertueux des données.

Le travail autour du modèle compte : ce que l'évaluateur peut inspecter, la façon dont la correction d'un avocat est consignée, ce qui constitue un échec grave, et si la version suivante progresse sur des tâches inédites. Davantage d'usage ne serait un atout que si l'entreprise parvenait à transformer cette expérience en améliorations fiables, dans le respect des autorisations qui régissent ces informations.

Avoir des clients ne prouve pas, à soi seul, que cette boucle existe. Montrer qu'elle améliore les résultats des clients serait bien plus convaincant que de décrire le produit comme spécialisé.

OpenAI aussi peut continuer d'apprendre

Dans son propre test, mené sur 200 questions de validation privées, OpenAI indique qu'Astra for Law a réussi le contrôle global d'exactitude dans 54,0 % des cas, contre 38,7 % pour Astra recourant à la recherche web. OpenAI présente également des applications propres à certains cabinets, développées avec Sullivan & Cromwell, Ropes & Gray et Cooley. ¹

Le benchmark reste une comparaison étroite, pas une mesure de dossiers clients menés à terme. Mais les projets montés avec ces cabinets rendent la question concurrentielle plus épineuse. Ce serait une erreur de croire que le fournisseur du socle doit rester éloigné du travail, alors que seuls les spécialistes comprendraient les clients.

Harvey ne peut pas tabler sur le maintien de la division du travail actuelle. Et il ne faut pas davantage supposer que le lancement d'OpenAI est le produit définitif contre lequel Harvey aura à rivaliser. Les deux camps peuvent progresser.

La meilleure stratégie du spécialiste consiste à exploiter le socle plus solide là où il apporte un gain et à concentrer ses efforts sur les travaux difficiles que les clients ne parviennent toujours pas à mener à bien de façon satisfaisante. Les preuves à guetter : moins de corrections lourdes de conséquences, moins d'effort de relecture et un usage répété sur des tâches significatives. Ce sont des tests proposés, et non des résultats que l'une ou l'autre de ces annonces établirait.

La prochaine preuve commerciale devra être tout aussi précise : un renouvellement, une décision d'achat, des tarifs rendus publics, ou un client expliquant quels travaux ont basculé et pourquoi. La poursuite des paiements indiquerait que les clients y trouvent encore de la valeur. Il faudrait alors comprendre ce qu'ils achetaient, plutôt que de décider à leur place qu'une alternative généraliste devrait suffire.

Astra for Law rend l'immobilisme plus dangereux. Il ne rend pas pour autant inutile de bâtir une offre de spécialiste. L'opportunité de Harvey est de transformer un socle plus solide en un meilleur produit opérationnel, plus vite que le fournisseur du socle ne comblera l'écart restant. L'entreprise devra continuer à mériter cet écart. Sa valorisation ne peut pas faire ce travail à sa place.