OpenAI двинулась в юридический ИИ. Harvey тоже придется двигаться

17 сентября OpenAI представила Astra for Law — модель GPT-6 Astra в сочетании с юридическим поиском и специализированными инструкциями. Harvey и Legora названы в числе будущих пользователей API; первичный доступ через ChatGPT и Codex получают отобранные фирмы. Поставщик модели при этом предлагает и прямой выход на клиента. ¹

Угроза серьезная. Но это не значит, что бизнес Harvey только что исчез.

Такой вывод исходит из допущения, что Harvey стоит на месте, а OpenAI движется вперед. Полезнее спросить о другом: чему Harvey может научиться и что построить теперь, когда возможности, ранее требовавшие специализированной инженерии, можно получить у самого поставщика. Более сильная базовая модель способна одновременно укрепить продукт и затруднить монетизацию отдельных его частей.

У этого вопроса сегодня есть и конкретный повод. Одновременно с запуском OpenAI компания Harvey опубликовала исследование↗ об использовании суждений юристов для оценки и улучшения юридического ИИ. Исследование обнажает трудное ограничение: как получить ответ, который признают достаточно хорошим для конкретной задачи. ²

Планка поднялась. Расходы по-прежнему неизвестны.

Индекс OpenAI охватывает более 230 млн URL-адресов. В анонсе↗ он описан как дополнение к лицензионному контенту поставщиков, среди которых Thomson Reuters. Ни цена Astra for Law, ни число платных рабочих мест, ни выручка от продукта в анонсе не названы. Из него также не следует, что пользование индексом бесплатно. ¹

Эти умолчания важны. Большой корпус говорит лишь о том, по каким материалам система может искать. Он не отвечает, от чего фирма может отказаться, сколько она заплатит за замену и справится ли замена с той же работой.

Наш предыдущий материал о Harvey был посвящен финансированию и оценке компании. ³ В собственном анонсе от 9 сентября↗ компания сообщила о привлечении $550 млн при оценке в $15,5 млрд и о том, что ее продукты используют 80% фирм из рейтинга Am Law 100. Это цифры самой компании; сам факт использования не говорит ни о масштабе этих отношений, ни об их доходности. ⁴

Новый запуск OpenAI дает повод вернуться к разговору об этом бизнесе. Но он не приносит ни нового мультипликатора выручки, ни свидетельств того, что клиенты уходят.

Самое трудное — решить, что значит «лучше»

Harvey описывает исследование, охватившее 24 задачи для юридических агентов: каждую задачу оценивали три юриста. Юристы были единодушны лишь в 25% парных сравнений. По словам компании, значительная часть разногласий касалась того, как взвешивать одни и те же достоинства и недостатки. ²

Именно здесь проблема становится интересной. Представьте два варианта ответа: один легче читается, другой аккуратнее обрабатывает важное исключение. Какой из них система должна научиться выдавать? Подсчет положительных оценок без понимания их причин может научить ее неверному.

Harvey экспериментирует с генеративными моделями вознаграждения (generative reward models) — ИИ-оценщиками, которые сравнивают результаты по критериям, выработанным юридическими экспертами. По данным компании, такие оценщики иногда прощали серьезные ошибки в обмен на другие достоинства или выбирали победителя там, где юристы считали оба ответа неудовлетворительными. Это выводы собственного исследования Harvey, а не независимая проверка. ²

Система может выдавать все больше ответов, не создавая при этом надежного сигнала о том, какие из них стоит повторять. Это узкое место заслуживает изучения прежде, чем кто-то начнет праздновать «маховик данных».

Важна и работа вокруг самой модели: что доступно оценщику для проверки, как фиксируется правка юриста, что считается серьезным сбоем и улучшает ли следующая версия результаты на незнакомых задачах. Рост использования дал бы преимущество лишь в том случае, если компания способна превращать накопленный опыт в устойчивые улучшения — не выходя за рамки разрешений, которыми регулируется эта информация.

Наличие клиентов само по себе не доказывает, что такой цикл существует. Гораздо убедительнее, чем называть продукт специализированным, было бы показать, что этот цикл улучшает результаты клиентов.

Учиться может и OpenAI

В собственном тесте OpenAI на 200 непубличных контрольных вопросах Astra for Law прошла общую проверку корректности в 54,0% случаев против 38,7% у Astra с веб-поиском. OpenAI также описывает приложения, созданные под конкретные юрфирмы совместно с Sullivan & Cromwell, Ropes & Gray и Cooley. ¹

Такой бенчмарк — узкое сравнение: о завершённых делах клиентов он ничего не говорит. Но совместные с юрфирмами проекты лишь усложняют вопрос о конкуренции. Было бы ошибкой полагать, что разработчик базовых моделей должен оставаться вдали от практической работы, а клиентов понимают только специализированные компании.

Harvey не может рассчитывать на то, что нынешнее разделение труда сохранится в неизменном виде. Не следует также считать, что запуск OpenAI — это финальный продукт, с которым Harvey предстоит конкурировать. Улучшаться могут обе стороны.

Лучший ход специализированной компании — задействовать более сильную базовую модель там, где она помогает, и сосредоточить усилия на сложной работе, с которой клиенты пока не справляются должным образом. Свидетельства, которые стоит искать, — сокращение числа существенных исправлений, снижение трудозатрат на проверку и повторное использование системы в значимых задачах. Это предлагаемые критерии, а не результаты, которые подтверждал бы хоть один из двух анонсов.

Следующие коммерческие свидетельства должны быть столь же конкретными: продление контракта, решение о закупке, раскрытые цены или клиент, объясняющий, какая работа куда и почему переместилась. Сам факт дальнейших платежей говорил бы о том, что клиенты по-прежнему видят в продукте ценность. Но тогда пришлось бы разбираться, что именно они покупают, а не решать за них, что универсальной альтернативы должно быть достаточно.

Astra for Law делает бездействие ещё опаснее. Но это не превращает создание специализированной компании в бессмысленное занятие. Шанс Harvey — превратить более сильную базовую модель в лучший продукт для реальной работы быстрее, чем разработчик базовых моделей закроет оставшийся разрыв. Заслуживать этот разрыв компании придётся снова и снова. Её оценка не сделает эту работу за неё.