오픈AI, 법률 AI 시장 진출…하비는 계속 달려야 한다

오픈AI는 9월 17일 GPT-6 아스트라(Astra)에 법률 검색과 전문 지침을 결합한 아스트라 포 로를 선보였다. 하비와 레고라는 향후 API를 쓰는 기업으로 이름을 올렸고, 선정된 일부 로펌은 챗GPT와 코덱스(Codex)를 통해 가장 먼저 쓸 수 있다. 모델을 공급하는 오픈AI가 고객에게 직접 닿는 통로까지 마련한 셈이다. ¹

위협은 심각하다. 그렇다고 하비의 사업이 순식간에 사라져 버렸다는 뜻은 아니다.

이런 결론은 하비가 멈춰 있는 동안 오픈AI만 앞으로 나아간다고 가정한다. 지금 물어야 할 질문은 다르다. 과거 전문 엔지니어링이 필요했던 기능이 공급사에서 바로 쓸 수 있게 된 지금, 하비는 무엇을 배우고 무엇을 만들 수 있을까. 기반이 좋아지면 제품은 강해질 수 있다. 동시에 일부 기능은 돈을 받기 어려워질 수도 있다.

이 질문을 오늘 던져야 할 구체적 이유가 있다. 오픈AI 발표와 같은 날, 하비는 변호사의 판단으로 법률 AI를 평가하고 개선하는 연구↗를 공개했다. 이 연구가 드러낸 제약은 만만치 않다. 특정 업무에 쓸 만하다는 평가를 받는 답을 얻어내는 일이다. ²

기준선은 올라갔다. 지출은 여전히 미지수다.

오픈AI의 인덱스에는 2억3000만개가 넘는 URL이 담겨 있다. 발표문↗은 이 인덱스가 톰슨로이터 등 콘텐츠 제공사들의 라이선스 콘텐츠를 보완한다고 설명한다. 아스트라 포 로의 가격, 유료 시트 수, 매출은 발표문 어디에도 없다. 인덱스 사용이 무료라는 확인도 없다. ¹

이런 누락이 중요하다. 방대한 코퍼스는 시스템이 검색할 수 있는 자료가 무엇인지만 알려준다. 로펌이 무엇을 해지할 수 있는지, 대체재에 얼마를 지불할지, 그 대체재가 같은 일을 해내는지는 알려주지 않는다.

본지는 앞선 하비 기사에서 이 회사의 자금 조달과 밸류에이션을 다룬 바 있다. ³ 하비는 9월 9일 자체 발표↗에서 기업가치 155억 달러를 인정받고 5억5000만 달러를 조달했다고 밝혔다. 또 미국 대형 로펍 순위 '앰로 100(Am Law 100)' 가운데 80%가 자사 제품을 쓴다고 했다. 어디까지나 회사가 밝힌 수치다. 이용 여부만으로 이들 관계의 규모나 수익성을 알 수는 없다. ⁴

이번 출시는 그 사업을 다시 들여다볼 이유를 만든다. 그렇다고 새로운 매출 배수가 나온 것도, 고객이 빠져나가고 있다는 증거가 확보된 것도 아니다.

정작 어려운 건 '더 낫다'의 기준을 정하는 일

하비는 법률 에이전트 과제 24건을 다룬 연구를 소개했다. 과제마다 변호사 세 명이 평가했다. 평가자 세 명의 의견이 모두 일치한 비교 건은 25%에 불과했다. 회사 측은 이견 상당수가 동일한 장단점에 어떤 무게를 둘지를 두고 벌어진 것이라고 밝혔다. ²

문제가 흥미로워지는 대목이 바로 여기다. 답변 초안 두 개를 상상해 보자. 하나는 더 읽기 쉽고, 다른 하나는 중요한 예외 사항을 더 꼼꼼하게 다룬다. 시스템은 어느 쪽을 내놓도록 배워야 할까. 이유를 모른 채 긍정 평가 개수만 세다가는 시스템에게 잘못된 교훈을 가르칠 수 있다.

하비는 생성형 보상 모델(generative reward model)을 실험하고 있다. 법률 전문가가 세운 기준에 비춰 결과물을 비교·평가하는 AI 평가자다. 회사에 따르면 이런 평가자는 다른 장점과 맞바꿔 중대한 오류를 그냥 넘기기도 했고, 변호사들이 두 답변 모두 부족하다고 본 경우에도 승자를 가리기도 했다. 어디까지나 하비 자체 연구 결과일 뿐 독립적 검증은 아니다. ²

시스템은 답변 수를 늘릴 수 있어도, 어떤 답변을 다시 내놓을 가치가 있는지 알려 주는 믿을 만한 신호까지 함께 만들어내지는 않는다. 데이터 플라이휠을 자축하기 전에 이 병목부터 점검해야 한다.

중요한 것은 모델 밖에서 벌어지는 작업이다. 평가자가 무엇을 들여다볼 수 있는지, 변호사의 수정이 어떻게 기록되는지, 무엇을 중대한 실패로 볼지, 다음 버전이 낯선 업무에서도 나아지는지다. 이용량이 늘어나는 것은 회사가 그 경험을 믿을 만한 개선으로 바꿔낼 수 있을 때에야 비로소 강점이 된다. 물론 해당 정보에 규정된 이용 권한의 범위 안에서다.

고객을 보유하고 있다는 사실만으로는 이 루프가 존재한다는 증거가 되지 않는다. 제품이 전문적이라고 설명하는 것보다 이 루프가 고객 성과를 실제로 개선함을 보여주는 쪽이 훨씬 설득력 있다.

오픈AI도 계속 배울 수 있다

오픈AI가 비공개 검증 문항 200개로 자체 테스트한 결과 아스트라 포 로의 종합 정확성 통과율은 54.0%였다. 웹 검색을 활용한 아스트라의 통과율은 38.7%였다. 오픈AI는 설리번 & 크롬웰, 로프스 & 그레이, 쿨리와 함께 구축한 로펌별 맞춤 애플리케이션도 소개했다. ¹

이 벤치마크는 좁은 범위의 비교일 뿐 실제 완결된 고객 업무를 재는 척도는 아니다. 그럼에도 로펌별 구축 사례는 경쟁 구도를 한층 복잡하게 만든다. 기반 모델 공급자는 실무에서 한 발 떨어져 있기 마련이고 고객은 전문 기업만 이해할 수 있으리라는 가정은 오판이다.

하비는 오늘날의 분업 구도가 그대로 유지되리라 기대할 수 없다. 오픈AI의 이번 출시가 하비가 맞붙게 될 최종 제품이라고 여겨서도 안 된다. 양쪽 모두 발전할 수 있다.

전문 기업이 쓸 수 있는 최선의 수는 도움이 되는 부분에서는 더 강력한 기반 모델을 활용하되, 고객이 여전히 만족스럽게 해내지 못하는 어려운 업무에 역량을 집중하는 것이다. 살펴봐야 할 증거는 중대한 수정의 감소, 검토 부담의 축소, 의미 있는 업무에서의 반복 사용이다. 이는 제안된 시험 기준일 뿐 어느 쪽 발표로도 입증된 결과가 아니다.

다음으로 볼 상업적 증거도 마찬가지로 구체적이어야 한다. 계약 갱신, 조달 결정, 가격 공개, 또는 어떤 업무가 옮겨졌고 왜 그런지를 고객이 직접 설명하는 것이다. 지불이 계속된다는 것은 고객이 여전히 가치를 발견하고 있다는 뜻이다. 그다음 과제는 고객이 정확히 무엇을 사고 있는지 이해하는 것이지, 범용 대안이면 충분할 것이라고 고객을 대신해 결정하는 것이 아니다.

아스트라 포 로는 제자리에 머무는 일을 더 위험하게 만든다. 그렇다고 전문 기업을 만드는 일이 무의미해진 것은 아니다. 하비의 기회는 기반 모델 공급자가 남은 격차를 좁히는 속도보다 빠르게 더 강력한 기반을 더 나은 실무용 제품으로 전환하는 것이다. 이 회사는 그 격차를 계속 스스로 입증해야 한다. 밸류에이션이 그 일을 대신해 주지는 못한다.