'빅케이스GPT'로 변호사시험 정답률 53.3% 달성

[테크월드뉴스=김승훈 기자] 로앤컴퍼니가 변호사의 업무를 보조할 'AI 법률 비서' 개발에 한걸음 더 다가섰다. 자사의 자체 AI 시스템 '빅케이스GPT'가 변호사시험 객관식 문제에서 높은 정답률을 기록하며 서비스 기대감을 키우고 있다.

빅케이스GPT는 AI 기반 통합 법률정보 서비스인 빅케이스와 법률 종합 포털 로톡의 운영사인 로앤컴퍼니가 만든 자체 AI 시스템이다.

로앤컴퍼니는 빅케이스GPT에 GPT-4를 기반으로 RAG(Retrieval-Augmented Generation, 증강검색생성기법) 모델과 자체 고안한 프롬프트 엔지니어링을 적용했다. 또한 빅케이스가 확보하고 있는 국내 최다 판례 329만 건 중 정보 가치가 높은 판례들을 중심으로 벡터화된 데이터베이스를 구축함으로써 법률 분야 질의에 최적화된 답변을 내놓도록 설계했다.

앞선 3월 로앤컴퍼니는 오픈AI의 최신형 언어 모델인 GPT-3.5와 GPT-4를 활용해 변호사시험 객관식 문항을 풀도록 하는 자체 실험을 실시했고 각각 28.7%와 34%의 정답률이 나오는 것을 확인했다.

반면, 빅케이스GPT는 제12회 대한민국 변호사시험 객관식 문제에서 53.3%의 정답률을 달성하며 GPT-4의 정답률(34%)을 넘어섰다.

로앤컴퍼니는 빅케이스GPT에 판례뿐 아니라 빅케이스가 보유한 법령 14만 5천 건, 결정례 7천 건, 유권해석 7천 건 등 총 16만 건의 법률정보도 추가로 학습시켰다.

특히 빅케이스GPT는 생성형 AI의 최대 한계점으로 꼽히고 있는 할루시네이션(환각, 정보 왜곡 현상)을 ‘제로’에 가깝게 통제해 데이터의 신뢰성을 대폭 강화한 것이 특징이다. 실제 로앤컴퍼니는 반복적인 테스트를 통해 빅케이스GPT가 가짜 판례나 법령을 제시하지 않는 수준에 이른 것에 대한 검증을 마쳤으며, 향후 지속적인 QA를 거쳐 이를 완벽하게 제거할 예정이다.

로앤컴퍼니는 향후 빅케이스GPT에 다수의 언어 모델을 실험·적용하고 자체적으로 개발한 최적의 언어 모델을 추가로 적용해 본 시스템을 고도화할 계획을 갖고 있다. 이를 통해 내년 상반기 중 '슈퍼로이어(Super Lawyer, 가칭)'라는 AI 기반의 변호사향 B2B SaaS 서비스를 신규 출시하려고 한다.

지난 6월 톰슨로이터에 6억 5,000만 달러(8,450억 원)에 인수된 케이스텍스트(Casetext)의 코카운슬(Cocounsel) 서비스와 유사하게 ▲법률 메모 생성 ▲법률서면 요약 ▲법률 질의응답 등의 기능을 제공해 변호사의 업무 효율 제고에 기여하는 것이 목표다.

로앤컴퍼니 김본환 대표는 "한국어와 대한민국 법률에 최적화된 언어 모델로 개발될 슈퍼로이어는 변호사를 돕는 ‘AI 법률 비서’와 같이 구동되며 변호사의 업무효율을 극대화하는 역할을 맡게될 것"이라며 "법률AI연구소를 중심으로 변호사님들의 성과를 높이기 위한 서비스 출시에 집중해 더 많은 변호사님들의 업무환경 개선에 도움을 드리고 싶다"고 밝혔다.

회원가입 후 이용바랍니다.
개의 댓글
0 / 400
댓글 정렬
BEST댓글
BEST 댓글 답글과 추천수를 합산하여 자동으로 노출됩니다.
댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글수정
댓글 수정은 작성 후 1분내에만 가능합니다.
/ 400
내 댓글 모음
저작권자 © 테크월드뉴스 무단전재 및 재배포 금지