협업지능의 미래를 내다본 법률 튜링 테스트 '알파로 경진대회'
[테크월드=이건한 기자] 국내 첫 인간 대 인공지능의 법률 분석 대결로 이목을 끌었던 제1회 ‘알파로 경진대회’가 8월 29일 서울 서초구 강남구 변호사 회관 5층 인권실에서 개최됐다. 인공지능법학회가 주최하고 법률신문이 후원한 본 대회에는 인간 변호사 2인 1조의 9개 팀과, 인텔리콘 연구소가 개발한 법률 AI인 ‘C.I.A’와 인간 변호사가 짝을 이룬 3개 팀이 참가해 제시된 근로계약서를 검토하고 자문하는 실력을 겨뤘다.
대회 심사위원장을 맡은 이명숙 변호사(사법연수원 19기)는 개회사를 통해 “법률 AI에게 재판 결과를 결정할 능력은 없지만, 지금 우리가 네이버에서 검색으로 정보를 얻는 행동이 자연스러운 것처럼 법률 AI 역시 인간 변호사를 위해 유용한 자료를 빠르게 제공할 수 있다는 점에서 충분히 획기적”이라며, “이른 시일 내 법조계에서도 법률 AI를 인간의 경쟁자가 아닌 함께 협업할 수 있는 유용한 존재로 인식하게 될 것”이라고 말했다.
이와 함께 “오늘 대회는 인간 대 AI의 대결이 아니라 인간 변호사가 법률 AI를 어떻게 활용할 수 있는지 확인하고 경험해볼 수 있는 축제의 장이며, 이 대회를 일종의 ‘법률 튜링 테스트’라고 불러도 좋을 것”이라고 덧붙였다. 알파로 경진대회는 지난 26일 진행된 사전 설명회에서도 대결보다 ‘협업지능’이란 가능성에 중점을 둔다는 부분을 강조한 바 있다.
이명숙 변호사가 언급한 튜링 테스트는 AI 업계에서 유명한 인공지능 검증 방법이다. ‘인간과 AI가 나눈 채팅 내용을 인간 심사위원이 보고 둘 중 누가 AI인지 판별할 수 없다면 해당 AI는 인간과 대화를 나눌 만큼의 지성을 지닌 것으로 판단할 수 있다.’ 간단하지만 상징성이 깊은 테스트다. 알파로 경진대회 역시 대회 시작부터 채점까지 전 과정이 블라인드 테스트로 진행돼 심사위원들은 어느 답안이 AI팀의 것인지 알 수 없도록 기획됐다.
1라운드, 과연 C.I.A는 얼마나 쓸만할까?
나직한 법봉 소리와 함께 시작된 1라운드는 시종일관 긴장감이 감도는 분위기였다. 대회 정숙을 위해 방송국 촬영 카메라까지 모두 퇴장한 가운데 인간 변호사들은 함께 조용히 머리를 맞대고 의견을 나누며 답을 써 내려 갔고, AI팀 변호사들은 C.I.A에 문제로 제시된 근로계약서 파일을 업로드하고 분석된 결과를 확인하며 대체로 여유롭게 답을 적는 모습이었다. 참고로 문제를 푸는 조건은 약간 달랐다. 인간 변호사팀은 인터넷 검색이 자유롭게 허용됐지만, AI팀은 C.I.A와 U-LEX(지능형 법률 판례 통합 검색 시스템) 단 두 가지 시스템의 조력만을 받을 수 있도록 했다.
당초 1라운드는 20분 동안 2개의 계약서 문제를 푸는 것이었다. 하지만 아무래도 시간이 부족하다고 느꼈던 걸까, 라운드 중간에 시험 시간을 10분 추가하며 총 30분의 시간이 주어졌다. 라운드 종료 전 5분을 알리는 안내가 나온 뒤에는 답을 적는 변호사들의 펜 놀림도 한층 빨라졌고 1라운드가 끝난 뒤 몇몇 변호사들은 고개를 갸우뚱하며 웃는 모습을 보여주기도 했다.
이어진 잠깐의 휴식 시간, 막간을 이용해 AI와 한 팀이었던 법무법인 지평 김형우 변호사에게 중간 소감을 묻는 미니 인터뷰를 요청했다.
Q. 법률 AI에 대해 아무래도 가장 궁금한 건 역시 실전에서의 효율이다. 직접 써보니 도움이 된다는 느낌을 받았나?
기대했던 것보다 굉장히 큰 도움을 받았고 성능도 뛰어난 것 같다. 처음에 조금 놀랐지만 적응한 뒤에는 ‘이런 게 있으면 도움받을 부분은 도움을 받고 내가 잘하는 부분에 집중한다면 더 좋은 성과를 내겠다’란 생각이 들었다.
Q. 참관 중 살짝 보니 계약서 업로드와 분석까지 1~2분 정도 걸리는 듯 보였다. 시간 효율이 높았던 편인가?
실제 분석 시간과 비교하면 아주 빠른 편이고, 순식간이라고 표현해도 좋을 것 같다. 사람은 일종의 ‘예열’시간도 필요한 반면, AI는 그런 게 없으니 더 적은 시간이 걸린다.
Q. 정확도는 어땠는가?
아직 완벽하진 않지만 AI가 지적했던 내용들은 꽤 정확하고 참고할 만했다. 결과적으로 시간적으로나 질적으로나 인간의 업무 노동 강도를 크게 덜어줄 수 있는 좋은 기술이란 인상을 받았다. 특히 내가 미처 몰랐던 부분이 반 이상 나오는 등 변호사 입장에서 봐도 분명 놀라운 부분들이 있었다. 기술을 찬양하는 게 아니라, ‘아 이걸 나 혼자 힘으로 다 할 수 있다는 생각을 버려야겠다’는 생각을 할 수 있는 기회였다.
Q. 써보니 아쉬웠던 부분이 있는가?
기술적인 부분은 차차 개선될 것이고, 굳이 꼽자면 이것이 너무 편하다 보니 우리가 여기에 익숙해지면 나중에 변호사들이 어떻게 사고를 해서 문제를 풀어갈 것인지에 대한 능력이 약해질까 봐, 기계적으로 일하진 않을까란 우려가 들긴 했다. 다만 그만큼 변호사들은 의뢰인들을 만나고 소통하는 더 중요한 부분에 시간을 투자할 수 있을 것이란 점은 긍정적으로 생각한다.
Q. 앞으로 추가됐으면 하는 부분이 있다면?
자연어 처리나 머신러닝 능력이 향상돼 지금보다 복잡한 문장과 법문을 이해하고, 문장의 형태나 표현의 장애 없이 실제적인 의미를 기계가 이해해 분석해내는 그런 수준으로 향상됐으면 좋겠다. 오늘 문제로 나온 계약서는 근로 조건 위주로 제출됐는데 실제 계약서는 훨씬 많은 문장으로 이뤄져 있다. 그런 계약서까지 처리하려면 아무래도 문장 처리와 독해 능력은 지금보다 더 높은 성능이 필요하지 않을까 싶다.
짧은 인터뷰를 마치며 ‘오늘 과연 인간 팀에게 이길 수 있을까?’란 가벼운 질문을 던져봤다. 이에 김형우 변호사는 웃으며 “인간 변호사 중에서도 실력이 나쁜 저를 초빙한 걸 보니 섭외가 아주 잘 된 것 같다. 사실 근로계약 분야 전문 변호사가 아니다 보니 사전지식도 별로 없는 편이라 결과는 예측하기 어려울 것 같다”며 유쾌하고 겸손한 답을 내놓았다. 그러나 미리 말하자면, 결과의 향방을 알 수 없겠다던 김형우 변호사는 이날 대회에서 전체 1등을 차지하는 기염(?)을 토했다.
2라운드, 이번 대회는 과연 공정했는가?
이어진 2라운드는 20분 동안 하나의 근로계약서가 주어지며 1라운드에 비해 전반적으로 다들 여유로운 모습이 느껴졌다. 일부 AI팀의 경우 현장에 집중된 와이파이 접속으로 C.I.A 연결이 다소 끊어지는 등, 약간의 헤프닝이 있었지만 대회에 큰 지장을 주는 정도는 아니었던 것 같다. 2라운드 종료 후, 이번에는 인간 변호사팀으로 참가했던 법무법인 고원의 한지연 변호사를 만나 질문을 던져봤다.
Q. 우선 인간 참가자 입장에서 오늘 대회의 진행이나 시험 과정이 공정했다고 판단하는가?
사실 1라운드는 시간이 많이 부족했단 느낌이 들었다. 평소에는 실수를 방지하기 위해 계약서를 꼼꼼히 확인하는 것에 익숙하다. 그래서 문제를 읽는 시간 등에서는 분배가 잘 안 됐던 것 같다. 하지만 2라운드는 하나의 문제만 주어진 덕분에 1라운드보다 훨씬 여유롭게 문제에 임할 수 있었다.
Q. 부족했던 시험 시간이 결과에 영향을 끼칠까?
아무래도 영향이 있을 수밖에 없다. 알파로(C.I.A)는 수초 안에 계약서를 파악하고 문제를 분석할 수 있으며, 변호사는 그를 토대로 작성하면 되는 것과 달리 인간 변호사들은 분석하는 부분에서부터 이미 시간적 압박이 있기 때문에 분석 결과에서도 실수가 발생할 수 있기 때문이다.
Q. 다른 변호사에게도 물어봤지만, 대회 결과는 어떻게 예측하는가?
사실 이번 대회처럼 단순히 ‘법에 위반되는 사항’을 찾는 식의 문제라면 AI를 쓰는 게 맞다고 본다. 하지만 의뢰인에 대한 상담과 자문은 일률적으로 해석할 수 있는 부분이 아니므로 변호사가 계속 필요한 영역이다. 법률 사무에서 알파로는 ‘계산기’와 비슷하다.
산수대회에서 계산기를 사용한 사람과 그렇지 않은 사람이 있다면 당연히 계산기를 사용한 측이 더 유리할 것이란 면에서 생각하면 이번 대회는 아무래도 AI가 우승하리란 예상이 든다.
Q. 법률 AI 도입에 대해 변호사들은 어떤 생각을 갖고 있나? 보통 일반인들은 판사도 AI가 대체할 수 있다고 말하곤 한다.
법률 AI와 인간 변호사가 할 수 있는 일에는 명확히 구분되는 영역이 있다. 예를 들어 오늘 문제로 나온 근로계약서는 상대적으로 단순한 계약서다. 하지만 실제 소송 과정에서 만나는 계약서에는 계약 당사자 간에 특약사항 같은 요소들이 존재하며 어떤 의도로 그런 계약을 했는지 의사를 파악하는 것이 더 중요하다.
하지만 AI는 아직 계약의 동기와 목적 등을 종합적으로 고려해 당사자 의사를 판단하기엔 아직 부족한 편이다. 또 변론을 준비하는 과정에서도 의뢰인들이 늘 진실만을 말하진 않는다. 자신에게 최대한 유리한 말을 할 수밖에 없는데, AI는 그런 거짓 여부도 파악할 수 없다.
이 밖에도 소송 진행 중 상대의 공격에 유기적으로 대응하는 방어 전략 구상 등, 변호사의 업무 영역에서 법률 판단은 일부에 불과하므로 AI가 변호사를 완전히 대체한다는 건 아직 부족한 면이 많다고 생각한다.
다만 AI 도입에 부정적이란 뜻은 아니다. 긍정적인 부분들이 분명히 있다. 특히 서면 작성 전 가장 처음으로 진행하는 리서치 업무는 생각보다 많은 시간을 요구하는 작업이다. 관찰의 폭을 넓히기 위해 단적인 사건에 대한 리서치만 진행하는 게 아니라 연관 사건까지 함께 찾다 보면 그 시간은 훨씬 길어진다. 게다가 변호사들이 보통 한 번에 하나의 사건만 진행하는 것도 아니다.
즉, 에너지는 한정돼 있는데 리서치 업무에 들이는 시간이 늘어날수록 더 중요하게 고려해야 할 부분에서 투자할 시간은 줄어든다는 이야기다. 그런 측면에서 업무 강도를 낮춰주는 법률 AI의 존재는 분명히 긍정적이다. 향후 AI를 활용하는 변호사가 AI를 사용하지 않는 변호사보다 훨씬 효율적이고 유리할 수밖에 없을 것이다.
사실 이번 대회 직후 가장 많은 질문이 쏟아졌던 부분 중 하나가 바로 시간에 대한 공정성이었다. 지난 2016년 알파고와 이세돌의 바둑 대결 이후 특정한 룰이 정해진 일부 영역에서 AI가 인간보다 나은 능력을 보여주는 모습을 보여주는 건 더 이상 낯설지 않은 모습이다.
이를 의식한 탓인지 심사위원들이 답안을 평가하는 부분에서 AI팀에 편향된 결과를 주지 못하도록 전체 참가팀은 대회 시작 직전에 추첨한 각자의 숫자 코드명만으로 대회에 함께했다. 답안도 AI팀과 인간팀이 모두 동일하게 수기로만 작성하도록 했다. 다만 그럼에도 불구하고 1라운드 진행 도중에 시간을 추가하는 식의 조정이 있었던 것과 참가자들의 평가 등을 미뤄보면 시간 면에서는 인간을 배려해 좀 더 여유로운 시간 분배가 이뤄졌어야 했다는 아쉬움이 남는다.
이 문제에 대해 대회 후 심사위원 중 한 명인 신현호 변호사는 ‘제한된 시간 내에 얼마나 많은 정보를 습득할 수 있는지 겨루는 대회이기 때문에 시간적인 부족함이 있다면 오히려 AI가 도입돼야 할 당위성이 있다”며, “법학은 실용 학문이다. 변호사도 제한된 시간 내에 자문을 해야 하는 것처럼 시간은 상당히 중요한 문제”란 취지의 설명을 했다.
예상대로 AI의 승리, 3위는 AI와 함께한 ‘일반인’
대회 직후 심사까지는 예정 시간을 훌쩍 뛰어넘는 긴 시간이 소요됐다. 심사위원단은 정확한 측정을 위해 처음의 심사방식을 바꿔 높은 점수를 받은 5개 팀을 선발하고 그 안에서 다시 3명의 심사위원이 한 번씩 점수를 재측정하는 크로스체킹을 진행했다. 그리고 한참 뒤 나온 결과는 예상되면서도 다소 놀라운 결과를 담고 있었다.
1등부터 3등까지는 전부 AI를 사용한 팀이었다. 1위는 앞서 언급한 김형우 변호사, 2등은 법률사무소를 운영하는 김한규 변호사, 그리고 3등은 놀랍게도 변호사가 아닌 일반인이었다. 일반인의 참가 여부는 기자도 미처 몰랐던 사항이었다.
대회에 일반인이 투입된 이유에 대해 인텔리콘 임영익 대표는 “실제 일을 하다 보면 변호사보다 리걸(Legal, 법) 마인드가 뛰어난 분들이 많다. 또 변호사가 내린 답에 대해 변호사의 능력 그 자체보단 이전의 검사나, 판사 경험 등 이전 직책이 영향을 주는 경우도 있다. 하지만 AI 변호사라면 그런 불합리함이 조금은 완화될 것”이라며, “AI 변호사의 존재가 오히려 법률을 아는 일반인들에게 더 도움이 되리란 사실을 증명하고, 소수의 지식을 누군가 독점하는 것보단 누구에게나 평등하게 제공되는 것이 더 투명한 세상을 만들 것이라고 생각했기 때문”이라고 말했다.
아울러 “의료계에는 ‘예방 의학’이란 개념이 있다. 지금까지도 우리 사법 시스템은 송사에 휘말려야만 변호사와 상담하는 구조인데, 의사보다 더 의사 같은 일반인들이 있듯이 사학법에서도 계약서 작성 시 ‘예방 사법’의 측면에서 AI 변호사를 통해 미리 정보를 얻을 수 있다는 것을 증명할 수 있다면 보다 의미가 있지 않을까 싶어 일반인을 대회에 참가시켰다”고 설명했다.
이날 청중들을 놀라게 했던 일반인 참가자 신아영 씨는 법률 관련 지식이 전무한 물리학도다. 그는 “법에 대해 전혀 모르는 데 3등을 해 너무 영광이고, 주관식의 경우 제시된 분석을 재조합해 균형을 잡아봤는데 괜찮은 평가를 받아 놀랐다”고 소감을 밝혔다.
아마 이번 대회에서 일반인이 실제 변호사들을 제치고 3등을 차지한 부분에 대해서는 향후 많은 해석의 여지가 있을 것이다. 그러나 이번 결과를 두고 AI가 인간 변호사를 대체할 충분한 잠재력이 있다고 판단할 수 있는 걸까?
이에 대해 앞서 인터뷰한 한지연 변호사는 “요즘 기사나 댓글을 보면 AI가 변호사뿐 아니라 판사도 대체할 수 있다는 의견도 많아 일반인들이 보고 오해할 여지가 많은 것 같다. 하지만 앞서 말한 것처럼 인간과 AI가 잘 할 수 있는 영역은 명확히 분리돼 있으며, 프로그램으로 분석된 결과를 조합해 답안을 제출하는 건 일반인도 가능한 수준이다.
따라서 이번 결과만으로 AI의 변호사나 판사 대체 같은 생각을 하기엔 시기상조란 생각이 든다. 또 앞서 말한 것처럼 알파로는 변호사 대체의 의미보다 변호사 입장에서 유용한 계산기 하나가 개발됐다는 정도의 의미로 여기는 것이 보다 정확할 것”이라고 말했다.
한편 우승을 차지한 김형우 변호사는 “상은 제가 아니라 AI가 받아야 하는 것 아니냐”며, “AI를 대신해 소감을 대신 말하겠다”라고 말하며 좌중의 웃음을 자아냈다. 김 변호사는 “AI가 내려준 답을 그대로 베껴 쓰는 내 모습은 그리 인간적이지 않겠지만, 내일은 그 머리 위에 앉아 더욱 새롭게 AI를 활용하는 내 모습이 그려지기도 한다. 인간과 기술은 함께 개발해 나가는 존재다. 아직 미흡해도 예쁘게 보고 잠재력을 개발하는 건 결국 사용자의 몫이며, 세계에 내놔도 부끄럽지 않을 AI의 개발을 축하하고 우승해서 기쁘다”고 밝혔다.
이 외에도 이번 대회 형평성에 대한 몇 가지 이야기가 추가로 더 오갔지만, 공통적인 답은 ‘AI를 쓰는 사용자에 따라 결과나 기대치는 달라진다’는 것이었다.
대회 후 이뤄진 심사위원 강평에서도 이명숙 심사위원장은 “채점하면서 예상과 달리 객관식이나 주관식 모두에서 인간과 AI의 접근 방식이 차이가 있음을 느꼈다. 같은 주관식 답이라도 AI는 수치에 근거한 답을 내놓았고 인간과 인간이 상의하고 접근한 부분이 또 다른 등 성적 차이는 꽤 있었다”며, “AI를 사용하더라도 누가 어떻게 활용하는가에 따라 차이가 많이 날 수 있다. 정리해 볼 때 AI는 빠르게 판단하지만 종합적 판단은 여전히 변호사들이 더 낫고, 블라인드 테스트였지만 인간이 더 유능한 분야는 분명히 있다는 생각을 확인하게 됐다”고 말했다.
대회를 직접 참관한 기자도 이번 대회가 단순한 인간과 AI의 실력을 겨루는 대회가 아니었다는 확신이 들었다. 주최 측이 밝혔던 것처럼 생각보다 무겁지 않은 분위기에서 변호사들은 대회를 즐기며, 또 동시에 결과에 호기심을 갖는 모습을 볼 수 있었다.
질문과 답변 속 오가는 변호사들의 대답에도 대회 기획 과정에서의 깊은 고민이 엿보이는 듯했다. 물론 이번 대회에 출전한 법률 AI는 요즘 일반적으로 사용되는 AI보다는 좀 더 ‘전문가 시스템’에 가깝지 않았나는 생각이 든다. 이런 형태의 AI가 발전해 변호사나 판사를 대체한다는 가정은 너무 요원해 보인다.
하지만 AI가 인간을 도와 놀라운 성과를 이뤄내는 부분을 현장에서 두 눈으로 직접 확인해보니 인공지능의 미래는 인간과의 조화, 협업지능에 있다는 생각에 믿음이 생겼다. AI는 인간을 단순 반복 업무 사회에서 벗어나 더욱 인간다운 일을 할 수 있는 세상을 살게 할 훌륭한 도구이자 파트너다. 앞으로 이런 AI가 더 많이 등장하고, 이를 지혜롭게 받아들이고 다룰 수 있는 인간의 숫자도 지금보다 더욱 늘어나길 기대해본다.
그래도 삭제하시겠습니까?