인공지능이 법률 문서를 검토한다면?
[카카오AI리포트] 이수경, 유영무
지난 2015년에 방영된 SBS 드라마 ‘풍문으로 들었소’에서는 산더미처럼 쌓인 서류를 검토하는 장면이 자주 등장한다. 대를 이은 법조인 집안의 가장이자 한송 법률사무소의 대표 변호사인 한인상(유준상 분)은 다른 변호사들과 밤새도록 서류를 들여다보며 청문회에서 나올만 한 예상 질문지를 뽑는다. 이는 국무총리 인선까지 좌지우지할 정도의 권력을 가지고 있다는 것을 간접적으로 드러내는 연출 중 하나였다.
[카카오 AI 리포트] Vol. 13 (2018년 5월 호)은 다음 내용으로 구성되어 있습니다.
[1] AI & life - 일상 생활에 스며든 AI part.2
03. 이수경 유영무 : 법률 : 인공지능이 법률 문서를 검토한다면?
[2] Kakao inside - 딥러닝 연구와 의료 AI
04. 변민우 홍은빈 : 꽃이름이 궁금해? 다음 앱 AI에 물어봐!
05. 이수경 최일지 최규동 백운혁 : 브레인 클라우드
[3] information
[카카오 AI 리포트] Vol. 13 전체글 다운받기
[카카오 AI 리포트] Vol. 13_3 다운받기
1993년에 개봉한 영화 ‘야망의 함정(The Firm)’에도 산더미 같은 서류 더미를 검토하는 미치 맥디르(톰 크루즈(Tom Cruise))의 모습이 나온다. 그는 FBI와 회사, 그리고 마피아 사이에서 살아남을 방도를 모색하고자 사건과 관련된 서류를 꼼꼼히 들여다본다. 마침내 모든 곤경에서 빠져나갈 단서를 찾은 미치는 정의에 맞서는 세력으로부터 자신을 지키는 데 성공한다.
[ 그림 1 ] SBS 드라마 '풍문으로 들었소'의 한 장면*1변호사가 검토하는 서류가 넘치는 이유
대중문화에서 흔히 볼 수 있듯이 로펌 변호사의 보통 일과는 수만 가지의 종이 서류를 검토하는 일이다. 다행히 오늘날의 서류 보관 방식이 점차 아날로그에서 디지털로 변환됨에 따라 변호사가 특정 문서를 찾아보거나 관리하기가 한결 수월해졌다. 계약서를 효과적으로 검토하거나 보관하는 기능을 갖춘 계약 문서 관리 소프트웨어*2가 생겨난 덕분이다. 이런 편리성을 이유로 일부 대형 로펌에서는 관련 소프트웨어를 도입하기도 한다.
계약 문서 한 건을 검토하는 데 1주일에서 최대 한 달가량의 시간이 걸린다는 점*3을 고려한다면 법무 팀에서 감당해야 할 업무 부하는 절대적으로 클 수밖에 없는 구조다. 중견 기업의 사내 법무 팀은 근무 시간의 50%를 계약서를 검토하는 데 소비한다.*4 전략적인 의사 결정을 위해 투자할 시간이 절대적으로 모자란 상황이다. 이런 이유로 외부 로펌에 의뢰하는 문서가 늘어나면서 서류 검토에 따르는 비용 부담이 기하급수적으로 늘어나게 된다.
지난 2017년 알트만 웨일 서베이(Altman Weil Survey)*5는 최고 법률 책임자(chief legal officers, CLO)에게 질문을 하나 던졌다. 법무 팀에 충분한 자원이 없어서 해결하지 못하는 가장 중요한 내부 업무나 프로젝트, 이니셔티브에 대해서 말이다. 가장 응답률이 높았던 항목은 바로 ‘계약 관리’와 ‘인력 개발’이었다.
계약 문서를 효율적으로 검토하기 어려운 가장 큰 이유는 표준화되지 않은 문서 때문이다. 같은 목적의 계약서라도 작성자에 따라 다르게 작성된다는 의미다. 사람마다 문서를 검토하는 방식이 서로 다른 점도 일관성을 저해하는 요소 중 하나다. 이에 대해 마이크로소프트(Microsoft) 전(前) 수석 법률 고문인 루시 바슬리(Lucy Bassli)는 다섯 명의 법률 보조원(paralegal)이 서로 다른 5가지 방식으로 계약서를 검토한다고 지적하기도 했다.*6
계약서 검토에 필요한 모든 정보를 담은 데이터베이스의 부재 또한 서류 검토를 어렵게 만든다. 이로 인해 변호사는 계약이 이뤄지게 된 배경, 계약 당사자, 계약 대상물, 계약 목적, 계약과 관련된 사업 내용, 사업상 관행 등 계약에 관한 기초 사실 관계를 제대로 파악하기란 쉽지 않다.*7 일부 정보라도 담고 있는 데이터베이스조차 없다는 점도 문제다. 최대한 사실 관계를 파악하기 위해 도움이 될 만한 과거 자료를 재검색하는 데 상당한 시간을 소비하게 되는 이유도 이 때문이다.
이런 비효율적인 계약 체결로 인해 기업 환경에 따라서 적게는 5%, 많게는 40% 가량의 손실이 발생하는 것으로 추산되고 있다. 또 기업의 83%는 자사의 계약서 처리 방식에 만족하지 못한 것으로 나타났다.*8
따라서 인공지능은 계약 서류를 검토하는 업무 프로세스 일부를 자동화해 변호사의 업무 부하를 줄이는 한편, 변호사의 업무 스킬을 익히기 위한 시간 투자에 있어 도움을 줄 것으로 기대된다. 컨설팅 회사 맥킨지(McKinsey)는 변호사 업무의 22%와 35%의 변호사 보조원의 업무가 자동화될 것이라고 분석했다.*9
그러나 변호사나 일반 대중들은 여전히 기계보다는 인간이 법률 사무를 더 잘 수행한다고 인식하는 경향이 짙다. 엄격한 훈련을 받은 법률 전문가만이 할 수 있는 영역이라고 생각하기도 한다. 결국 6,000억 달러 규모의 법률 시장만큼은 인공지능이 영영 정복하지 못한 분야로 남게 될까?
계약서 내용 및 검토 일반론
유영무 변호사
계약서 내용은 이른바 권리규정(promises and policies)과 관리규정(housekeeping clauses)으로 크게 나눌 수 있다. 계약에서 핵심이 되는 권리규정은 계약 당사자가 갖는 권리와 의무를 정한다. 관리규정은 기간, 변경, 해제·해지, 손해배상, 준거법 등을 다룬다.
계약서 검토에서는 다음과 같은 사항을 수행한다.
1) 계약서가 해당 계약에서 일반적으로 요구되는 조항을 담고 있는가?
2) 당사자 사이의 특수한 요구사항이 잘 반영되었는가?
3) 계약 내용이 헌법이나 법령에 어긋나지 않는가?
4) 계약서의 문구가 잘못 쓰이거나 문맥이 어색하여 해석에 혼동을 주지 않는가?
5) 계약서 내에 서로 모순되거나 중복된 조항은 없는가?
6) 해당 계약에 근거해 향후 발생 가능한 분쟁은 무엇일까?
AI vs. 인간 변호사, 대결의 승자는?
하지만 서류를 검토하는 업무만큼은 인공지능이 인간을 넘어선 성과를 낸다는 연구들이 속속들이 나오고 있다. 최근 로긱스(LawGeex)*10라는 스타트업은 자사 인공지능 서비스와 미국 최고 변호사 중 누가 더 정확하게 계약서를 검토했는지 비교하는 실험*11을 진행했다. 실험에 참여한 로긱스 AI는 소프트웨어 계약에서 서비스 계약, 구매 주문에 사용하는 수만 건의 문서를 학습했다. 인간 변호사는 골드만삭스(Goldman Sachs), 시스코(Cisco)와 같은 글로벌 기업이나 앨스턴 앤 버드(Alston & Bird), 케이 앤드 엘 게이츠(K&L Gates)와 같은 로펌에서 수십 년간 계약서 검토 업무 경험을 쌓아온 전문가들로 구성됐다. 인간 변호사와 로긱스 AI는 실험 환경을 통제한다는 조건을 전제로, 지금까지 한 번도 들여다보지 않은 5건의 NDA(non-disclosure agreement, 비밀 유지 계약서), 총 153개의 단락을 분석했다. 여기서 분석은 NDA에서 오류를 찾거나 수정할 만한 조항 제시를 말한다.
실험 결과, 인공지능이 월등히 높은 정확도로 계약서를 분석해냈다. 이는 인간 변호사가 인공지능에 패배했음을 의미한다. 로긱스 인공지능은 94%의 정확도를 확보했다. 평균 85%의 정확도를 달성한 인간 변호사보다 높은 수치다. 아울러 로긱스 인공지능은 단 26초 만에 도전과제를 해냈지만, 인간 변호사는 같은 과제를 해결하는 데 평균 92분을 소비했다. 가장 짧은 인간 변호사의 기록(51분)조차 인공지능에 대적할 수 있는 수준이 아니었다.
[ 표 1 ] NDA 5건에 대한 인간 변호사 20명과 로긱스 인공지능의 정확도 비교*10로긱스는 왜 NDA를 학습했나?
NDA*12는 비즈니스 관계를 맺는 회사 간 자사의 영업 활동에 유용한 기술상 또는 경영상의 정보를 어떻게 다룰 것인지를 명시한 법적 계약서다. 기밀 협약(confidentiality agreement), 기밀 유지 협약(confidential disclosure agreement), 비밀 유지 약정서, 비밀 유지 계약서로 풀어서 부르기도 한다.
비밀 유지 계약서 조항 항목
1) 정보의 범위 (당사자 간에 비밀로 정하는 대상)
2) 정보의 용도
3) 정보의 공개, 누설, 유출, 복제, 부정사용 등 각종 금지 의무
4) 정보의 권리 귀속
5) 비밀 유지 기간
6) 위반 시 손해배상
비밀 유지 계약서 예시*13
‘대한기업’(이하 ‘갑’이라 한다)과 ‘민국전자’(이하 ‘을’이라 한다)는 ‘을’의 자산매각과 관련해 다음과 같이 비밀 유지 계약서(이하 ‘약정서’라 한다)를 작성한 뒤 비밀을 유지하기로 약속한다.
제1조(정보의 범위)
본 ‘약정서’에서 규정하는 정보는 본 거래와 관련하여 다루어지는 문서, 전산 및 광학 매체 등의 물리적 자료와 교섭 및 합의 내용 등을 모두 포함한다.
제 2조(정보의 용도 및 취급)
본 거래에서 제공되는 정보는 동거래 추진 목적으로만 활용되어야 하며 동정보의 취급자는 본 거래에 관련된 담당자로 한정하고 정보가 외부에 유출되지 않도록 유의한다.본 거래의 정보를 제3자 또는 기관에게 제공해야 할 경우 ‘갑’은 ‘을’에게 해당 사실을 통보하고 ‘을’이 조치를 취할 수 있도록 해야 한다.
제 3조(정보의 반환 및 폐기)
본 거래가 일방의 요청 또는 외부적 요인으로 중단될 경우 ‘갑’은 제공받은 정보를 ‘을’에게 모두 반환해야 한다.
또한, 본 거래 진행을 위해 작성된 각종 문서 및 자료는 모두 폐기하고 이를 ‘을’에게 알려야 한다.
제 4조(비밀 유지 기간)
본 ‘약정서’는 기명날인한 직후부터 효력이 발생하며 본 거래와 관련된 모든 정보의 비밀유지 의무는 거래가 중단된 날로부터 1년간 유효하다.
제 5조(손해배상)
‘갑’ 또는 본 거래와 관련된 자가 본 ‘약정서’에 기재된 비밀 유지 사항을 위반해 ‘을’ 또는 선의의 제3자에게 손해를 입힌 경우 ‘갑’ 또는 관련자는 손해배상 책임을 진다.위와 같은 손해배상 사유로 인해 소송이 발생할 경우 관할법원은 ‘을’의 소재지 관할지방법원으로 한다.
년 월 일
‘갑’ 주 소:
회 사 명:
‘을’ 주 소:
회 사 명:
NDA는 표준화된 양식을 따르지 않는다. 문서를 구성하는 방식이나 그 내용은 계약 당사자 간의 합의에 따라 달라진다. 다만 영업비밀을 보호하기 위한 명확한 수단인 만큼 3~4쪽 이내의 적은 분량에도 다음과 같은 규격 및 조항을 갖추는 편이다. 짧은 분량과 업계 표준화된 문서라는 특징을 갖춘 NDA는 인공지능이 학습하기 적합한 데이터였을 것으로 추측된다.
로긱스 AI의 학습방식
로긱스 AI가 학습하는 방식은 새로운 변호사가 훈련하는 것과 유사하다. 여러 사례를 익히게 해 법률 관행을 따르도록 한다는 점에서 말이다. 하지만 법률용어로 작성된 문서로 훈련하는 작업은 쉽지 않았다. 법률용어는 일상생활에서 사용되는 단어보다 복잡하고 개념적이다.*14 법률 문서라는 맥락에선 일상적으로 사용되는 것과는 다른 쓰임새일 수도 있다. 그 법률이 적용되는 분야에 따라 같은 용어라도 서로 다르게 정의될 수 있음은 물론이다. 일상적인 대화나 문서에서 사용되는 자연어처리(natural language processing, NLP) 솔루션이 제대로 작동하지 않는 이유다.
고도의 정확성을 요구하는 작업이라는 점도 기계학습을 어렵게 만들었다. 변호사는 회사나 고객에게 닥칠 위험을 통제하거나 이를 줄이는 역할을 담당한다. 서류 검토는 그 어느 때보다 정확한 분석과 판단을 요구하는 작업임은 말할 것도 없다. 잘못된 판단이야말로 기업에 큰 손실을 안길 수 있기 때문이다. 로긱스 팀에게는 서류 검토 정확도를 최상위 수준으로 올리는 것 자체가 난관이었을 것이다.
마케팅 부사장인 슈물리 골드버그(Shmuli Goldberg)의 설명에 따르면,*15 로긱스는 법률언어처리(legal language processing, LLP)와 법률언어이해(legal language understanding, LLU)라는 인공지능 알고리즘을 자체 개발했다. ‘법률언어처리’는 가능한 많은 계약서로 신경망을 훈련한다. 이 과정에서 인공지능은 계약서상의 ‘공개(disclosure)’나 ‘경쟁금지(non-compete)’와 같은 법률 용어를 이해하고 관련 조항을 구분한다.
이런 ‘법률언어처리(LLP)’를 기반으로 동작하는 ‘법률언어이해(LLU)’는 법률 용어를 개념으로 변환해 인공지능이 아직 학습하지 않은 조항을 이해하도록 돕는다. 즉, 특정 법률 용어가 표시되지 않더라도 의미상 관련성이 높은 조항을 학습하는 것이다. 이는 로긱스 알고리즘이 단순한 키워드 매칭으로 동작하지 않음을 의미한다.
[그림 2]는 로긱스 인공지능이 텍스트를 이해한 방식을 시각화한 예시다. 각 점은 의미 공간(semantic space)에서 한 단락을 나타낸다. 색상은 서로 다른 법적 쟁점(legal issues)을 표현한다. 예를 들어, 분홍색 점은 경쟁 금지 조항(non-compete clause)을 나타내며 자주색 점은 준거법 영역을 나타낸다.※ 본 리포트는 사진이 흑백으로 표시되는 점을 감안하여 컬러 사진은 아래 보고서의 11 페이지를 참고 바랍니다.(Comparing the Performance of Artificial Intelligence to Human Lawyers in the Review of Standard Business Contracts)*10
의미 공간(semantic space)*16
컴퓨터가 사람처럼 정보의 의미를 이해할 수 있도록 정보자원을 유의미한 방식으로 연결한 가상 공간을 의미한다.
경쟁 금지 조항(non-compete clause)*17
계약법에서 피고용인이 고용주와 경쟁 관계에 있는 동일 계열 회사에 취업하지 않겠다고 동의하는 데 사용되는 용어다.
준거법
당사자 간에 체결된 계약의 성립, 이행 및 해석하는 데 있어서 준거가 되는 자국이나 외국의 법이다.
[ 그림 2 ] 로긱스 인공지능이 법적 쟁점을 이해하는 방식*10인공지능이 법무 부서에 가져다 줄 긍정적인 효과들
변호사가 NDA와 같은 문서를 작성하거나 검토하는 데 보내는 시간은 곧 고객이 부담해야 하는 비용으로 이어진다. 하지만 이 작업 일부를 인공지능이 대체하게 된다면 변호사는 더 적은 시간을 들여 문서 검토를 더 정확하게 할 수 있을 것이다. 이는 곧 비용 절감으로 이어질 수 있음은 물론이다.*18 로긱스 사례에서 보듯이 인공지능은 법률 서류를 검토하는 데 있어서 인간보다 뛰어난 세 가지 능력을 지니고 있기 때문이다.
첫 번째는 인간보다 집중력이 높다는 점이다. 잠을 자거나 커피를 마시지 않고도 24시간 내내 일할 수 있다. 서던 캘리포니아 대학교(University of Southern California)의 법학 및 경제학 교수인 질리언 해드필드(Gillian K.Hadfield)는 “이 실험에 참여한 인간 변호사가 통제된 실험 환경에서 문서를 검토한 사실에 주목할 필요가 있다”며 “실제 업무 환경에서 같은 실험을 진행했다면, 인공지능 변호사가 상대적으로 더 짧은 시간 내에 더 효율적인 성과를 냈을 것”이라고 말했다. 인터넷 서핑, 가족과 관련된 업무 처리(전화, 문자, 시간 확인) 등 인간 변호사의 집중력을 분산시키는 요소까지 감안한다면 인공지능의 업무 집중도가 훨씬 더 높다는 설명이다.
또한, 인공지능은 더 높은 일관성을 유지한다. 모든 계약 검토 과정에서 늘 동일한 규칙과 동일한 처리 방식을 적용한다. 용어나 어법에도 통일성을 유지하는 것 또한 장점이다. 이는 계약서 작성 및 해석에 있어서 추후 발생할 수 있는 논쟁 가능성을 감소시키는 데 효과적이다. 결과적으로는 같은 시간 내 체결하는 계약의 수를 대폭 늘리는 효과를 거둘 수 있음은 물론이다. 아울러 인공지능은 인간이 저지를 수 있는 크고 작은 실수를 줄여주는 데도 큰 도움이 된다.
세 번째로는 많은 양의 계약서를 효율적으로 관리할 수 있도록 해준다는 점이다. 아무리 많은 계약 문서가 있더라도 인공지능은 인간 변호사보다 계약서 용어를 검토하고 날짜를 갱신하는 작업을 빠르게 수행한다. 또한, 신속하게 계약서를 분류해내기도 한다. 차선의 용어나 조항을 신속하게 찾아내 서류작업에 들이는 시간을 효과적으로 줄여주기 때문이다.
그 덕분에 변호사는 계약 검토보다는 상담 및 전략 탐색에 역량을 더욱 집중할 수 있게 된다. 인공지능을 활용하면 변호사는 더 빠르게 업무를 처리 할 수 있고, 여전히 사람의 두뇌가 필요한 업무에 더 많은 시간을 투자할 수 있게 된다.
전(前) 골드만 삭스 기업 변호사인 슌 아데비이(Seun Adebiyi)는 “법률 문서를 작성하는 데 필요한 원칙을 정확하게 찾는 일은 자동화가 가능한 영역 중 하나”라며 “NDA에서 흔히 발생할 수 있는 이슈를 인공지능으로 찾아낸다면 시간과 비용을 효과적으로 절약할 수 있을 것”이라고 부연했다.
시대적 변혁을 맞이한 인간 변호사가 나아갈 방향은?
컴퓨터가 항상 인간보다 뛰어나다는 사실을 부인하기란 쉽지 않다. 실례로 오사카 대학교(Osaka University)의 지능형 로봇 연구실 과학자들이 만든 여성 로봇은 100달러짜리 캐시미어 스웨터를 판매하는 실험에서 인간보다 2배 더 많은 고객을 응대했다.*19 인간과는 달리 컴퓨터는 잠을 자지도 않고 한눈을 팔지도 않기 때문이다. 소프트뱅크(SoftBank) 손정의 회장은 “휴머노이드 로봇 ‘페퍼(Pepper)’의 경우 하루 24시간 근무 속에서도 불평불만을 늘어놓지 않고 제시간에 출근해 성실하게 일한다”는 점을 강조하기도 했다. 이런 기술 동향은 변호사에게 좋지 못한 소식이 될 수 있다.
그렇지만 인공지능의 지적 수준이 문서 검토를 넘어 변호사가 하는 모든 일을 대신하지는 않으리라는 전망 또한 우세하다. 비행 자동 조종 장치가 있더라도 여전히 비행기 조종사가 필요하듯, 인공지능이 많은 것을 처리하지만 모든 것을 처리해주지 않는다는 관점에서 말이다. 매우 간단한 수준으로 작성된 계약서라도 인간 변호사의 검토는 필수가 될 것이다. 아울러 판사나 배심원을 설득할 전략을 세우거나 고객에게 조언할 때 설득과 공감, 직관으로 승부를 걸 수 있는 쪽은 인공지능이 아니라 오히려 인간이다.
때문에 어떻게 보면 인공지능과 같은 최첨단 기술을 활용해 경쟁력을 갖추는 것이 강력한 생존 방식 중 하나가 될 수 있다. 인공지능을 활용하면 훨씬 더 정확하면서도 일관성 있게 계약서를 검토할 수 있게 된다. 인간 변호사는 아직 인공지능의 성능이 검증되지 않은 작업 중심으로 집중하면 된다. 판단이나 전략 수립, 인간관계 구축 같은 고차원적인 업무 등이 바로 여기에 해당한다.
듀크 대학교(Duke University) 로스쿨 교수 에리카 뷰엘(Erika Buell)은 “인공지능으로 NDA를 초벌 검토하는 것은 법률 보조원이 수행하는 역할과 유사한 것으로, 변호사가 고객 상담 및 기타 고부가가치 창출 업무에 집중할 수 있는 소중한 시간을 갖게 해줄 것”이라며 “계약 전에 서류를 검토하는데 큰 팀을 꾸리는 대신에 소프트웨어가 중요 표시를 해둔 서류를 검토하고 이를 바탕으로 조언을 제공하는 이합집산이 빠른 소규모의 팀을 꾸리게 될 것”이라고 말했다.
아울러 법원의 재판, 국가기관의 결정과 같이 공적으로 판단을 내리는 업무에서도 인공지능이 진입하기는 어렵다는 분석도 있다. 유영무 변호사는 “인공지능이 인간의 삶을 심판한다는 거부감도 적지 않을 것”이라며 “또한 이 시스템이 과연 공정하게 설계가 되었는지 혹은 공정하게 운영되고 있는지에 관한 의문을 해소하기도 쉽지 않을 것”이라고 분석했다.
하지만 강점이 없는 변호사는 자연적으로 도태하리라는 시각이 전반적으로 우세하다. 점점 더 치열해지는 직업시장에서 전문적인 지식을 배우고 자신이 전문성을 내세울 분야의 개발은 현대인이라면 누구나 마주하는 과제이기도 하다. 이미 수백만 건의 전자 문서를 분석해 관련 문서를 찾아주는 자동화 프로그램이 수많은 변호사와 법무사들을 대체해왔다.*20 법무법인에서 로스쿨 수료자를 고용한 전문 기업에 문서 검색 작업을 위탁하는 방식도 보편화됐다. 이처럼 많은 법무 문서와 로펌들이 인공지능 도입을 추진한다는 것은 오늘날의 변호사들이 최신 기술을 습득해 전략적으로 행동해야 한다는 점을 시사한다고 볼 수 있다.
글 | 이수경
2016년 3월 알파고와 이세돌 9단이 펼치는 세기의 대결을 두 눈으로 목도한 이후 인공지능을 제대로 공부해 봐야겠다고 결심했습니다. 인공지능 본진이자 연구소인 카카오브레인으로 걸어들어온 이유입니다. 인공지능 기술과 이로 인해 바뀔 미래 사회를 다루는 글을 통해 사람들과 소통하고 싶습니다.
글/감수 | 유영무 변호사 ymlew@joinlaw.kr
한성과학고와 서울대 전기공학부를 졸업하고 공군사관학교에서 정보통신 장교로 복무했습니다. 사법연수원을 수료한 뒤 변호사 개업을 했으며, 현재 대한변협 전문 분야 등록을 마친 IT 전문 변호사입니다. 인공지능 시대의 법적 이슈를 찾고 필요한 법제도를 연구하는데 관심이 많습니다.
참고문헌
*1 참고 | http://program.sbs.co.kr/builder/endPage.do?pgm_id=22000006730&pgm_mnu_id=30010&contNo=10000380155
*2 참고 | The Long Nine: Essential Software for the Modern Law Practice https://www.attorneyatwork.com/long-nine-essential-software-modern-law-practice/
*3 참고 | https://apttus.com/blog/contract-management-statistics-from-the-general-counsels-technology-report/
*4 참고 | https://www.cebglobal.com/compliance-legal/smb-legal/contract-management-midsized.html
*5 참조 | http://www.altmanweil.com//dir_docs/resource/90D6291D-AB28-4DFD-AC15-DBDEA6C31BE9_document.pdf
*6 참고 | http://suffolklawreview.org/the-abcs-and-ppts-of-contracting-for-todays-lawyers/
*7 참고 | 계약서 작성 또는 검토를 의뢰할 때 Tip https://www.lawtalk.co.kr/posts/10084-계약서-작성-또는-검토를-의뢰할-때-tip
*8 참고 | https://commitmentmatters.com/2016/08/30/what-does-good-look-like/
*9 참고 | Four fundamentals of workplace automation https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/four-fundamentals-of-workplace-automation
*10 참고 | https://www.lawgeex.com/AIvsLawyer
*11 참고 | https://www.israel21c.org/study-artificial-intelligence-outperforms-top-lawyers/
*12 참고 | NDA(비밀유지계약서: Non-Disclosure Agreement)통한 영업 비밀 보호 https://bit.ly/2IscCus
*13 참고 | http://www.mna.go.kr/front/informService/contract/contract_view.do
*14 참고 | 경찰 출신 변호사의 격정 토로··· 법은 도대체 누구를 위해 존재하는가?
*15 참고 | “My Other Lawyer is a Robot” — LawGeex Automates Contract Review
*16 참고 | 도서 ‘지식그래프 : 데이터사이언스총서, 김학래’
*17 참고 | https://ko.wikipedia.org/wiki/경쟁금지_조항
*18 참조 | The One Hour Contract Revolution https://blog.lawgeex.com/the-one-hour-contract-revolution/
*19 참조 | https://www.pcworld.idg.com.au/article/573472/what-happens-when-computer-science-conferences-go-gangnam-style/
*20 참조 | 도서 ‘로봇의 부상’
