모두의 백과사전, 위키피디아
[야만인] 인공지능 발전의 뒷이야기
by
Aug 4. 2021
18세기 이전만 해도
지식은 교회, 성당, 사찰 등이 주로 독점해왔습니다.
대중들은 지식을 쉽게 접할 수 없었죠.
하지만 18세기 중반에 이르러 지식의 대중화가 시작되었습니다.
프랑스에서는 드니 디드로 Denis Diderot, 장 자크 루소 Jean-Jacques Rousseau, 프랑수와 케네 Francois Quesnay 등의
계몽주의 학자들이 참여한 '백과전서파 Encyclopedistes'의 성장으로
대중에게도 지식을 알리는 운동이 전개되었으며,
비슷한 시기, 동양에서도 각종 자료와 서적을 모아서 만든
중국 최대 규모의 총서인 <<사고전서(四庫全書)>>가 집필되는 등
지식의 집적화가 시작되었죠.
역사적으로 가장 최고의 백과사전이라 불리는
브리태니커 백과사전 Encyclopædia Britannica 도 이 시점(1768)에 처음 발간되었는데요.
이렇게 그 분야 전문가에 의해 검증된 지식이 정리된 백과사전은
일반인들에게도 지식이 공유되는 시대를 열었습니다.
이제는 웹사이트인 위키피디아 Wikipedia 가 백과사전을 대체하는 새로운 시대가 열렸습니다.
초기에는 인터넷 지식은 신뢰성이 없다며 비웃는 이들도 많았지만
위키피디아는 브리태니커 백과사전과는 비교도 안되게 성장했습니다.
위키피디아는 다양한 언어로 된 인터넷 백과사전으로
가장 중요한 장점은 누구나 자유롭게 문서를 작성하고 편집할 수 있다는 것입니다.
집단 지성적 특징을 갖고 있는 것이죠.
위키피디아는 2001년 지미 웨일스 Jimmy Wales 와 래리 생어 Larry Sanger 에 의해 공동 창립되었습니다.
누구나 편집할 수 있는 모두의 백과사전이라는 의미에서 '위키 wiki' 피디아 pedia 라고 이름을 지었습니다.
지미 웨일스 Jimmy Wales 는
1966년 미국 남부 출신으로 브리태니커 백과사전을 보며 어린 시절을 보냈습니다.
대학에서 처음으로 인터넷을 사용했고,
대학원 시절부터 프로그래밍에 관심을 갖기 시작했습니다.
그는 1996년 웹 포털인 '보미스'를 설립했고,
웹 기반 백과사전인 '누피디아 Nupedia'를 인수했습니다.
오픈소스 운동에 감명을 받은 그는
백과사전을 무료로 누구나 볼 수 있게 오픈소스화 하고자 했습니다.
인터넷을 통해 백과사전을 오픈소스화 하는 것에는 성공했지만
전문가들이 작성했던 '누피디아 Nupedia'가 성공적이지 않자
그는 당시 회사 직원이었던 래리 생어 Larry Sanger 의 아이디어를 적용해보기로 결심합니다.
바로 사용자들이 직접 문서를 만들고 편집할 수 있는 '위키 wiki'의 개념을 누피디아에 적용하는 것이었죠.
그렇게 누구나 참여할 수 있는 인터넷 백과사전인 위키피디아가 탄생했습니다.
※ 위키위키 wikiwiki 는 웹페이지를 누구라도 편집할 수 있게 만든 사이트입니다. 웹 2.0 시대를 열었던 주요 기능 중의 하나입니다.
빠르게 성장한 위키피디아는
2021년 기준 영어판 약 6백만 개, 한국어판 약 54만 개를 포함해
총 5,500만 개 이상의 문서를 가지고 있는데요.
대중의 자발적인 참여로 만들어진 위키피디아의 수많은 문서들은
정제된 문장들(코퍼스 corpus; 말뭉치)로 이루어져 있고,
동일한 내용이 각국의 언어로 번역되어 있어서
자연어 처리 학습 데이터로 쓰이고 있답니다.
즉, 의도치는 않았지만 온 인류가 기여하고 있는 셈이지요.
