인터넷 아카이브와 열린 도서관(1)
잃어버린 웹페이지를 찾아서
지금까지 생산된 인류의 모든 지식을 한 곳에 모아 놓고 지구상의 모든 사람들이 그것들을 보고, 듣고, 읽을 수 있게 만드는 일이 과연 가능할까요? 1996년 어느 날 MIT 출신의 컴퓨터 엔지니어인 브루스터 케일(Brewster Kahle) 씨는 그것이 가능하다고 생각했습니다.
브루스터 케일(Brewster Kahle)
1996년 어느 날 브루스터는 당시 가장 대중적이던 검색 엔진 “알타 비스타(Alta Vista)”를 방문했다가 그리 크지 않은 공간에 설치된 몇 대의 서버를 통해 당시까지 일반인들이 접근할 수 있던 인터넷상의 모든 웹 사이트들이 그 서버에 저장되는 것을 보았습니다. 그것을 보면서 그는 이런 방식이면 세상에서 생산되는 모든 정보와 지식을 한 곳에 모아 인터넷에 접속한 모든 사람들에게 제공하는 것이 가능하겠다는 생각을 하게 되었지요.
브루스터 케일은 웹과 우리가 지금 사용하고 있는 검색 엔진이 등장하기 이전에 인터넷상에서 접근이 가능한 각 종 문서들을 검색하고 찾아 주는 웨이즈(WAIS, Wide Area Information Server) 시스템을 개발했던 사람입니다. 그리고 지금 우리가 흔히 생각하는 아마존의 알렉사(Alexa)가 나오기 전에 존재했던 오리지널 “알렉사”를 만든 사람이기도 합니다.
지난 2022년까지 존재했던 이 오리지널 알렉사는 인터넷상의 웹 사이트들의 크롤링하면서 그 사이트 들과 연결된 다른 사이트들을 분석하여 웹사이트들의 순위를 매겨주던 인터넷 랭킹 시스템이었습니다. 그 시스템을 만들고 운영하다가 아마존에 팔았던 사람이 브루스터 케일이지요. 지금은 이 알렉사 시스템이 문을 닫았지만 한 동안 이 알렉사 랭킹은 웹사이트의 인기를 파악하는 가장 중요한 도구였습니다.
웨이백 머신(Wayback Machine)
1996년 당시 2억 5천만 달러라는 거금에 알렉사를 아마존에 팔았던 브루스 케일은 그 자금과 자신이 가지고 있는 기술을 이용하여 자신이 가능하리라 생각했던 그 꿈을 현실로 만들어 나가기 시작했습니다. 그리고 그때 그가 시작한 일은 5년 후인 2001년에 사람들에게 공개되었는데 그것이 바로 인터넷 아카이브 (Internet Archive)였습니다.
웨이백 머신 (Wayback Machine)이라는 검색 도구와 함께 처음 인터넷 아카이브가 사람들에게 알려졌을 때는 빠르게 나타났다 사라지는 인터넷 웹 사이트들을 자신들의 서버에 저장해 두었다가 그 사이트들이 사라졌을 경우, 사람들이 이전의 사이트들에 있는 정보를 찾을 수 있게 하는 것으로 사람들에게 알려졌습니다. 과거의 기록을 보존하고 그것을 필요로 하는 사람들에게 제공하는 것이 바로 아카이브라는 기관의 핵심적인 역할이기도 하지요
혹시 1996년 이후 웹사이트를 만들고 운영하셨다가 지금은 닫으신 분 들 중에 당시의 URL을 기억하시는 분들은 인터넷 아카이브에 가셔서 그 URL을 한 번 찾아보십시오. 아마 재미있는 것들을 보실 수 있을 겁니다. 아래에는 2015년 10월 24일에 저장된 브런치스토리의 메인 페이지입니다. 9년 전 모습이지만 여전히 깔끔합니다.
이처럼 인터넷 아카이브에서 제공하는 웹 아카이브는 현재 저널리스트들과 역사학자, 연구자들을 포함해서 많은 이들에게 지금은 인터넷에서 사라진 정보를 찾을 수 있게 해주는 중요한 도구가 되었습니다. 당장 이번 주에도 미국에서는 한 정치인이 정치에 입문하기 이전에 한 성인 사이트의 게시판에 남긴 여러 댓글들 때문에 비난을 받고 있는데 그 사람의 과거 댓글을 보관하고 있는 곳도 바로 인터넷 아카이브입니다.
지금 인터넷에 보이지 않는다고 해서 아무도 모를 것이라고 생각하다가는 큰 실수를 할 수도 있지요. 인터넷상에 있는 정보가 빨리 사라지는 것도 사실입니다만 이런 도구들 덕분에 어떤 정보들은 오랫동안 박제되어 있기도 합니다.
저는 인터넷 아카이브가 대중들에게 공개되었을 무렵 뉴스에서 그 사실을 듣고 아카이브를 찾아본 일이 있습니다. 그리고 그 무렵 도서관을 찾아와서 논문에 쓰일 이미지를 찾던 이용자 한 사람과 함께 인터넷 아카이브의 덕을 크게 보았지요.
그분은 2000년 경 뉴욕 주립 도서관의 한 웹페이지에 올라와 있던 미국독립전쟁기 유럽 용병들의 복식 그림을 기억하고 계셨습니다. 하지만 2003년 저와 만나서 그 이야기를 할 무렵에는 그 그림뿐만 아니라 특별 온라인 전시처럼 만들어졌던 그 웹페이지는 서버에서 사라지고 없었습니다. 그래서 인터넷 아카이브에 대해 알고 있던 제가 그 사라진 웹페이지를 아카이브에서 찾았습니다. 당연히 찾고 있던 이미지들도 그곳에 보관되어 있었지요.
다른 종류의 미디어들
그런데 인터넷 아카이브가 대중들에게 공개된 2001년 이 전부터 브루스 케일이 가지고 있던 관심은 웹 페이지만이 아니었습니다. 그는 책과 TV, 영화, 음악 등 우리가 접하는 모든 종류의 미디어를 디지털화해서 그것을 인터넷을 통해 제공할 생각을 하고 있었지요. 그래서 지금 인터넷 아카이브 웹페이지를 방문하시면 두 가지 검색 창을 보실 수 있습니다.
Wayback Machine이라고 불리는 검색 엔진은 저장된 웹사이트들을 검색하는 곳입니다. 찾는 웹사이트의 URL를 입력하면 그 사이트가 저장된 당시의 모습을 보여줍니다. 물론 저장되었다면 말입니다. 웹사이트에 따라서는 오랜 시간 동안 여러 차례 저장이 되어 있어서 그 사이트의 변화 모습을 보실 수도 있습니다. 필요하시다면 검색어를 이용하실 수도 있는데 속도나 검색 결과 면에서는 URL을 직접 입력하시는 것이 낫습니다.
그리고 또 다른 검색 창에서는 인터넷 아카이브에서 소장하고 있는 책, 문서 자료, 그림, 동영상, 음악 등 여러 종류의 미디어 파일들을 검색하실 수 있고 저작권이 사라진 자료들이라면 세계 어느 곳에서나 다운 로드받아서 이용하실 수 있습니다.
특히 인터넷 아카이브에서 제공하는 미디어 중에는 퍼스널 컴퓨터가 일반인들에게 퍼져 나가던 초기에 만들어졌던 각 종 소프트웨어와 CD-ROM 타이틀 들도 포함이 되어 있습니다. 아래아 한글은 지금도 한국에서 쓰이는 소프트웨어입니다만 MS-DOS 용 한글 3.0을 기억하시는 분들이 계시는지 모르겠습니다. 그 이전에는 수 십장의 3.5 인치 설치 디스켓을 드라이버에 넣었다 뺐다 반복하며 프로그램을 설치했었는데 3.0 은 처음으로 CD에 담겨서 출시되었던 것으로 기억합니다. 그런 추억의 소프트웨어들과 게임을 찾을 수 있는 곳이 인터넷 아카이브입니다.
도서관 및 박물관, 미술관의 자료
인터넷 아카이브에서는 개인이 자신이 가진 자료를 이곳을 통해 아카이브 하거나 이용자들의 요청을 받아 특정한 사이트들을 아카이빙 하기도 합니다. 하지만 처음 브루스 케일이 생각했던 “지금까지 생산된 모든 지식을 한 곳에 모으는 일"은 말처럼 쉬운 일이 아니었습니다. 웹 사이트는 자신이 개발한 크롤러로 저장한다고 하더라도 그 외의 다른 미디어들을 모으는 일은 한 사람이나 한 단체의 힘으로만 쉽게 되는 일은 아니지요.
그래서 인터넷 아카이브에서는 여러 도서관, 미술관, 박물관, 아카이브 등과 공동 작업을 진행하고 있습니다. 지금 인터넷 아카이브의 검색 메뉴를 살펴보시면 그곳에 자료를 제공한 여러 문화유산 보존 단체들을 보실 수 있습니다. 그런 단체들에서 제공한 자료들을 한 곳에 모아두고 제대로 된 검색이 가능하도록 메타 데이터(Meta Data - 데이터(자료)에 대해 설명하는 데이터)를 정리해서 저장해 두면 이용자들의 입장에서는 여러 도서관과 박물관의 자료들을 한꺼번에 검색할 수 있는 이점도 있지요. 그리고 자료 제공 기관별로 따로 검색하거나 자료 종류, 언어, 저자, 발행 연도 등 여러 가지 검색 옵션도 제공하고 있습니다.
아울러 인터넷 아카이브에서는 아카이브 잇(Archive-It)이라는 웹사이트 아카이빙용 소프트웨어를 유료로 제공하여 다른 도서관이나 박물관 및 여러 정부 기관에서 자신들이 원하는 웹사이트를 스스로 아카이브 할 수 있도록 도와주고 있습니다. 예를 들어 특정한 주제와 관련해서 전문가들이 선정한 웹사이트들을 저장하고 마치 도서관에서 책에 대한 목록을 만드는 것처럼 그 웹사이트들에 대한 자세한 목록 데이터를 만들어 함께 제공함으로써 연구자들을 비롯한 여러 이용자들이 쉽게 그 내용을 발견할 수 있게 만들었지요.
아카이브 잇(Archive-It)의 웹페이지를 방문하시면 이런 작업을 통해 특정한 기록 단위 컬렉션으로 묶인 웹사이트들을 보실 수 있습니다. 여러 기관에서 아카이브 잇을 통해 수집한 웹사이트는 인터넷 아카이브의 서버에 저장이 되고 인터넷상의 모든 이들에게 무료로 제공하는 것을 원칙으로 합니다. 하지만 이 과정에서 일반 아카이브와 마찬가지로 필요한 경우 사용자에 따라 접속을 제한하거나 일정 기간 비공개하는 자료들도 있습니다.
* 글이 길어지는 것 같아 두 편으로 나눕니다. 다음 편에서 계속하겠습니다.
