by
Apr 16. 2020
빅데이터 시대를 열다, 하둡을 창시한 더그 커팅
[야만인] 인공지능 탄생의 뒷이야기
더그 커팅 Doug Cutting은 오픈소스 프로젝트의 최대 성공작 중 하나인
Hadoop을 시작한 분입니다.
2006년, 대학원생 마이크 카파렐라 Michael J. Cafarella와
오픈소스 검색엔진의 하부 프로젝트인 하둡 Hadoop을 시작할 때는 이렇게까지 대규모로 커질 줄 몰랐습니다.
소프트웨어에는 두 가지 흐름이 있는데
더그 커팅 자신은
해커 소프트웨어 흐름에 속해 있다고 말한 바 있습니다.
이러한 해커 소프트웨어는
일찌기 자유 소프트웨어 운동 Free Software Movement을 전개한 리차드 스톨만 Richard Stallman,
인터넷 혁명을 가져온 월드 와이드 웹 World Wide Web의 창시자 팀 버너스 리 Sir Tim Berners-Lee,
리눅스 Linux를 만들어 소스를 공개한 리누스 토발즈 Linus Benedict Torvalds,
위키피디아 wikipedia를 무료로 운영하고 있는 지미 웨일스 Jimmy Donal "Jimbo" Wales 등의
흐름을 의미합니다.
더그 커팅은 스탠포드 대학에서 언어학을 전공하고,
애플, 제록스 팔로알토 연구소(PARC) 등에서 개발자로 근무했습니다.
C++ 언어를 가장 좋아하며
평소에는 자전거타기를 즐기고
아이들과 놀아주기를 좋아하는
실리콘밸리의 개발자였습니다.
그런데 Java 언어를 배우면서
2000년 이후에 오픈소스 검색엔진 루씬 Lucene과 너치 Nutch를
마이크 카파렐라와 함께 만들어 인터넷에 소스를 공개했고,
아파치 재단 Apache Software Foundation, ASF은
이를 Top Level 프로젝트로 승격시킵니다.
이어서 2004년에는 본인의 검색엔진의 효율적인 분산처리를 위해
당시 구글에서 논문으로 발표한 분산파일시스템으로 NDFS Nutch Distributed File System을 시작합니다.
2005년 12월 NDFS는 새로운 프레임워크인 하둡으로 포팅되고,
하둡은 20개의 노드에서 안정적으로 실행됩니다.
당시 야후에서는 구글과 같은 분산파일시스템을 고민하던 중 하둡에 관심을 두게 되었고,
2006년에 더그 커팅을 합류시켜 본격적으로 하둡을 발전시키게 합니다.
2007년에는 페이스북 Facebook, 트위터 Twitter, 링크드인 Linkedin과 같은
소셜네트워크서비스 Social Network Service, SNS에서 하둡을 적용하면서
새로운 시대를 열어가는 게임체인저로서 본격적으로 등장하게 됩니다.
그리고 지금은 빅데이터 시대를 대표하는 오픈소스로 자리매김하게 됩니다.
더그 커팅은 기존에 없었던 것을 만든 것도 아니며,
다른 사람들이 절대로 따라올 수 없는 초절정의 개발 신공을 발휘한 것도 아니었지만
오픈소스라는 시대의 과제에 적극 부응함으로써
본인도 예상하지 못한 시대를 열어가게 되었습니다.
더그 커팅은 하둡 10주년 인터뷰에서
하둡이라는 이름은
아들이 가지고 놀던 노란 코끼리 인형의 이름에서 따왔다고 밝힌 바 있습니다.
하둡이라는 이 노란 코끼리 이름의 영향으로
이후 추가된 하둡 생태계 Hadoop Echosystem의 소프트웨어 이름은
동물과 관계된 이름으로 주로 지어지게 됩니다.
Scripting 언어인 돼지 PIG,
SQL-query를 가능하게 하는 벌떼 HIVE,
Log를 수집하는 거북이 CHUCKWA,
Echosystem을 조율하는 동물원 사육사 ZooKeeper
이런 식의 소프트웨어 이름짓기 Naming 유래는 재미있습니다.
오픈소스DB로 유명한 MySQL은
개발자 몬티 와이드니어스 Ulf Michael Monty Widenius의 첫째 딸 이름에서,
나중에 만든 MariaDB는
둘째 딸 이름에서 따왔다고 합니다.
그 유명한 스티브 잡스는 애플의 첫번째 GUI Graphic User Interface 컴퓨터 이름을
자신의 딸 이름을 따서 '리사 Lisa'라고 짓기도 했습니다.
