brunch

You can make anything
by writing

C.S.Lewis

by 루나 Apr 16. 2020

빅데이터 시대를 열다, 하둡을 창시한 더그 커팅

[야만인] 인공지능 탄생의 뒷이야기

더그 커팅 Doug Cutting은 오픈소스 프로젝트의 최대 성공작 중 하나인

Hadoop을 시작한 분입니다.

2006년, 대학원생 마이크 카파렐라 Michael J. Cafarella와

오픈소스 검색엔진의 하부 프로젝트인 하둡 Hadoop을 시작할 때는 이렇게까지 대규모로 커질 줄 몰랐습니다.

소프트웨어에는 두 가지 흐름이 있는데

더그 커팅 자신은

해커 소프트웨어 흐름에 속해 있다고 말한 바 있습니다.

이러한 해커 소프트웨어는

일찌기 자유 소프트웨어 운동 Free Software Movement을 전개한 리차드 스톨만 Richard Stallman,

인터넷 혁명을 가져온 월드 와이드 웹 World Wide Web의 창시자 팀 버너스 리 Sir Tim Berners-Lee,

리눅스 Linux를 만들어 소스를 공개한 리누스 토발즈 Linus Benedict Torvalds,

위키피디아 wikipedia를 무료로 운영하고 있는 지미 웨일스 Jimmy Donal "Jimbo" Wales 등의

흐름을 의미합니다.

더그 커팅은 스탠포드 대학에서 언어학을 전공하고,

애플, 제록스 팔로알토 연구소(PARC) 등에서 개발자로 근무했습니다.

C++ 언어를 가장 좋아하며

평소에는 자전거타기를 즐기고

아이들과 놀아주기를 좋아하는

실리콘밸리의 개발자였습니다.

그런데 Java 언어를 배우면서

2000년 이후에 오픈소스 검색엔진 루씬 Lucene과 너치 Nutch를

마이크 카파렐라와 함께 만들어 인터넷에 소스를 공개했고,

아파치 재단 Apache Software Foundation, ASF은

이를 Top Level 프로젝트로 승격시킵니다.

이어서 2004년에는 본인의 검색엔진의 효율적인 분산처리를 위해

당시 구글에서 논문으로 발표한 분산파일시스템으로 NDFS Nutch Distributed File System을 시작합니다.


2005년 12월 NDFS는 새로운 프레임워크인 하둡으로 포팅되고,

하둡은 20개의 노드에서 안정적으로 실행됩니다.

당시 야후에서는 구글과 같은 분산파일시스템을 고민하던 중 하둡에 관심을 두게 되었고,

2006년에 더그 커팅을 합류시켜 본격적으로 하둡을 발전시키게 합니다.

2007년에는 페이스북 Facebook, 트위터 Twitter, 링크드인 Linkedin과 같은

소셜네트워크서비스 Social Network Service, SNS에서 하둡을 적용하면서

새로운 시대를 열어가는 게임체인저로서 본격적으로 등장하게 됩니다.


그리고 지금은 빅데이터 시대를 대표하는 오픈소스로 자리매김하게 됩니다.

더그 커팅은 기존에 없었던 것을 만든 것도 아니며,

다른 사람들이 절대로 따라올 수 없는 초절정의 개발 신공을 발휘한 것도 아니었지만

오픈소스라는 시대의 과제에 적극 부응함으로써

본인도 예상하지 못한 시대를 열어가게 되었습니다.

더그 커팅은 하둡 10주년 인터뷰에서

하둡이라는 이름은

아들이 가지고 놀던 노란 코끼리 인형의 이름에서 따왔다고 밝힌 바 있습니다.

하둡이라는 이 노란 코끼리 이름의 영향으로

이후 추가된 하둡 생태계 Hadoop Echosystem의 소프트웨어 이름은

동물과 관계된 이름으로 주로 지어지게 됩니다.


Scripting 언어인 돼지 PIG,

SQL-query를 가능하게 하는 벌떼 HIVE,

Log를 수집하는 거북이 CHUCKWA,

Echosystem을 조율하는 동물원 사육사 ZooKeeper

이런 식의 소프트웨어 이름짓기 Naming 유래는 재미있습니다.

오픈소스DB로 유명한 MySQL은

개발자 몬티 와이드니어스 Ulf Michael Monty Widenius의 첫째 딸 이름에서,

나중에 만든 MariaDB는

둘째 딸 이름에서 따왔다고 합니다.

그 유명한 스티브 잡스는 애플의 첫번째 GUI Graphic User Interface 컴퓨터 이름을

자신의 딸 이름을 따서 '리사 Lisa'라고 짓기도 했습니다.

(출처)

https://en.wikipedia.org/wiki/Apache_Hadoop

http://www.balasubramanyamlanka.com/history-of-hadoop/

https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

https://www.cio.com/article/3027631/apache-hadoop-turns-10.html


적송 권건우 redpine71@wedatalab.com
http://blog.naver.com/redpine71

공무원을 꿈꾸며 대학에 들어갔으나 동서양문화에 심취하여 수많은 사부님들을 찾아다녔고 기나긴 갈구끝에 서울 인사동과 중국 하남성 황토벌판 그리고 실리콘밸리에서 스승을 만났다. 지금은 산에서 내려와 많은 친구들과 동서문명을 융합시키는 새로운 도전의 여정에 있다.

前 삼성SDS technical architect
現 위데이터랩 대표이사
現 디랩아카데미 원장
現 성균관대, 한양대 겸임교수
現 세계진소왕태극권총회 서울분회장
#야만인 #동서양문화연구 #위데이터랩 #서예 #진소왕태극권

루나 허령
https://brunch.co.kr/@hvnpoet

컴퓨터과학과 소프트웨어공학을 전공하고, 지금은 금융회사의 상품과 서비스를 분석, 설계, 구현하는 일을 하고 있다. 대학 초년생 시절 마인드맵을 접한 이후 즐겁게 생각하는 방법을 깨달았고, 소프트웨어공학의 모델링 사상을 이해하고부터는 마인드맵과 모델링을 아우르는 마인드맵모델링을 연구 중이다. 세상에 대한 공학적인 접근 이외에도 마음공부와 서예, 태극권 등으로 자신과 세상의 경계를 넘어 진리를 탐구하고 있다.

#야만인 #마음공부 #마인드맵 #모델링 #서예 #진소왕태극권 #천상병

브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari