오픈 소스 전성시대 - ➀ 컨플루언트
클라우드 기반의 실시간 발생 대용량 데이터 관리 기술
이미지 출처 : https://overseasmarket.tistory.com/332오픈 소스(Open Source)는 소프트웨어를 누구나 열람하고 이용 가능하도록 무료로 배포하는 방식입니다. 개발 초기에는 돈을 벌기 어려운 구조지만 더 많은 개발자들이 자신들의 오픈소스 소프트웨어를 무료로 사용하며 해당 소프트웨어를 기반으로 생태계를 형성하게 되면 그때, 부가 기능에 차이가 있는 무료 버전과 유료 버전 두 가지 모델을 판매하는 비즈니스 모델이 숨겨져 있습니다.
IT를 잘 모르더라도 리눅스(linux)는 한 번쯤 들어봤을 텐데요, 1991년 헬싱키 대학생이던 리누즈 토르발스(Linus Torvalds)가 처음으로 만들어 공개한 리눅스는 오픈 소스의 대명사라고 할 수 있습니다. 그의 자서전 <Just for Fun>에는 그가 리눅스(linux)를 개발하고 리눅스 커널(Linux kernel)을 개발한 커뮤니티를 통치한 스토리가 담겨있는데요 초기 오픈소스 운동과 해커 정신의 전형적인 사례를 보여준다고 합니다. [1]
리눅스는 컴퓨터 운영체제 중 하나로 리눅스 재단에 따르면 퍼블릭 클라우드 컴퓨팅 워크로드의 90%, 스마트폰의 82%, 임베디드 기기의 62%로 작동하며, 전 세계 상위 슈퍼컴퓨터 500대는 대부분 운용체계(OS)를 리눅스를 사용한다고 한다. (출처 : 위키피디아 linux)
제목에서 어느 정도 짐작 가능한 <Just for Fun>은 리눅스(linux)를 만든 리누즈 토르발스(Linus Torvalds)의 자서전인데요, 그가 리눅스(linux)를 개발하고 리눅스 커널(Linux kernel)을 개발한 커뮤니티를 통치한 스토리는 초기 오픈소스 운동과 해커 정신의 전형적인 사례라고 합니다. [1]
물론 오늘날의 오픈 소스가 더 이상 '혁신'의 동의어가 아닙니다(오픈소스 유니콘의 성공 비결 따위는 없다). 기업에서 오픈 소스 솔루션을 적극 수용하면서 오늘날 영향력 있는 오픈소스 프로젝트는 대기업 프로세스에서 등장할 가능성이 더 높아진 게 사실이다. 하지만 오픈 소스의 정신으로 출발점에 섰던 혁신가들의 이야기는 여전히 우리의 호기심을 자극합니다.
컨플루언트(Confluent) : 제이 크렙스, 네하 나크 헤드, 준 라오
컨플루언트는 '이벤트 스트리밍'이라는 데이터 관리 기술을 보유한 기업으로 성공적인 오픈소스 프로젝트 중 하나로 주목받고 있습니다(2021년 나스닥 상장). 더 많은 소스로부터 얻은 더 많은 데이터를 소화하고 처리해야 하면서 데이터 흐름을 적절한 곳에 보내기 위해 필요한 인프라가 그 어느 때보다 중요해진 만큼 데이터 스트리밍은 주목받는 기술이 되었습니다.
컨플루언트의 주요 서비스는 실시간으로 발생하는 대용량의 데이터를 오픈소스 클라우드 기반 플랫폼에서 분석, 모니터링 및 솔루션을 제공하는 것으로 넷플릭스, 모건스탠리, 뱅크 오브 아메리카(BoA), 리프트, 아우디, 월마트 등이 주요 고객사입니다.
컨플루언트는 데이터 처리 소프트웨어 아파치 카프카(Apache Kafka)의 상용화 버전으로 컨플루언트 플랫폼의 기반을 이루며 컨플루언트 창업진과 팀원들이 2011년 링크드인에서 엔지니어로 근무하며 개발했습니다. 엔지니어나 애플리케이션이 특정 문의에 대한 명령어를 직접 데이터베이스에 보내고 답을 받는 시스템과 달리, 카프카는 기업의 모든 데이터를 지속적으로 흐르게 만듭니다. 사용자가 디바이스로 로그인하거나 버튼을 누르면 개별 앱이나 데이터베이스로 즉각 전해지고 이 덕분에 데이터 양이 엄청나거나 경쟁력 확보를 위해 바로 반응을 파악해야 하는 기업들은 자사 앱을 좀 더 큰 규모로 운영하면서 더욱 신속하게 대응할 수 있습니다. [2]
이미지 출처 : CIO Korea카프카라는 이름은 소설가 프란츠 카프카에서 따온 것이라고 하는데요 이는 카프카의 핵심 기능 중 하나인 대용량의 실시간 데이터를 하드디스크에 빠르게 쓰는 기술에서 비록되었습니다. 카프카의 창시자 중 한 명인 제이 크렙스는 대학 시절 문학 수업을 들으며 프란츠 카프카에 심취해 있었는데, 자신의 팀이 새로 개발할 시스템이 데이터 저장과 기록, 즉 ‘쓰기에 최적화된 시스템(a system optimized for writing)’이었기에 작가의 이름을 사용하는 것이 좋겠다고 생각해서 카프카로 정했다는 이야기는 유명합니다. [3]
GTPlus는 클라우드 네이티브 환경에서
기업의 다양한 워크 로드를 위한
최적의 아키텍처를 제안합니다.
분산형 이벤트 스트리밍 플랫폼
Confluent는 데이터를 연속적인 실시간 스트림으로 쉽게 액세스, 저장 관리할 수 있는 full-scale 데이터 스트리밍 플랫폼입니다. Confluent Platform은 아파치 카프카를 완성한 안전한 엔터프라이즈용 플랫폼이며, Confluent Cloud는 필요한 모든 곳에서 모든 데이터를 연결하고 처리하는 관리형 클라우드 네이티브 서비스입니다. Fortune 100대 기업 중 80% 이상이 데이터 스트리밍 기술로 Confluent를 사용하고 있습니다.
GTPlus Confluent Service 바로가기
http://gtplus.co.kr/service/cloud
reference
[1] '리눅스 아버지' 토발즈, 한국 개발자와 만나다
오픈소스로 세상을 뒤흔들다...스타 창시자 15인 (2022.03.16 CIO)
[2] 링크드인에서 분사된 컨플루언트 (2019. 02.23 포브스코리아)
[3] "실시간 데이터가 곧 비즈니스"...국내 상륙 1년 '컨플루언트' (2021.04.26 디지털데일리)
