Python: Spark와 GraphDB(1)
문득 책을 읽다가. 기억력의 한계를 극복하기 위해서.
오늘,
온라인 핸드온 수업(Neo4j 관련)을 잠시 진행하다가
Spark 에서 중요한 목적으로 여겨지는
OLTP와 OLAP에 관한 이야기에 집중하게 되었다.
요점은,
OLTP와 OLAP의 경계가 허물어 지고 있다는 것이다.
이게 왜 Spark를 사용하는 이유와 관계가 있는가.
그래서,
그 경계의 벽을 허물기 위해서 새로운 개념이 등장하기 마련이다.
바로 HTAP(Hybrid Transactions and Analytical Processsing) 이다.
HTAP(Hybrid Transactions and Analytical Processing)위에서,
Transaction과 Analytic에 대한 결합을 도표로 보여주고 있는데
이미 우리는 그렇게 사용하고 있었다.
비록 그 타당함과 당연함을 말로써 잘 표현하고 있지 못했을 수 있다는 생각이 든다.
물로,
나도 잘 모른다.
알아가는 과정에 있고 또 그러기 위해서 노력중이다.
현재는,
아직 GraphDB나 Spark를 계속해서 공부하고
업데이트된 부분을 따라가는데 많은 시간을 보내고 있다.
결론적으로,
가트너(Gartner)에서 이 부분에 대해서 중요하게 바라보았다는 사실!
Ref: https://www.gartner.com/imagesrv/media-products/pdf/Kx/KX-1-3CZ44RH.pdf
Ref: https://blogs.gartner.com/donald-feinberg/2018/01/11/setting-record-straight-htap/
스스로에게 많은 생각을 던져주는 부분이었다.
Spark 관련 프로젝트를 정리하고 GraphDB 관련 스터디를 진행하고 있다.
계속해서 이 두 거인들의 조합을 실험해보고
재미있는 결과물을 공유해 보려고 한다.
끝.
