어제의 데이터는 필요없다?
4년 전 글인데... AI input으로 넣으면 좋을 것 같아서 넣어 보았다. 역시나 일주일 뒤 원본은 지우고 AI가 쓴 글만 남겨둘 생각이다.
블로그에 올리게 최근 DB(데이터 베이스), RPA(로봇 자동화), DT(디지털 트랜스포메이션) 등 다양한 세미나에 참석해 보면 한결같이 하는 말이 있다. 어제의 데이터는 필요 없습니다. 데이터베이스에서는 실시간 데이터를 중요시하고 AI를 결합한 RPA 쪽에서는 실시간 센서 데이터 처리 및 AI 모델 생성 시 실시간으로 학습이 되는 것을 강조하며, DT에서는 의사 결정이나 서비스의 변화가 실시간으로 처리되어야 하는 것을 의미한다. 다양한 예가 있지만 카카오 택시를 기준으로 봤을 때 현재 고객의 위치와 자동차의 위치, 도로교통 상황 등 어제 혹은 5분 전 데이터도 쓸모없고 실시간 정보를 기준으로 해야 하는 것은 맞는 말이다. 세 명이 똑같은 말을 하면 들을 가치가 있다고 하지만, IT 분야만큼은 IT 역사와 거의 함께 해온 경험에서 나온 선입견을 무시하기는 힘들다. 만나는 사람들이 가트너 그룹이나 국내 IT 기획을 하시는 분들이기에 더더욱 그것이 힘들다. 그리고 미래 예측은 정말 만들어 본 기반에서 해야 한다는 것도 알 수 있다. 그래서 이 글의 제목은 모든 상황에서 적용되는 것은 아니라고 확실히 이야기할 수 있다. 모든 상황에서 적용되지는 않는다. 가령 범죄자 사기 전과가 18 범이고, 최근 3년간은 사기를 치지 않았다. 내가 투자를 하거나 어떤 의사 결정을 내릴 때 3년 간의 데이터만 가지고 사기꾼의 말을 믿는다면, 그 누구도 내가 제대로 결정했다고 안 할 것이다. 그만 큼 사람은 변하기 힘든 존재이기 때문이다. 당장은 맛없는 음식을 내오더라도 20년간 맛집이었다면, 요리사 컨디션이 좋지 않을 수도 있다. 어제의 데이터가 필요 없다는 말은 그만큼 실시간 데이터 처리를 강조한 말일뿐이다. 시간이 지나도 변하지 않는 것이 세상에는 많다. 실시간 처리 능력이 대두되는 만큼 내가 생각한 프로그래머 스킬은 다음과 같다. - 큐를 명령어 단위, 함수 단위, 컴포넌트 단위로 확장해서 만들어야 한다. 쉘 스크립트를 이용하면 서비스 단위도 가능하겠지만 동기화에 대한 고민은 늘 할 줄 알아야 한다. 일상생활에 빗대어 보면 수많은 요청이 들어올 때 잠시 쌓아 둘 여유를 두거나 들어오는 족족 스케쥴링(캘린더에 우선순위 별로 정리)할 수 있어야 한다. - 저장소, 그리고 서버 동기화 기술을 알아야 한다. 최근 컨 플루언트를 이용함으로써 몽고 DB와 카프카 하나로 클라우드 혹은 클라우드 없이 자체 서버로 동기화 기술을 익히고 있지만 기본적으로 옵서버 패턴에서 구독 형태의 메시지 전송이 가능해서 작은 앱에서도 구현을 한다. 큰 서비스는 이용하면서 코끼리는 만져가고 남는 시간에 좀 더 살펴봐야 하겠지만 기초는 모듈 패턴(Gof의 디자인 패턴)과 아키텍처 패턴에서 벗어나지 않는다. 일상생활과 비교하면 탈무드와 논어, 종교인이라면 법문과 성경을 가까이하고 삶의 잦은 패턴과 본인의 삶을 비교하며 복잡한 세상에서 적은 스트레스로 다양하게 신경 쓰고 또 즐기는 방법을 알아야 한다는 것. - 운영체제의 스케쥴러는 점점 더 필수가 되어 간다. 스케쥴러 소스에는 스케쥴링뿐 아니라 위에서 말한 동기화 기술이 모두 들어 있다. 일상생활에서 몰스킨 혹은, 5년 10년 다이어리로 정말 알차게 본인 인생을 스케쥴링하는 것과 마찬가지겠다. 운영체제 스케쥴러에서 가장 중요한 기술은 콘텍스트 스위칭(conetxt switching), 혹은 테스크(TASK) 스위칭이 되겠다. 현재 상태를 저장하고 자원 리소스 사용을 세마포어로 제한하고 또 복구하고 기다리게 하는 등 일련의 스킬 등이 들어간다. 본인의 한계가 능력을 말하는 것은 아니기 때문에 한계를 명확히 보고 일정을 잡아야 하겠다. 사실, 중급 마무리가 되면 고급 프로그래밍에 일상과 하나 된 프로그래밍 스킬을 러프하게 적어 놓았다. 구체화하면서 프로그래밍을 할 수 있게 해 준 철학, 과학, 수학자들에게 경의를 표할 수밖에 없었다. 그리고 운 좋게 이런 고민들을 할 수 있게 여유를 준 사회 인프라 구성원들께도 감사의 마음을 가질 수밖에 없다. 삶의 순간순간들이 참 고맙다. 현재 택시를 잡는데 어제 택시 위치 정보는 필요 없듯이 꼭 필요한 데이터가 있고 아닌 데이터가 있다. 그러나 그 택시와 승객 정보로 최근 쏘카의 초등생 성폭행 사건과 빗대어 보면 모든 정보가 필요할 때도 있다. 내 생각은 이렇다. 필요 없는 데이터는 없다. 다만, 저장하고 그것을 다룰 기술이 부족하기 때문에 효율이 나은 쪽의 선택을 해야 할 뿐이다. 그 효율을 단지 돈으로만 보지 않고 생명의 존귀함과 어린아이들의 동심을 지켜줄 만한 것이면 더욱 좋겠다. 그래야 쏘카 사건이 더 이상 발생치 않을 것이다. http://www.inews24.com/view/1344350 '쏘카 초등생 성폭행' 30대, 휴대폰으로 범행 장면 촬영까지 했다 돼 또 다른 논란이 일고 있다. 피해 아동은 "여러 번 거부했지만 막무가내로 동영상 www.inews24.com
남겨둘 글
최근 데이터베이스(DB), 로봇 프로세스 자동화(RPA), 그리고 디지털 트랜스포메이션(DT)에 관한 세미나에 참여하면서, 일관된 메시지를 들었습니다. "어제의 데이터는 필요 없습니다." 이는 데이터베이스에서 실시간 데이터의 중요성, RPA에서 실시간 센서 데이터의 처리와 AI 모델의 실시간 학습, 그리고 DT에서 실시간으로 이루어져야 하는 의사결정 및 서비스 변화를 강조합니다.
예를 들어, 카카오 택시 서비스를 봤을 때, 고객과 차량의 현재 위치, 그리고 도로 교통 상황과 같은 실시간 정보가 중요합니다. 어제의 데이터, 심지어 5분 전의 데이터조차 쓸모없을 수 있습니다. 그러나 이러한 관점이 모든 상황에 적용되지는 않습니다. 예를 들어, 과거에 18번의 사기 전과를 가진 범죄자가 최근 3년 동안 사기를 치지 않았다고 해서, 그의 말만 믿고 투자 결정을 내린다면 올바른 결정이라고 볼 수 없습니다. 인간은 변하기 어려운 존재이기 때문입니다.
기술적인 측면에서 보면, 프로그래머는 다음과 같은 스킬을 개발해야 합니다:
큐 관리: 명령어, 함수, 컴포넌트 단위로 확장 가능해야 하며, 서비스 단위의 동기화를 위해 쉘 스크립트를 활용할 수 있어야 합니다.
저장소 및 서버 동기화: 최근에는 컨플루언트를 통해 몽고 DB와 카프카를 활용한 동기화 기술을 배우고 있으며, 이는 크고 작은 앱에서 모두 응용될 수 있습니다.
운영체제의 스케쥴러: 스케쥴링과 동기화 기술을 모두 포함하고, 콘텍스트 스위칭과 태스크 스위칭 같은 기술이 필요합니다.
이처럼 실시간 데이터 처리의 중요성이 강조되는 만큼, 프로그래머의 역할은 더욱 중요해지고 있습니다. 그러나 모든 데이터가 항상 유용한 것은 아니며, 어떤 데이터를 저장하고 처리할지에 대한 기술이 부족하기 때문에 더 효율적인 선택을 해야 합니다. 이는 단지 비용적인 측면 뿐만 아니라 생명의 존엄성과 어린이의 순수성을 보호하는 것과도 관련이 있습니다.
이 글은 현재 데이터 기술의 트렌드와 그 중요성, 그리고 기술적 요구 사항을 다루며, 데이터의 가치와 처리 방법에 대한 균형 잡힌 시각을 제공합니다.
