인스피언은 어떻게 경남도청의 로그 관리 문제를 풀었나?
지난 2021년 5월, 경남도청은 지자체로는 이례적으로 통합로그관리 솔루션인 인스피언의 '비즈인사이더 플러스'를 도입했습니다. 일반적으로 로그 관리는 보안 관련 해킹 공격 등에 이상 행위 추적에 활용됩니다.
하지만 경남도청의 요구는 달랐습니다. 단순하게 데이터의 수집 · 저장에 그치지 않고, 급증하는 로그 데이터를 활용하길 원했습니다.
인스피언은 어떻게 경남도청의 니즈를 만족시켰을까요? 프로젝트를 이끈 신동하 인스피언 상무에게 '비즈인사이더 플러스' 도입 스토리와 함께, 로그 데이터 시장 전략에 대해 들었습니다.
업무 시스템 통합 로그 분석을 원하는 기관 관리자에게 권합니다.
로그 데이터 분석 프로세스가 궁금한 실무자에게 권합니다.
공공 시장에서 공략 포인트를 알고 싶은 기업 담당자에게 권합니다.
Q. 우선 왜 경남도청이 통합 로그 관리 시스템을 도입하고자 했는지 궁금하다.
-- 통합 로그 관리는 두 가지로 볼 수 있다. 첫번째는 방화벽, 침입 탐지 등 보안 장비에서의 로그 관리와, 두번째는 중요 데이터에 대한 액세스 권한 등 업무 시스템에서의 로그 관리로 나눌 수 있다. 경남도청은 일반 업무 시스템에서 발생하는 여러 로그를 모아 통합 관리하고, 분석하길 원했다.
Q. 경남도청의 업무 시스템이 가진 문제점은 무엇이었나?
-- 업무 시스템에서 발생하는 로그 데이터는 형태가 모두 달라 관리가 어렵다. 보안 장비 로그와 비교하자면, 방화벽 등 보안 장비 로그는 이미 정형화되어 있어 'Access(허용)' 혹은 '거부(Denied)'로 구분할 수 있다.
하지만 업무 시스템 쪽은 접속자, 처리시간과 같은 로그 데이터 형태가 시스템마다 다 달랐다. 경남도청은 도청 메인 시스템, 민원 처리 시스템 등 약 30개의 업무 시스템을 활용하고 있었는데, 제각각인 경우가 많았다.
에러 로그도 어떤 시스템은 'Erorr'인데, 또 다른 시스템에서는 'E'로 표시됐다. 개발사가 다 다르기 때문이었다. 그래서 접속 시간에 관련된 로그 데이터도 그 형태도 개발사 수만큼 생겨났던 것이다.
게다가 이슈가 생기면 일원화해서 분석할 수도 없었다. 이슈가 생기면, 각각 시스템의 개발사를 불러 모아 맞춰야 했다. 이런 불편함을 해소하기 위해 업무 시스템의 로그 데이터를 통합해서 관리하자는 요구가 나왔던 것이다.
신동하 인스피언 영업&신사업추진팀 상무
첫번째는 기능성, 두번째는 편의성이다.
Q. 이전에는 로그를 확인할 수 있는 방법이 없었던 것인지?
-- 시스템의 운영 현황 관리를 볼 수 있는 솔루션은 있었다. 그러나 단순히 정상 상태 등 운영 현황만 보는 정도였다. 그래서 실제로 시스템 안에서 문제가 발생해도 구체적인 로그 데이터는 확인할 수 없었다.
경남도청은 이를 넘어, 로그에 대한 통합 관리를 통해 그 로그 데이터를 장기간 안전하게 유지하고, 이슈가 생기면 추적할 수 있는 근거를 보관하면서, 전체 시스템이 정상적으로 운영되고 있는지 실시간 현황을 파악하는 동시에, 이슈가 발생할 경우 각각의 시스템을 분리하지 않고 연계해 추적하고 분석하길 원했다.
Q. 그렇다면 인스피언은 이 문제를 풀기 위해 어떻게 접근했나?
-- 첫번째는 기능성. 두번째는 편의성으로 접근했다. 먼저 기능적인 부분으로는 로그를 정상적으로 수집해서 손실 없이 저장하는 것이다. 물론 그것도 쉽지는 않다.
저희 인스피언은 대량의 데이터가 발생해도 문제없이 수집 저장할 수 있는 빅데이터 처리 플랫폼 기술을 제공했고, 여러 업무시스템에서 발생하는 다양한 로그들을 가져와서 정규화한 다음에, 일반 분석이 가능한 데이터로 처리할 수 있도록 만들었다.
Q. 빅데이터 처리 플랫폼 기술과 다른 형태의 로그를 정규화했다는 점이 핵심으로 보인다. 각각 설명해달라.
-- 이번 '비즈인사이더 플러스'는 기존 ‘애니몬 플러스’의 신규 버전으로, 빅데이터 기반의 분석 플랫폼을 적용한 인스피언의 차세대 통합로그 제품이다. 대용량 로그에 대한 처리 성능 및 분석 기능을 대폭 강화하기 위해 이전 버전의 아키텍처를 완전히 바꿨다.
구체적으로 설명하자면, 이전 버전에서는 상용 DB를 썼는데, 그걸 분산형 DB로 변경했다. 상용 DB를 쓰게 되면 로그를 취합하고 분석하는데, 아무리 빠르다고 해도 인서트 시간 등 제약사항이 있다. 그러나 분산 디비를 쓰게 되면, 로그 저장과 검색 성능을 획기적으로 높일 수 있어 많은 제약을 해소할 수 있다. 약 20배 이상 빨라진다.
분산형 DB그리고 정규화를 통해 여러 시스템에서 오는 로그 데이터를 동일한 관점으로 검색과 분석이 가능하도록 만들었다.
예를 들어, 각각 업무시스템마다 처리시간이 있는데, 그걸 표현하는 방식이 다 다르다. 어떤 시스템은 초단위까지 기록되기도 하고, 또 어떤 시스템은 일자만 기록되기도 한다. 그런 로그들을 표준화해 수집하는 것이다.
그래야만 수집된 로그를 검색하고 연계해 분석도 가능하기 때문이다. 개발하는 주체를 다 다르기 때문에 그런 현상이 발생했지만, 비즈인사이더 플러스를 통해 통합 관리가 가능해진 셈이다.
두번째는 편의성 측면에서의 접근이다.
사실 로그 관리에 있어 '편의성'은 트레이드오프의 성격이 존재한다. 먼저 강력한 로그 검색 기능을 제공하면, 사용자는 어려움을 느낀다. 왜냐면 쿼리 방식으로 써야 하고, 사용자 즉, 경남도청이 해당 방식에 대한 이해도가 필요하다.
하지만 그들은 전문가가 아니니, 쉽게 로그를 관리할 수 있어야 했다. 그렇다고 반대로 키워드 중심으로 쉽게 세팅하면 너무 많은 로그 데이터가 검색되어 정작 필요한 정보를 얻지 못할 수 있다.
그래서 비즈인사이더 플러스는 전문가와 일반 사용자를 나눠 두가지를 제공했다. 이를 위해 로그 데이터를 풀 텍스트 인덱싱해 두 가지 모드를 커버할 수 있도록 제공했다.
Q. 다른 통합 로그관리 솔루션은 왜 그렇게 하지 않나?
-- 전문성을 강조하는 측면이 크다.
사실 고객이 원하는 수준이 높기 때문에 점점 로그 관리는 어렵게 바뀌고 있다. 하지만 우리는 쉽게 로그를 분석할 수 있는 기능이 필요한 고객들도 있다고 생각했다. 그렇다고 고객에게 무작정 검색 결과만 제공하지 않는다. 검색만으로도 로그 데이터 속에서도 이상행위를 알 수 있어야 하기 때문에, 이를 추적할 수 있는 로그 플로우 시각화 기능을 제공했다.
예를 들어, 경남도청 실무자가 한 달 동안 발생한 로그 데이터 중에 이상 행위를 검색하게 되면, 한 달의 로그가 24시간 로그 플로우로 변하면서 해당 행위가 일어난 시각과 로그 발생 시스템을 바로 추적할 수 있도록 구축했다.
Q. 그렇게 찾아낸 로그 데이터를 실무자가 어떻게 활용할 수 있을지 궁금하다.
-- 경남도청은 접근 로그에 대한 이상행위 분석 니즈가 있었다. 예를 들어, 어떤 공무원이 있는데, 인사 시스템에서는 이 사람은 오늘 휴가다. 그런데 업무 시스템에는 접속 로그가 남았다. 보안 위반사항이 될 수 있다.
또 출입통제 시스템과 연결해보자. 이 사람이 분명 퇴근 기록을 찍었는데, 업무 시스템에 접속한 로그 기록이 있다면, 곧바로 알 수 있다.
통합 로그의 좋은 점은 여러 시스템의 로그를 끌어오기 때문에, 연관을 시켜서 분석할 수 있는 것이다. 이전에도 각각의 로그들은 각각의 시스템에 다 쌓이고 있는데, 이제 연계해 실시간으로 확인하고 또 분석이 가능하다.
로그 시각화, 출처: 인스피언Q. 이슈가 생기고 나서야, 각각 시스템 로그를 꺼내 골라내는 작업을 하지 않아도 될 것 같다.
-- 경남도청 프로젝트 완료 후 2개월 정도 지났다. 각각의 업무 시스템에서 별도로 로그를 관리하던 일손이 많이 줄었다는 점, 자체 시스템의 동일한 뷰로 로그 데이터를 볼 수 있어 편하다는 피드백을 들었다. 더불어 로그 데이터의 저장 보안은 물론 소프트웨어를 통해 로그 내 개인정보 탐지, 암호화 기능도 제공하고 있다.
인스피언, 종합 로그 플랫폼 기업 될 것
Q. 마지막으로, 비즈인사이더 플러스를 중심으로 한 인스피언의 시장 향후 전략이 궁금하다.
-- 로그 관리의 발전 단계를 보면 세단계로 나눌 수 있다. 첫 단계는 그냥 로그를 끌어다가 저장만 하는 수준으로, '이슈가 생기면 꺼내 보자' 정도다. 두번째 단계는 쌓인 데이터를 대시보드 형태로 보여주는 것이다. 사용자는 그걸 보고 로그 현황과 시스템 연결을 파악할 수 있다.
세번째 단계는 굉장히 많이 쌓인 데이터를 활용하기 위해 의미를 찾아내고 이슈를 발굴해내는 솔루션이다. '비즈인사이더 플러스'는 로그를 분석하기 위한 시스템으로, 생성된 로그 데이터를 잘 쌓아두고, 대용량의 데이터를 쉽게 찾아내고 분석하는 로그 플랫폼이다.
사실 지금까지의 인스피언은 SAP가 전문 분야라 할 수 있다. SAP 영역에서 암호화, 접근 제어, 개인정보 접속 기록 등 특화되어 서비스를 제공했다. 크게 보면, 암호화시켜서 로그를 발생시키고, 접속 기록의 로그를 만드는 로그를 발생시키는 시스템에 속했다.
이제 '비즈인사이더 플러스'를 통해 각각의 로그를 처리하고 분석하는 로그 플랫폼으로도 나아가려 한다. SAP 영역의 시장 규모가 연간 100억 원 규모 정도인데, 로그 통합 분석 시장은 훨씬 더 크다.
SAP 영역에서는 개인정보 분리 보관 등 새로운 제품군을 하반기 중 출시할 예정이고, 로그를 취합해서 분석하는 로그 분석 플랫폼 영역에서는 로그 데이터에서 한 단계 발전해 패킷 자체를 분석하거나, 자산 관리, 외부 위협 분석이 가능한 제품을 2022년 출시 계획이다.
지금은 로그 데이터를 빠르게 추적하고 분석한다면, 향후에는 AI 머신러닝 등을 적용해 높은 수준의 통합 분석이 가능해질 것으로 예상한다.
