by
Oct 21. 2024
[데이터 시각화] 전기차 보조금 현황 대시보드 만들기
챗지피티 없던 시절에 기획, 제안부터 코딩, 개발을 한다면?
오랜만에 인사드립니다.
변명을 하자면 그 동안 재미있는 데이터 분석 시리즈를 기획해보자 생각했으나
현실 또는 여러 일 등에 치여 포스팅이 늦어졌네요^^;
브런치에 데이터 분석가가 되기 험난했던 여정을
글로 썼지만 실제로 취업해서 어떤 일을 하고 있는지는 구체적으로 언급한 바가 없어
궁금하신 분들을 위해 써봤습니다.
그러는 의미에서 제가 PM으로 참여했던 프로젝트인
"전기차 보조금 현황 대시보드를 통한 데이터 시각화"를 가지고 와 봤습니다.
한 눈에 보기 쉽게 데이터 시각화하는
전기차 보조금 현황 대시보드 구축하기
당시 고객사였던 다른 모 수입차 브랜드사는
전기차 보조금 현황 데이터를 실시간으로
확인할 수 있도록
대시보드 구축을 요청하였는데요.
지금은 이런저런 전기차 사고 이슈가 있어 붐이 줄었습니다만,
당시에는 전기차 보조금 신청자들이 많았고
전기차를 팔아야 하는 기업 입장에선
고객들에게 수도권, 각 지방 정부처마다 차종별 지원금과
마감 기한, 마감 정원 등 정보를 면밀히 지원 제공해서
전기차 판매를 늘리고 싶어하는 needs가 있었습니다.
특히 당시 2021년 정부에서 제공하는 통합누리집 데이터는 보기 편하지 않았습니다.
무공해차 통합누리집(https://ev.or.kr/nportal/main.do)
2024년 인터페이스는 편해졌지만 표는 여전히 보기 어렵다.이 데이터들을 어떻게 보기 편하게 가공하여 시각화할 수 있을까?
기획하는 일은 전부터 해오던 일이었으니
어렵진 않았습니다.
여기에 데이터 수집과 분석, 일부 기능 개발 하는 것이 난관이라 머리를 싸맸는데요.
개발은 통째로 외주로 맡기기보단
비용도 아끼고 직접 핸들링하는 걸 좋아해서
지인인 프런트엔드와 백엔드 개발자, 퍼블리셔와 사내 디자이너와 협업하여 빠르게 구축하는 걸로 회사와 협의하였습니다.
그리하여 완성한
데이터 시각화 및 대시보드
보조금 신청 접수가 추후 어떻게 될 것인지 예측할 수 있는
ML 기능도 넣기 위한 시각화
보조금을 최대한 많이 받을 수 있는
리스사로 연결하고
마감 임박한 보조금 받을 수 있는 지역도 시각화.
개발 기간
3개월
개발 목적
고객사와 전기차 구매 고객이 보기 편하게 정보를 시각화하고
전기차 구매 고객에게 브랜드 홍보를 위한 광고 유치,
향후 다른 국산/수입 자동차 브랜드사 고객도 이용 가능할 수 있게 개발
language : Python, Java, Javascript
framework : Vue.js, SpringBoot, kubernetes
DB : AWS RDS(MySql)
Server : AWS EC2
이 정도의 대시보드를 구현하는 난이도는 어땠을까요?
저는 항상 긍정적이고 낙관주의자라 어떤 일이든
도전하길 주저하지 않는 편이지만
막상 기획한대로 "예쁘게" 시각화하기 위해
데이터를 긁어와
DB에 보기 좋게 넣는 코드까지 구현하려고 하니
부족한 개발 지식으로 무지하게 고생을 했던 기억이 있습니다.
(무식하게 덤벼든 것일까 후회도 수십 번..
그때는 Chatgpt 사용하기 전이라 더 고생했습니다.)
매일 실시간으로 데이터가 달라지기 때문에
cronjob으로 서버에서 크롤링할 수 있게
하루에 한번씩 자동으로 돌아가게금
코드를 구현해야 했습니다.
특히 테이블 간 관계와 DB 설계는
전문지식이 매우 필요한 일로
실시간 서비스로 문제 없도록 이용하려면
리팩토링 이슈도 있었습니다.
(괜히 DB전문가가 있는 게 아니더라고요)
처음엔 제가 설계한 DB 테이블과 칼럼을 보시고
음...OK했던 백엔드 개발자님, 나중에 다시 만들라며 몇 번이나 엎으셨구요^^
보조금 현황 대시보드 table&column빠른 대시보드 구축과 데이터 조회를 위해 외래키를 무시하자는
백엔드 개발자님의 의견을 받아들여 완성한 table&Column
첫화면 데이터 시각화의 핵심 table인 subsidy_info와 subsidy_accepted table
subsidy_info table
subsidy_accepted table나중에 완성한 크롤러를 보고
당시 백엔드 개발자님이 이걸 어떻게 만들었냐며
1년이 지나도 아직 이게 멀쩡히 돌아가는 게 신기할 정도라고 하셨네요^^
통합누리집에서의 크롤링과 pandas를 통한 데이터 전처리
그리고 통계적으로 시각화할 수 있는 계산식
그리고 mysql db에 crud할 코딩까지 뭐 하나 쉬운게 없었습니다.
보조금 마감예정 지역 시각화 기능
데이터 insert를 위한 비즈니스 로직
당시 프런트엔드 개발자님과 업무상 소통하였던
깃랩 90여개의 Issues 목록
Crawler 개발 Issues 목록
