by
Jul 25. 2022
#8 pandas 강의 오픈
pandas가 필요한 분들에게 강의를 보내드립니다
SQL 다음으로 데이터를 잘 다루고 싶은 사람들에게 필요한 기술인 Python의 Pandas를 다룬 강의를 오픈했습니다. 데이터 엔지니어 로드맵에 도움이 되는 강의를 시리즈 형태로 만들고 있고 이 강의는 그 여정의 세 번째에 해당하는 강의입니다. Pandas 온라인 강의를 만들며 들었던 소회들을 브런치에 기록해둡니다.
인프런 디자이너님의 손길을 거쳐 만들어진 로고. Pandas언어 로고의 메인 컬러를 따서 만들어졌다.왜 Pandas 강의를 만들었나?
데이터 업계에서는 거의 업계 표준이라고 할 수 있을 만큼 데이터 추출과 데이터 정제에 이르는 과정에서 SQL과 Pandas를 사용하고 있다. R도 물론 강력한 언어이고 생태계가 만만치 않지만, 서버에 이르기까지 활용성이 넓은 Python 진영의 Pandas가 점점 자리를 잡아가는 모양새인 것 같다.
보통은 SQL만으로도 많은 작업들을 할 수가 있지만 SQL만으로는 조금 아쉽거나 할 수 없는 일들도 있다. 좀 더 자유롭게 시각화할 수 있고 데이터를 다룰 수 있게 만들어줘서 머신러닝이라던지 분석 결과 보고서라던지 다른 DB로 데이터를 적재할 수 있도록 ETL 프로세스를 서버 내에서 유연하게 해 준다던지 하는 역할로 Python 진영의 Pandas가 각광받아왔고 이제는 데이터 직군의 필수 스킬로 자리매김하고 있기 때문이다.
이후 강의들을 위한 초석
데이터 엔지니어링을 공부할 수 있는 로드맵에서 가장 기본적이고 중요한 핸들링 스킬인 SQL과 Pandas데이터 엔지니어링을 공부할 수 있는 로드맵을 구상하고 있는데, 거기에 Pandas는 매우 중요한 위치를 차지하고 있다. SQL 하나만으로도 물론 ETL 다 할 수 있지만, 점점 더 현대 데이터 파이프라인 아키텍처의 트렌드는 Pandas라던지 Spark과 같은 Transformation 프로세스를 거친 뒤 데이터를 로드하거나 아예 ELT 순서로 로드한 후에 원하는 결과를 프로세싱하는 경우가 다반사이기 때문에 이러한 프로세싱 언어들의 숙련도는 꽤 중요하다고 말할 수 있다.
Pandas는 이러한 공부를 시작하는 첫 스텝으로 가장 좋은 기술이라 생각했기 때문에 강의 제작으로 이어지게 되었다. 콘셉트를 익히는 것만으로는 몸이 반응할 만큼 수련하기에 아쉬울 수 있기에 추후에는 SQL과 Pandas를 양껏 써볼 수 있는 문제풀이(?) 수련의 시간을 만들어봐야지 싶다.
SQL과 비교하며 손에 익숙해지도록
데이터 분석가 면접관으로 참여하신 분 카더라에 따르면 생각보다 분석가 포지션으로 지원하는 분들 중 SQL은 잘 다루지만 pandas와 jupyter노트북 기반으로 데이터 코드를 작성하는 능력을 같이 갖추신 분들이 많이 없다고 한다.
SQL은 잘 정리된 문법, Syntax 덕분에 초심자도 금방 기술을 익힐 수 있게 되어있는 반면 Pandas는 조금 더 자유도가 높다 보니 처음에 익숙해지기까지 시간이 더 많이 걸린다. SQL의 펑션들과 비교하며 Pandas를 손에 익게 만들어 나갔던 방법이 나에게 잘 맞았는데 이러한 비교를 통해 익힐 수 있도록 최대한 구성하였다.
여전히 고려할 것이 많은, 온라인 콘텐츠 제작
새로운 친구, Britz사의 콘덴서 마이크음질 관리 분투기
그동안 사용하던 구스형 마이크를 그만 괴롭(?)히고 좀 더 좋은 음질 퀄리티를 위해 콘덴서 마이크 중 추천을 받은 Britz사의 BE-STM700 마이크를 구매했다. 이제 장비가 더 좋아졌으니 당연히 음질이 좋아졌겠지? 하면서 예전에 구스 마이크를 쓰던 방식대로 그냥 USB를 꼽고 별 고려 없이 사용을 했었다.
기존에는 가장 문제가 되던 부분이 화이트 노이즈였다. 화이트 노이즈를 줄이기 위해서 편집 과정에서 반드시 화이트 노이즈 제거하는 필터링을 적용해줘야 하고 음량을 증폭이라도 하려 하면 음질이 다 깨져서 곤란한 경우가 많았다. 반면 위의 콘덴서 마이크는 따로 화이트 노이즈 필터링 적용을 안 하고도 꽤 깔끔한 음질을 들을 수 있게 되었고 음량 증폭도 상대적으로 용이해지게 되었다. 마치 화소가 높은 카메라로 찍은 사진은 확대를 아무리 해도 해상도가 높은 것과 같은 느낌이었다.
하지만, 콘덴서 마이크는 생각보다 예민한 아이여서 마이크의 방향을 잘 잡아주지 않으면 거의 소리가 잡히지 않게 되는 참사가 일어나게 된다. 방향에 상관없이 모든 소리를 다 잡는 마이크와는 다르게 주변의 소음을 안 잡기 위한 목적으로 만들어진 마이크인 만큼 정면을 바라보게 한 뒤에 소리를 녹음해야만 제대로 된 콘덴서 마이크의 효과를 누릴 수 있는 것이었다. 이 사실을 모르고 거의 강의 중반까지 녹화를 하고 영상편집을 하려고 보니 소리가 거의 녹음이 되지 않아 다시 처음부터 다시 찍은 강의 수가 꽤 된다. 본의 아니게 리허설(?)을 하고 찍은 강의들이다 보니 초반 강의들의 흐름이 좀 더 매끄러워지는 긍정적인 효과를 얻을 수 있었다.
처음엔 어디서부터 손을 대어야 할지 모르는 일들이었지만 하면 할수록 그래도 점차 익숙해지는 느낌이 좋다. 강의도 콘텐츠인 만큼 내용이 가장 중요하지만 콘텐츠가 잘 전달되도록 하는 것은 영상 기술인 것 같다. 내용을 더 잘 전달할 수 있는 그릇을 만드는 기술을 계속해서 발전시켜 나가보자.
여전히 감사한 분들
이번 강의제작에도 역시 많은 분들의 도움을 받았다. 마이크의 사운드를 잘 조절했다고 생각했지만, MD님의 피드백을 통해 내가 놓친 영상들을 발견할 수도 있었고, 로고 디자인과 psd 파일 수정들까지 내가 할 수 없는 많은 부분을 도움받았다.
나는 이제 N년차 데이터 커리어를 밟고 있는 사람이다. 분석 업무를 거쳐 이제는 엔지니어링 업무를 하며 여전히 성장해야하는 한 사람이다. 하지만 이러한 이력 덕분에 초심자들을 더 잘 이해하고 어떤 포인트들을 답답해 하실지, 어떻게 더 쉽게 설명할 수 있는지를 잘 이해할 수 있는 부분이 내 강점이라고 생각한다. 그렇기 때문에 이런 강점을 통해 더 잘 풀어낼 수 있다고 판단하고 강의를 만들어나가고 있다.
시중에 여러 강의가 있지만 그럼에도 강의를 신청하고 시간을 투자해주시는 분들은 이러한 부분들에 공감해주시기 때문일거라 생각한다.
Pandas 강의가 필요한 분들에게
강의를 보내드립니다
이 글을 보신 분들 중 Pandas가 업무 혹은 공부에 필요한 분이 있다면 댓글에 Pandas가 필요한 이유와 함께 댓글을 남겨주세요.
Pandas가 필요한 이유와 이메일을 댓글로 남겨주신 5분에게 인프런 강의 수강권을 무료로 넣어드립니다. (인프런에 가입되어 있는 이메일이 필요해요)
보시고 도움이 되셨다면 피드백을 남겨주세요. 저는 그 피드백을 통해서 계속 강의를 개선할 수 있으니 저에게도 도움이 됩니다. 더 좋은 지식 콘텐츠를 만들기 위해 많은 쓴 피드백이 필요합니다. 많은 댓글 부탁드립니다.
강의 내용 확인하기(클릭)
