[회고] 야밤의 개발 삽질 아닌 삽질기?
별 영양가 없는 헛소리임.
배경)
난 하루에 정보 습득을 위한 웹 문서를 대충 75~100개 정도를 보는 것 같고.
유튜브 영상은 25개 전후로 보는 것 같음.
그리고 자료의 특성에 맞게
포켓, 에버노트, 북마크, 블로그, 브런치, 슬랙, 해당 매체의 저장 기능을 이용해 분류하고 저장하고 있음.
발단)
문제는 영상을 보는데 시간이 너무 오래 걸린다는 거. (그래서 요즘엔 배속을 기본으로 하고 건너뛰며 봄) 정작 핵심적인 내용은 영상 전체 1~20분 중 몇 분 되지 않음.
특히나 게스트를 모시고 뭔가 현황을 이야기하거나 인사이트를 전달하는 포맷에서는 잡다한 미사여구가 많은데 이걸 어떻게 잘라낼 수 있을까, 혹은 전체 흐름을 텍스트로 쉽게 살펴볼 수 있을까 고민했음.
그리고 가끔 댓글로 마커를 달아놓거나, 내용을 요약정리해주는 사람들이 있는데, 이것들 덕분에 많이 시간을 절약하고, 내용 이해에 도움을 받을 수 있었음. 이걸 어떻게 자동화할 수 있을까 싶었음,
전개)
일단 직접 해보자
1) 영상다운->2) 자막 추출->3) 요약하기
자꾸 코딩, 자동화를 어떻게 하면 좋을지에 대한 아이디어만 떠오르고 AWS 들어가고 그러길래.. 참았음. 설계, 개발, 자동화 아이디어가 뿜뿜하니까 만드는 거 먼저 하려고, 코딩 먼저 하려고 들어서 문제임.
그래서 먼저, 코딩을 하지 않고, 직접 수동으로 한다면 어떻게 할지, 그 퀄리티는 어느 정도인지 확인해보기로 했음. 그다음에 수동으로 하는 것을 조금씩 자동화하는 게 현실적이고, 당장에 쓸 수 있으며, 사용하할수록 더 유효한 방향으로 피드백먹이고 나아갈 수 있는 방안이라고 판단했음.
1) 영상다운 : 영상은 url변조로 다운 제공하는 사이트들이 몇 개 있음.. 일단 받는 건 쉬움 클릭 몇 번이면 됨.
2) 자막 추출 : vrew가 생각났음. 다운로드한 영상을 업로드했고, 자막을 추출했음. 타임도 찍어주고 파일 확장자도 srt냐 txt냐 옵션이 여러 가지 있던데 별로 중요한 건 아니고, 그냥 자막만 뽑아봤음.
3) 요약하기 : 웹에 text summarization 서비스들이 많이 있음. 예컨대 문서 3줄 요약이라던가. 일단 돌려봤는데 아뿔싸. 2)에서 뽑은 텍스트들이 마침표가 있는 게 아니고 타임라인에 따라 개행되어있어서 전체를 한 문장으로 인식하는 거임. 그래서 서비스들을 쉽게 돌려볼 수 없었음. 스크립팅으로 개행 부분마다 마침표를 넣을까 하다가->코딩하지 말자-> 텍스트 에디터에서 개행 문자를 마침표+개행 문자로 치환하면 될 거 같은데->아니야 그냥 넘어가자, 일단 텍스트들을 훑어봤고 자막은 나쁘지 않은 퀄리티였음. 쭉 훑어보는 걸로도 써먹을만하다고 판단. 내용 요약하는 건 퀄리티가 좋지는 않았음. 영상에서 한 주제를 이야기한다고 해도 다양한 사례로 근거를 제시하거나, 다양한 맥락의 질문을 하기 때문.
솔직히 3번을 하면서.. 유혹이 많았음. 3번을 파이썬에서 여러 라이브러리들을 참고하면 어렵지 않게 구현이 가능하기도 하고, google stt api 같은 거 쓰면.. 월 60분은 무료이고, 영상/음성파일은 google storage에 업로드하면 되긴 하는데.. 스펙들 찾아보다가 이러면 안 돼. 하고 넘어감..
위기)
1) 2) 3) 과정 중 어떤 부분을 자동화하는 게 가장 효율이 좋은지 살펴봤음.
1) 영상다운 자동화
1.1) 유튭 영상 서칭을 결국 웹에서 하니까, 웹에서 바로 url들을 저장하고 다운받을 수 있는 로직이 있으면 좋겠다-> 크롬.. 익스텐션? 만들면 편할 거 같은데-> 이미 있을 거 같음 ->찾아보니 있음-> 사용해봤는데 바로 다운되는 게 아니고 결국 새로운 다운 사이트로 이동해서, 영상 옵션 선택하고, 다운받음-> 결국 리서치했던 유튭 영상 다운로드 서비스에 방문해서 조작하는 것과 다를 바가 없음 -> 웹페이지 소스코드 까 봤는데 모두 특정 리퀘스트로 원하는 동작을 한 큐에 실행할 수 없게 되어있음.. 자바스크립트 조작이 필요해 보임 -> 셀레늄같은 웹 드라이버로 금방 해결할 수 있을 것 같은데 코딩해야 하므로 참았음.. 패스
1.2) 링크를 저장하고->요청할 때마다 저장한 링크를 기반으로 s3에 영상을 음원이나 가장 용량 적은 파일 포맷으로 저장하는 로직만이라도 있으면 좋겠다 싶었는데 내가 자꾸 나중의 개발을 고려해서 클라우드에 저장한다를 상정하고 있지 않나 싶었음.. 일단 로컬에 해도 되는데.
2) 자막 추출
Vrew웹 버전이 있음. 리퀘스트 리스폰스 까 보니까 좀 파보면 원큐에 원하는 옵션으로 결괏값을 받아볼 수 있어 보임. 영상 업로드는 어떻게 해야 할지 잘 모르겠음. 1)에서 로컬에 저장하는 방식을 택한다면, 어떤 자동화 프로세스로 vrew를 돌릴 수 있을까.. 마우스 매크로.. 는 어.. 떨.. 까?
3) 요약하기
공개된 사이트에 리퀘스트 날릴 수 있어 보임 -> 음 자꾸 계속 클라우드 상의, 웹상의 서비스를 상정하는 것 같아서 반성함. 이거는 그냥 로컬에 파이썬 스크립트 만들어서 요청 건마다 돌려도 상관없을 것 같음.
절정)
결국 이렇게 살펴만 보다가 졸려서 관둠..
결말)
자려고 누워서, 이 서비스(?)의 0.00001 ver를 만들면 어떤 모습일까 생각해봤음.
음.. 잘 상상이 안감. 마우스 매크로로 동작하는 무엇(?)이 되는 걸까. 전개 부분의 잡다한 자동화가 과연 의미 있는 것인가? 이거 단계가 은근히 많은 거 같은데? 내가 처음 떠올린 프로세스에만 빠져있는 건 아닐까. 더 간소화된 프로세스가 있을까? 유튭 api의 캡션 쪽을 보면 다운로드할 수도 있는 거 같은데 이걸 쓰는 게 더 나으려나? 솔직히 잘 모르겠음. 지저분하게 자동화할 수는 있는데 얼마나 효용이 있을지도 잘 모르겠음. 사실 이것도 가장 작게 품이 드는 것을 시도해보면 되는데 탐색만 한 듯.
그러다가 생각이 미친 곳은..
정작 중요한 것은.. 책 읽기와 마찬가지로
내가 얻은 데이터, 지식, 정보를 내 삶에 전이시킬 수 없으면 말짱 꽝이라는 생각.
내가 습득한 것들로부터, 당장 내 삶에서 어떤 액션플랜을 설계할 수 있을지, 어떤 변화를 만들어낼 수 있는지, 이것을 지속 가능한 습관으로 일상화시킬 수 있는지가 더 중요하다는 생각을 함.
지금 내가 고민했던 자동화 프로세스가, 먹는 것으로 비유하면, 하루 세끼 먹던 것을 수십 끼 먹을 수 있도록 해주는 건데, 정작 먹은걸 소화하고 에너지나 근육으로 전환시키는 것은 고려하지 않은 행위라고 판단함.
그래서?)
영상을 통해 새롭게 알게 된 내용, 나를 추동하는 문장이 있다면, 그것들을 정리해서 지금 당장 내 삶에 어떻게 적용할 수 있을지 설계해보는 시간을 갖기로 함. 예를 들어 주식 관련 영상이라고 하면.. 이 문장을 내 포트폴리오에 적용한다면, 지금 당장 어떻게 하는 게 좋을까, 앞으로의 특정 기간 동안 나는 어떤 포지션을 취하는 게 좋을까. 내일 장이 열리면 당장 어떤 액션을 취해야 하는가.. 텍스트로 구체화해서 삶에 반영해보는 게 더욱 유효한 변화를 삶에서 구현해내는 행위 아닐까.. 생각해봄.
