[무엇을] 내 브런치글, AI로 자동복사하기 (2)
인공지능의 도움을 받은 간단 파이썬 코딩
스크래핑할 웹사이트에 크롬 브라우저로 접속해 보세요. F12를 누르면 개발자 도구가 열립니다. 제가 아래 캡처 이미지에서 주황색 화살표로 표시한 부분이 Select an element in the page to inspect it 버튼입니다. 이 버튼을 누른 후 웹페이지의 이곳저곳 탐색하면, 영역별로 색깔이 변해요. 원하는 영역에 마우스를 올리고 우측의 elements 탭을 살펴볼까요. 그러면 마찬가지로 색깔이 변한 부분이 해당 구조의 HTML 코드입니다.
브런치 커버 이미지의 div class는 'cover_image'네요.이런 방식으로 간단히 구조를 파악하고, 원하는 부분을 스크래핑하도록 AI에게 주문하면 되겠습니다. 만약 글의 부제목을 따오려면? 동일한 방법으로 개발자 도구로 파악하면 됩니다. 제목도, 본문도, 이미지도 모두 마찬가지입니다. 간단하고 직관적인 방법으로 웹페이지의 구조를 알 수 있으니, 이제 AI와 말이 통하는 것도 문제가 아닙니다.
단, 제 경우에는 이 내용으로 AI에게 파이썬 스크립트를 주문하니 스크래핑이 되지 않았습니다. (참고로 25년 여름 chatGPT 4.1 기준입니다.) 이유는 코딩 시에 동적 렌더링을 고려하지 않았기 때문입니다. 한 번에 모든 내용을 다 불러오는 대신, 스크롤을 내리는 동작에 따라서 실시간으로 필요한 부분을 추가로 불러오는 것이 동적 렌더링의 대표적인 예시입니다.
브런치의 글 목록도 실시간으로 구조가 변화하는 동적 렌더링이 구사되었습니다. 그러니 실제 '스크롤을 내리는 동작'을 생략하고 코딩한다면 모든 글 목록을 불러올 수 없습니다. 이런 이유 때문에 파이썬 스크립트를 짤 때 웹페이지의 작동 방식을 고려하여 selenium이라는 도구를 쓰도록 추가 주문을 하면 잘 작동합니다.
마지막으로 스크래핑한 정보를 제 워드프레스 웹사이트에 자동으로 업로드할 수 있습니다. 인간 도우미 하는 일이라면 어떨까요? 웹사이트에 로그인하고, 복사-붙여넣기를 통한 포스팅 작성을 여러 번 반복하면 되겠지요. 우리는 이 과정을 자동화할 것이기 때문에, 파이썬 스크립트 내부에 로그인해서 워드프레스 사이트를 제어(게시글 작성)할 권한을 줘야 합니다. 그래서 app password를 설정하는 과정이 필요한데, 이것 역시 인공지능이 안내를 해주는 대로 따라가면 되니 어렵지 않습니다.
자, 이쯤 되니 AI가 '알잘딱깔센' 한방에 내가 원하는 코딩을 처리하지는 못한다는 것이 느껴지시나요. 문외한이라면 인공지능의 도움을 받을지언정 웹페이지의 구조를 파악하고, AI와 반복적인 대화 속에서 스크립트를 완성하는 것이 녹록지 않게 느껴질 수도 있습니다. 저도 chatGPT, claude와 여러 번의 수정을 통해 브런치 게시글 자동 복제 스크립트를 완성했어요. 물론 혼자서라면 이조차도 시도할 수 없는 일이지만, 그렇다고 AI가 한큐에 뚝딱 해결해 주지도 않았습니다.
그런데 말입니다, 좋은 소식이 있습니다. AI는 갈수록 더 성능이 좋아지잖아요. 제가 이 글을 쓰는 시점인 2025년 가을에 테스트 삼아 gemini 2.5 모델로 유사한 요청을 코딩해 보니 불과 한 계절만에 인공지능의 성능이 좋아진 것이 체감됩니다. 질문하는 사람이 AI 활용에 특별한 요령을 발휘하거나 많은 사전 지식을 가질 필요성은 갈수록 줄어듭니다. AI가 알아서 요청을 구체화하고, 과제 완성에 필요한 정보를 능동적으로 수집하니까요.
흠. 그래도 홈페이지 만드는 것이 꽤 귀찮은 과정이라고 느껴지실 수도 있지요. 내일로, 미래의 언젠가로 미루고 싶으실 수도 있구요. 제가 마지막 응원을 보태겠습니다. 내 콘텐츠를 개인 웹사이트를 통해 공개하는 것은, 대형 기업 플랫폼을 활용하는 것보다 반드시 더 까다롭고 복잡합니다. 지금까지도 그랬고, 앞으로도 계속 그럴 것입니다. 그것이 기업 플랫폼의 존재 이유이자 수익 모델이니까요. 하지만 뒤집어서 생각해 보면, 바로 그 이유 때문에 개인의 독립적인 웹사이트에 희소성과 공신력이 생기는 겁니다. 우리는 쉬운 일만 하는 사람보다는 어렵고 노력이 필요한 일을 해낸 사람에게 본능적으로 더 큰 존중을 보냅니다. 저는 자기 웹사이트를 가진 콘텐츠 제작자도 유사한 위상을 차지하기에 충분하다고 생각합니다.
