chatGPT3부터 잘되었었는데 4의 다양한 버전을 거쳐, chatGPT5가 나온 지금도 여전히 잘되고 claude나 grok 등에서도 여전히 잘되기에 '완벽한'을 붙였다. 제미나이는 아직 멀었다고 본다. 열심히 챗봇과 대화한 내용을 바로 블로그 포스팅으로 만들 수 있는 프롬프트를 소개한다. 필자는 미래에도 책(문학 제외)을 없앨 수 있는 도구로 매우 유용할 것이라 생각한다. 원하던 원하지 않던 세상은 그렇게 흘러가고 있고, 세상이 그렇게 흐르는 이유는 다수의 사람이 원하기 때문이다. 다수의 사람이 원하는 이유는 누구나 자신의 눈높이로 뭔가를 알려고 하고 그 정수를 깨닫고 싶어 하기 때문이다. 앎은 인간의 본능적 욕구니까.
이 프롬프트를 이용하면 워드프레스에서는 다음과 같이 보이고,
브런치에서는 다음과 같이 나온다.
웹 크롤링 환경은 최근 몇 년간 급격히 변화하고 있다. 특히 트위터(X)와 같은 대형 플랫폼은 API 정책 변화, 비공식 엔드포인트 차단, 인증 절차 강화 등을 통해 단순한 HTTP 요청 기반 스크래핑을 점점 더 어렵게 만들고 있다. 이러한 환경에서 브라우저 자동화 도구는 여전히 강력한 대안으로 자리 잡고 있으며, 그중에서도 Playwright는 성능과 안정성을 겸비한 최신 설루션이다.
Playwright는 Microsoft가 주도하여 개발한 오픈소스 브라우저 자동화 프레임워크다. 기존 Selenium이 가진 유연성과 폭넓은 호환성은 유지하면서, 속도·자동 대기·멀티 브라우저 컨트롤과 같은 실용적 기능을 대폭 강화했다. 특히 다음과 같은 장점이 있다.
자동 대기(Automatic Waiting): 페이지 로딩이나 DOM 변경을 명시적으로 기다릴 필요 없이 대부분의 동작이 안정적으로 수행된다.
다중 브라우저 지원: Chromium, Firefox, WebKit(Safari 엔진)까지 기본 지원한다.
모바일 환경 시뮬레이션: 특정 디바이스의 해상도와 User-Agent를 그대로 재현할 수 있다.
세션 저장·복원: 로그인 상태를 파일로 저장하여 이후에도 재사용할 수 있다.
비동기 처리 최적화: 동시 다발적인 페이지 제어나 병렬 작업을 효율적으로 실행한다.
이러한 특성은 트위터와 같이 로그인, 무한 스크롤, 동적 콘텐츠 로딩이 빈번한 사이트 크롤링에서 특히 강점을 발휘한다.
지금 바로 작가의 멤버십 구독자가 되어
멤버십 특별 연재 콘텐츠를 모두 만나 보세요.
오직 멤버십 구독자만 볼 수 있는,
이 작가의 특별 연재 콘텐츠