[Python] 웹 스크래핑 실습 정리

다음 링크들의 내용과 코드를 통해 실습했다.

1. 파이썬 웹 크롤링? (후략) - 친절한 설명과 자세한 예시 사진으로 쉽고 정확하게 기초를 잡을 수 있는 좋은 사이트였다!

2. 파이썬으로 배우는 알고리즘 트레이딩 (개정판 2쇄) - Wikidocs 문서가 막혀서 해당 도서명으로 대체한다.

개발환경은 윈도 10 Pro, 64bit 운영체제, Pycharm을 이용했다.

링크 1에 자세하게 설명된 예시 코드를 이해하고 돌려보았다.

돌리던 중, 두 종류의 에러가 발생했는데 각각 다음과 같다.

1. Path 경로 설정 - (참고 링크)

Window에서 Python을 돌릴 때, anaconda3가 설치된 경로를 Path 변수에 추가해야 Library 설치 경로를 탐색 가능해진다. (Path 경로 설정 방법)

2. html parser 변경 - (참고 링크)

링크 1 코드의 html parser 부분들을 다음과 같이 주석처리 후 html.parser로 대체

#soup = BeautifulSoup(res.text, "lxml")

soup = BeautifulSoup(res.text, "html.parser")

다음에는 본래 실습해보려고 했던 자동 예매 프로그램을 다음 링크를 참고하여 실습해 볼 예정이다.

나중에 콘서트나 기차나 비행기 등 자동 예매가 필요한 경우에 위 코드를 기반으로 예약할 수 있기를 기대한다.

[이글루스 서비스 종료로 브런치스토리로 이전]

[2022/12/29 원문 작성]