#8-1 사회혁신 프로젝트 관련 코드

웹 크롤링 부분

*웹 크롤링: 인터넷 페이지에서 원하는 부분을 복사해서 가져오는 일입니다. 제 탐구의 경우에는 각 이미지에 딸린 제목을 복사해서 가져옵니다. 10개 20개 정도는 손으로 복사 붙여넣기 하는 편이 빠르지만, 수백 개 결과를 제 손으로 복사 붙여넣기 하기는 어렵습니다.

**Python 언어를 사용한 웹 크롤링 툴을 만듭니다. Python 언어를 안다는 전제 하에 간단한 설명만 덧붙였습니다.

#외부 라이브러리 받아오기

from tqdm import tqdm #진행상황 표시

import time #자동 딜레이

#딜레이하지 않으면 웹사이트로부터 크롤링 요청을 차단당할 위험이 있음

from selenium import webdriver #셀레늄 - BeautifulSoup를 더 많이 이용하지만 구글이나 유튜브 등 일부 사이트는 BeautifulSoup를 이용한 크롤링을 막아놓음

from bs4 import BeautifulSoup #파싱을 위해 필요

from selenium.webdriver.common.keys import Keys #셀레늄을 통해 페이지 스크롤을 내리기 위한 라이브러리

#크롤링 범위

title_nums=range(0,100)

#리스트

Title_list=[]

#페이지 열기

Street_url='https://www.google.com/search?q=%EA%B8%B8%EA%B1%B0%EB%A6%AC&sxsrf=ALeKk02aSNoUZ0Pv8aT0oIQ4A5KUgSwkzA:1589460116430&source=lnms&tbm=isch&sa=X&ved=2ahUKEwiZh_-ssLPpAhUCZt4KHYmfAIgQ_AUoAXoECAsQAw&biw=1707&bih=907&dpr=1.5'

driver=webdriver.Chrome()

driver.get(Street_url)

#스크롤 내리기

body = driver.find_element_by_css_selector('body')

for i in range(10):

    body.send_keys(Keys.PAGE_DOWN)

    time.sleep(1)

#파싱: 크롤링한 데이터를 Python 언어로 처리하기 쉽게 다듬는 과정

source=driver.page_source

bs=BeautifulSoup(source, 'html.parser')

data=bs.select('div.WGvvNb')

L=list(data)

#크롤링

trial=0

for title in tqdm(title_nums):    #title_nums(크롤링할 제목의 개수)는 맨 앞에서 정의함, 이것을 조정해서 크롤링 범위를 정할 수 있음

    each_title=L[trial].text

    time.sleep(1)

    Title_list.append(each_title)

    trial=trial+1

    if trial>len(L):

        break

print(Title_list) #어떤 제목들이 있나 출력하게 만들지만 꼭 필요한 코드는 아님