스파르타 코딩 클럽 개인 프로젝트 개발일지 6주차

키워드 기반의 뉴스 크롤링 하기

스파르타 코딩클럽이란?
https://spartacodingclub.kr/

1~4주 동안 코딩 배우기
5~8주 동안 개인 프로젝트 개발하기를 통해 단기간에 스파르타식으로 코딩을 배우는 수업

개발목표

- 키워드를 입력하면 해당 키워드를 포함한 기사를 크롤링해주는 웹페이지 개발

개발한 내용

1. 벤처스퀘어에서 키워드 기반으로 크롤링하기

- 검색 후 마지막 페이지의 숫자를 알아내는 방법

- 리스트의 끝에서 2번째에 있다는 것을 파악 후 해당 인덱스에 있는 숫자까지 크롤링

2. 플래텀에서 키워드 기반으로 크롤링하기

- 벤처스퀘어와 다르게 페이지의 위치를 저장하는 인덱스가 숨겨져 있음

- 서버의 응답을(404, 200) 확인하는 기본 함수를 활용 페이지가 404 에러가 나올 때까지 크롤링

- 벤처스퀘어도 이렇게 개발했으면 더 좋았을 텐데....

- 이 방법은 일반화가 가능하기 때문에 앞으로 추가될 페이지에 적용예정

이번 주의 목표

1. API 시트 만들기

2. 프런트에서 키워드 입력하면 해당 키워드의 이름을 가진 탭 생성하기

3. 기타 프런트 디자인 완성하기

다음 주의 목표

1. 크롤링할 때 중복된 기사 체크하기