문제 해결을 위한 데이터 수집 : 공공 및 웹 데이터
[AI 데이터 분석 EP05]
EP05. 문제 해결을 위한 데이터 수집 : 공공 데이터와 웹 데이터 수집 방법
어떤 문제 또는 해결해야 할 과제가 있다면 이 문제를 해결할 수 있는 데이터가 필요합니다. 그런데 이 문제에 대해 누군가 먼저 만들어 놓은 데이터가 있으면 좋겠지만 현실은 딱 맞는 데이터는 없습니다. 그래서 다른 목적으로 만들어 진 데이터나 가공해서 데이터로 활용 가능한 것을 수집하여 시장의 특성이나 사업 환경을 탐색해 할 수 있습니다. 바로 2차 데이터를 수집하는 이유입니다.
여기서는 공공데이터와 웹 데이터 수집 방법을 소개해 드리고, 챗GPT를 활용하여 필요한 데이터를 수집하고 데이터 분석을 하는 방법에 대해 소개해 드리겠습니다.
2차 데이터와 공공 데이터
웹 데이터 수집을 위한 웹 스크래핑
챗GPT를 이용한 공공 데이터 및 웹 데이터 수집
https://youtu.be/ccSTkNDqrT0?si=nuyrcLC4UzBQGg6U
챗GPT 데이터 분석 실습 데이터 공유: https://bit.ly/41zliec
프롬프트 :
이 txt파일은 건겅식품 판매사이트의 html 이다. html 코드는 모두 제거하고 [판매순위, 제품명, 가격, 별점수, 리뷰 숫자, 이미지url]만 추출하고 싶어. 데이터를 추출해서 csv 파일로 정리해서 다운로드할 수 있게 해줘.
이 txt파일은 자동차 판매실적 테이블의 html 이다. html 코드는 모두 제거하고 [순위, 모델, 판매량, 점유율, 이미지 url]만 추출하고 싶어. 데이터를 추출해서 csv 파일로 정리해서 다운로드할 수 있게 해줘.
추출된 데이터를 탐색해줘
모델별 시장 점유율 차트 만들어줘
책 소개 : 『AI 데이터 분석』, 구자룡, 커뮤니케이션북스, 2024.
https://product.kyobobook.co.kr/detail/S000214758195
