AI 시대의 데이터 분석- 챗GPT와 구글 코랩
ChatGPT를 비롯해 AI가 여러 분야에서 활용되면서 일상이나 업무 등 기존에 하던 일을 훨씬 더 쉽고 효율적으로 할 수 있게 되었는데요. 저 역시 일이랑 관련 있던 없든 무언가 작성해야 할 때는 일단 ChatGPT를 활용해 초안을 만들도록 하고 있습니다. 괜히 혼자 고민하는 것보다 ChatGPT를 활용하면 훨씬 더 빠르고 가끔은 훌륭하게 초안을 작성해 주니까요.
그리고 오늘 다룰 주제인 데이터 분석에서도 이제는 AI를 적극 활용해야 할 때가 된 것 같습니다. AI를 활용하면 업로드한 데이터로 어떤 분석을 할 수 있는 지 분석 주제를 제안하고 1차적으로 데이터를 바탕으로 빠르게 시각화를 할 수도 있구요. 추가적인 그래프를 요청해 수정해 사용할 수도 있습니다. 또한, 코딩을 몰라도 머신러닝 등 모델링도 해볼 수 있게 되었는데요.
여러가지 AI 기반 데이터 분석 도구들이 나오고 있지만 이번 글에서는 AI 기반 데이터 분석 도구 중에서 현재 가장 많이 사용될 거라 생각하는 챗GPT와 구글 코랩을 소개하고 비교해 보도록 하겠습니다.
자연어로 데이터 분석이 가능한 툴은?
현재 가장 매력적인 AI 기반 데이터 분석 툴은 코딩을 잘 몰라도 자연어로 데이터 분석이 가능한 챗GPT라고 생각합니다. 데이터 분석 시 복잡한 엑셀 수식이나 코딩을 몰라도 챗GPT에게 질문을 하면 방법을 알려주거나 코드를 생성해주조?
특히 GPT-4부터는 직접 코드 실행이 가능한 코드 인터프리터 기능이 포함되어 있어 챗GPT가 작성한 코드를 바로 실행해볼 수 있답니다. 사용자는 '분석 중'이라는 표시를 통해 코드 작성 및 실행 과정을 실시간으로 확인할 수 있으며, 분석 결과를 바탕으로 추가 질문을 하거나 인사이트 생성을 요청할 수 있어요.
하지만, 코드 인터프리터에도 한계는 있는데요. 기본적으로 판다스, 넘파이, 매플롯립, 씨본 등 주요 데이터 분석 및 머신러닝 라이브러리는 설치되어 있지만 새로운 라이브러리를 설치해 사용할 수 없습니다. OpenAI에 따르면 코드 인터프리터는 인터넷이 연결되지 않는 방화벽으로 보호된 환경에서 실행된다고 하는데요. 또한, 데이터셋이 크거나 복잡한 모델을 사용해서 코드가 1분 이상 돌아가면 런타임 오류가 발생하는데요. 그만큼 보안성은 뛰어나지만 코드 실행의 유연성은 떨어진다고 할 수 있습니다.
현재 코드 인터프리터 기능은 무료 플랜에서 제한적으로 제공되고 있는데 3시간에 5개 정도 메시지를 입력할 수 있습니다. 이후에는 코드 인터프리터 기능이 없는 GPT-4 미니 모델로 전환이 되는데요. 챗GPT를 활용해 본격적으로 데이터 분석이나 시각화, 보고서 작성을 하고 싶으신 분들은 유료 구독을 고려하실 수 있겠습니다.
구글 코랩의 활용은?
코랩은 구글의 온라인 파이썬 실행 환경으로 데이터 분석과 머신러닝, 딥러닝 코드를 작성하고 실행할 수 있는 강력한 온라인 플랫폼입니다. 챗GPT처럼 코드를 자동으로 실행하고 결과를 해석해주진 않지만, 대용량 데이터셋 처리가 가능하고 다양한 라이브러리를 설치하여 데이터 분석을 시도할 수 있습니다.
약 40만 개 행 데이터셋으로 앞서 챗GPT에서 메모리 부족으로 오류가 났던 랜덤포레스트 모델링을 구글 코랩에서 다시 실행해 보았습니다. 무료라 리소스 상태에 따라 모델링 시간이 5분에서 15분 정도 걸릴 수 있는데요. 구글은 런타임이 몇 분 혹은 몇 십분 정도 돌아가는 것은 무료에서도 처리할 수 있고, 그 이상 런타임이 긴 경우 추가 컴퓨팅 리소스를 유료 구매해서 사용할 수도 있습니다.
그리고 최근에는 제미나이가 코랩의 어시스턴트로 도입되서 코드를 생성하거나 수정하는데 도움을 받을 수 있는데요. 코드 생성이나 수정은 잘하는 거 같은데 모델링 결과 등 텍스트 부분은 아직 인식해서 잘 대답하는 거 같지 않네요.
코딩 경험이 좀 있으시거나 코딩에 대한 거부감이 덜한 분들은 챗GPT나 제미나이 무료 버전을 활용해서 코드를 생성하고 코랩에서 실행할 수 있다면 강력한 데이터 분석도구가 될 수 있을 것입니다.
AI를 활용해서 데이터 분석과 예측 모델링이 예전보다 어렵지 않게 되고 있는데요 물론, 아직 AI가 머 한 번에 완벽하거나 심도있는 결과를 내는 것은 아니지만, AI의 도움을 받아 데이터 분석을 시작하시면서 데이터 분석 능력뿐만 아니라 AI 활용능력까지 함께 키우시면 좋을 것 같습니다. 여러분이 이미 사용하고 계신 AI 기반 데이터 분석 도구나 분석 툴이 있다면 댓글로 공유해 주시면 좋을 것 같습니다!
새로운 책 출간 소식
얼마 전 제가 쓴 '챗GPT로 마케팅 데이터 분석하기: 고객 리뷰 분석에서 매출 예측까지'가 출간되었습니다! 이 책에서는 챗GPT를 활용해 고객 리뷰 감정 분석, 주요 키워드 시각화, 예측 모델링 등 데이터 분석의 다양한 사례를 자연어로 쉽게 수행하는 방법을 소개하고 있습니다. 비전공자분들도 챗GPT를 통해 데이터 분석을 시작하고, 실무에 활용할 수 있는 가이드를 만나보실 수 있습니다. 관심 있는 분들은 한 번 살펴봐 주세요!
