데이터와 대화하기
파이썬 라이브러리 Sketch
안녕하세요! 그동안 잘 지내셨나요? 휴가는 잘 다녀오셨는지요?
요즘 날씨 참 선선해졌네요! 오늘 여기 동탄도 여전히 비가 오고 있네요!!!
정말 오래간만에 글을 올리네요!!! 전 지난 8월에 전라남도 생일도라는 곳에 휴가도 다녀오고 이어서 10일 가량 냉방병에 걸려 고생을 했습니다. 그려다 보니 아프다는 이유로 게을러져서...
원래 천성이 게으른 것도 있고요... 여러분께서도 몸 건강하시길 기원합니다!!!
오늘은 간만에 sketch라는 파이썬 라이브러리를 소개해드릴까 합니다.
요즘 chatGPT다 클로바X다 LLM에 대한 서비스들이 계속 나오고 있지요!
Jupyter 노트북 및 IDE에서 파이썬 코딩 방식을 통해 AI 코딩 도우미를 쉽게 사용할 수 있습니다. 파이썬 라이브러리이기 때문에 라이브러리만 pip를 통해 설치하면 되고 사용자가 추가 플러그인 없습니다. 그냥 판다스로 데이터 파일에서 데이터프레임으로 데이터를 준비시키기만 하면 됩니다. 그 데이터프레임에 ask, howto 로 질문 하면 됩니다.
내부적으로는 approximation algorithms 를 사용해서 데이터를 요약하고 요약한 대규모 언어 모델에 전달함으로써 수행됩니다. 그래서 조직의 민감한 데이터를 사용하기에는 주의가 필요합니다.
https://datasketches.apache.org/
https://pypi.org/project/datasketches/
비록 현재 최신버전은 2023년 5월에 공개된 0.4.2이지만, 꾸준히 개발되고 있으니 관심을 계속 가지면 좋을 것 같습니다. 저도 계속 관심을 가지고 알려드리겠습니다! ^^
항상처럼 구글 colab에서 해보겠습니다. 우선 설치를 먼저 해야 겠지요?
!pip install sketch 실행!
설치한 라이브러리를 사용해야겠지요?
항상처럼 데이터파일을 불러오기 위해서 import pandas as pd !
sketch도 사용해야겠지요? import sketch
자 이제, 데이터프레임 df에 묻습니다! df.sketch.ask("질문!")
자, 데이터에 대해서 물어보았으니, 이제는 그래프 및 분석 방법에 대해서 소스코드를 요청합니다! df.sketch.howto("원하는 내용")
자! 어떠신가요? 정말 쉽지요?
1. 데이터 불러오기
2. 데이터 묻기
3. 소스코드 요청하기
딱 이 3개 단계이지요? ^^
최근에 많이 개발되고 있는 인공지능 서비스 특히, LLM과 관련된 서비스의 경우 항상 주의가 필요합니다. 특히 잘 모르는 분야에 대해서 생성된 답변에 의존할 때는 더욱 그렇습니다. 민감하거나 중요한 분야에 적용하는 것이 아니라, 개인 학습이나 데이터 분석에 대한 방향을 잡기 위해서 그리고 코딩 방식이나, 함수 호출을 잊어버린 경우 기억을 되살리는 데 도움이 되거나 코드를 작성하지 않고도 빠른 결과를 생성하고자 할 때 Sketch와 같은 라이브러리는 큰 도움이 될 수 있을 것입니다.
자, 여러분꼐서도 도전해 보시지요!!!
