Gemini 1.5 pro / 챗봇 / 인테리어 디자인
1. Gemini 1.5 pro 한국어 수행능력 테스트
1.1 1M Token
150p~ 분량의 pdf와 관련된 질문에 대해 어느 정도 잘 대답하는 것을 확인했다.
긴 텍스트를 읽고 짧은 대답은 잘해도, 동일 데이터 내 여러가지 정보를 취합해 긴 대답을 생성하는 것은 여전히 한번의 쿼리로는 힘든 것으로 보인다.
1.2 이미지와 영상
한국어로 된 이미지나 영상을 처리하는 역량이 현저히 떨어진다.
짧은 한글 텍스트가 담긴 이미지는 비교적 균일하게 읽어내지만, 조금만 글이 길어지면 "아예 다른" 결과를 답한다.
예를 들면 A라는 시가 작성된 이미지에서, 전반적인 내용은 맞지만 중간중간 잘못된 글자/단어를 작성하는 것이 아닌, 전혀 다른 B라는 시의 내용을 답하는 식이었다.
웹 페이지 캡쳐나 깔끔한 손글씨도 못알아보길래 gpt4, gemini 1.0 pro와 ultra에서 동일한 이미지를 가지고 텍스트를 추출하는 기능을 실험해봤다.
한두번 정도의 테스트에서 ocr의 측면에서는 gemini는 거의 완벽했으며 gpt4보다 뛰어난 결과를 보여줬다.
ai studio에서 테스트하는 1.5 pro는 safety setting 문제도 있고, 기본적으로 beta 버전이기 때문에 아직 상방과 하방의 격차가 큰 것으로 보인다.
영상의 경우에는 전반적인 내용은 잘 이해하지만 개별 음성을 인식하는 데 많은 오류를 보였다.
cf. 영어로 된 영상의 경우에도, 빠르게 지나가는 장면이 지속되면 해당 장면은 아예 인식하지 못하는 것을 경험했다. 차후 추가적으로 테스트 예정.
2. Klarna의 챗봇 도입 후기
구체적인 수치들이 나와 있어서 흥미롭게 읽었다.
나와 있는 수치들로 계산해보면 고객 상담 1회당 투입되는 비용 중 $1.5 정도가 감소된 것으로 보이는데, 조금만 더 수치가 공개되었더라면 더 재밌는 결과를 알 수 있었을텐데 아쉽다.
그리고 챗봇은 비즈니스 전반에 큰 리스크를 안겨준다 생각해 좀 더 지켜봐야 할 것 같다.
몇 달전 쉐보레 챗봇의 경우나 최근의 gemini 인물 이미지 생성 사건은 오히려 챗봇이 가진 위험을 '귀여운 실수' 정도로 넘어가게 하는 것 같다는 생각이 든다.
챗봇은 운영할 수록 생각하지 못한 운영비용이 계속 등장할 것이다.
3. 인테리어 디자인 ai
위 기사를 통해 세레나 윌리엄스의 인테리어 회사가 chat gpt + stable diffusion을 이용하는 챗봇 서비스를 시작했다는 것을 알게되었다.
꾸미고 싶은 공간의 사진을 업로드하면, 구매 가능한 제품들을 활용해 어떻게 개선할 수 있을지 추천해주는 서비스인 줄 알았지만, 아직은 유저가 선택하거나 추천받은 스타일을 적용해 i2i로 비슷한(?) 구도의 방 이미지만 만들어주는 것에 그쳤다.
보다 인력을 투입하면 뛰어난 서비스가 나올 수도 있지만, 그것보다는 1) 이미지를 조작가능한 완성도 높은 3d object로 변환하는 gen ai 2) 프롬프트 순응도가 높은 img gen ai가 나오기를 기다리는 게 내가 봐도 합리적이다.
