LLM for UX work
Which LLM foundation model is the best
최근에 라이트브레인 CX컨설팅그룹에서 연구중인 주제인데, 여러분들도 궁금하실 것 같아서 공유드립니다. 어떤 생성형AI(LLM) 툴이 가장 UX 업무에 적합할까요?
누군가 저에게 어떤 LLM을 쓰고 있냐고 묻길래, 다 쓰고 있다고 했습니다. 과장된 면이 없지 않으나, 사실 다 쓰고 있다고 봐도 무방할 것 같습니다. Perplexity, ChatGPT, Grok으로 시작하여 Manus, Genspark, Gemini, NotebookLM까지 사용중이니까요. 솔직히 자주 사용하는 것은 Gemini와 Perplexity 2개 정도지만요.
저의 브라우저 북마크. 좌측부터 회사메일, Gemini, NotebookLM, Grok, Perplexity, ChatGPT, Manus, Genspark, Figma...Manus와 Genspark는 LLM보다 더 진화된 AI Agent 툴이라고 스스로 얘기하지만 솔직히 잘 모르겠다는.. (Manus는 3월초에 어렵게 초대 코드를 받아서 아주 비싼 돈을 주고 사용중입니다)
출처: Genspark현재로써는 Gemini 사용 비중이 압도적으로 높으며, Gemini가 거짓말(Hallucination)을 내뱉으면 Perplexity, Grok으로 그것을 검증하는 편입니다.
최근 LLM들은 DeepResearch에 이어 Canvas라는 기능을 거의 동시에 선보이고 있습니다. Gemini를 예로 들자면 단순히 텍스트 형태의 응답 뿐만 아니라, 그것을 웹페이지, 프리젠테이션, 오디오(만담?)로도 만들어주는 기능입니다. 이미지는 물론, 동영상까지 만들어주는 기능도 탑재되고 있는데.. 품질이 조악하더군요.
출처: 라이트브레인어제 디자이너 후배가 재밌는 것을 보여주겠다며 Figma에서 베타 테스트 중인 Make라는 기능을 보여줬는데, 이제 우리가 직접 UI 설계나 GUI 디자인 할 날이 얼마 남지 않은 것 같더라구요. 그전에도 Wireframe Desinger가 있긴 했는데, 새로 선보인 Make는 솔직히 좀 놀랐습니다. 미쳤더라구요 =.=
https://www.figma.com/ko-kr/make/
저희는 UX 디자인 전반을 작업하기 때문에 UI만으로 업무를 국한하기 어렵습니다. UI는 1/20 정도?에 불과하거든요. 그래서 정의한 UX 업무는 다음과 같습니다.
출처: 라이트브레인
처음에는 5점 척도로 평가를 메겼는데, 변별력이 떨어져서 다시 10점 척도로 해보라고 지시를 내렸습니다.
본 평가는 전문가 리뷰와 비교 분석을 기반으로 하나, 일부 모델은 최신 업데이트 이후 긍정적인 평가가 편향되어 반영되었을 가능성이 있습니다. 출처: 라이트브레인그래서 내린 결론,
출처: 라이트브레인GPT-4o가 가장 높은 점수를 얻고 있는 것을 보실 수 있습니다. 그 다음 점수를 받은 것은 제가 자주 사용하는 Gemini 2.5. 저는 직원들이 작업한 보고서, 설계 결과를 검증하는 일을 할때 주로 LLM을 사용하기 때문에 위에서 내린 평가와 조금 견해가 다릅니다. 제 기준으로는 Gemini 2.5 > GPT-4o = Grok
아마 직원들은 직접 조사나 설계를 진행할 때 LLM을 사용하지만, 저는 그들이 만든 결과를 검증하거나 더 좋은 생각을 얻고자 할 때 사용하기 때문에 LLM에 대한 평가가 다소 엇갈리는 것 같습니다. 예를 들어, 누군가 IA를 설계하면 그것을 Rag로 연결해서 비판적인 해석을 받아보고, 누군가 Idea 결과를 보내주면 마찬가지로 관점을 달리하면서 새로운 아이디어를 도출해 보거든요. 지금에 와서 LLM은 저의 분신이나 다를 바 없습니다. 구글이나 네이버에서 검색해 본 게 언제인지...
[결론]
GPT-4o가 가장 좋더라. 하지만 Google을 자주 사용하는 User라면 Gemini도 추천. 특히 NotebookLM은 여러 데이터를 연결해서 분석하기에 적합하기 때문에 Gemini 생태계에 들어가는 장점이 있음 (물론 ChatGPT는 GPTs라는 장점이 있지만..)
[참고]
LLM에 데이터를 연결해서 사용할 시(Rag)에는 보안에 유의를 하셔야 합니다. 그래서 자체적인 보안 가이드도 만들고 있어요.
출처: 라이트브레인아예 로컬 Rag를 구축하여 보안 문제를 일소하고자 하는 시도도 하고 있습니다.
출처: 라이트브레인라이트브레인 쵝오!!
