사람 + LLM + code로 문제 잘 해결하기
처음 들어보는 개념/상황의 문제를 빠르고 효과적으로 해결하기
<사람 + LLM + code로 문제 잘 해결하기>
오늘 위 컨셉을 활용해서 배경지식이 없는 문제를 빠르고 효과적으로 해결했었는데 회고 겸 몇 자 적어봄.
1. 어떻게 처음 들어보는 개념/상황의 문제를 해결할 수 있을까? (사람, 복합적인 현실 상황에서의 문제정의/모호한 것 조직화하기)
철권8 열심히 하고 있는데 아내에게 전화가 옴. X라는 것을 이용해서 무언가를 해야 하는 상황이라며 이것저것 물어보는데 X가 뭔지 처음 들어봤음.(회사일이라 X라고만 하겠는데, 어떤 기구장치임) 일단 내가 그걸 잘 모르니 찾아보고 다시 연락하겠다고 함. 가만 보니 카톡으로 뭐 보내놓은 게 많아서(여보 미안,,) 쭉 살펴봄. 그런데 뭔가 의사결정을 위한 정보가 부족하다 싶었음. 그래서 다시 전화를 하면서 함께 논의해 봄. 우리가 의사결정을 잘하기 위해서 더 필요한 정보는 무엇인지, 그러기 위해선 어떤 액션을 하는 게 지금 당장 유리해지는지.
2. 어떻게 계속 똑똑해질 수 있을까? (사람 + LLM, 문제 해결을 위해 유리해지는 정보를 수집하고 학습하기)
다음 스텝을 위해, 나는 내가 알고 있는 전문가 + 웹검색 + LLM을 병렬적으로 활용했음. 웃긴 점은 X라는 게 뭔지도 모르니 주변에 이 전문가는 누구인지 알 수 없고, 그 전문가에게 뭐라고 물어야 할지도 모르는 상황. 그래서 먼저 구글 검색을 했는데 X가 뭔지 이해하는 것보다는 X로 풀어야 하는 문제상황의 실제 예시를 주로 검색해 봄. X에 대한 연구를 하거나 사업을 하는 곳의 사이트/영상/문서를 볼 수 있었고, 그것으로부터 X의 세부적인 동작과 기능이 유추되면서, 풀려는 문제를 어떻게 풀어야 하는지 가늠할 수 있었음. 그다음에 전문가와 LLM에게 크로스 체크를 했음. X의 기능에 대한 동작과 내가 학습하며 떠올린 아이디어로 문제를 풀 수 있는지를 검토한 것. LLM은 할루시네이션이 발생할 수 있으니 여러 모델에게 간단하게 물어보면서 검토했음. 이 대화과정에서 의도적으로 X에 대한 핵심적인 구동방식, 배경지식, 그리고 X로 풀려는 맥락을 해당 세션에 쌓음. 이것은 다음 문제해결을 위한 씨앗으로서 활용하기 위함임. (여기까지가 대략 15분 소요)
3. 어떻게 문제해결의 에센스를 가시화할 수 있을까? (LLM + code + 사람, 프로토타이핑 이터레이션)
이제는 대충 감이 잡힘. X가 뭔지도 설명할 수 있고, 어떻게 구동되는지도 알고, 어떻게 필드에서 실적용 되는지도 알며, 우리의 문제를 어떻게 접근해서 풀 지도. 그런데 결국 X라는 것을 공간에 설치해서 어떤 결괏값이 보여야 하는 상황. 나는 지금 장비도 없고, 장비를 주문해서 테스트할 시간도 없음. 그래서 뭔가 최종형태의 초기버전이지만 핵심은 담은 프로토타입을 만들고자 했음. physical fidelity는 낮으나 psychological fidelity는 높은. 그래서 LLM + code로 결과를 볼 수 있는 프로토타이핑을 만듦. 비주얼로 시뮬레이팅 해야 해서 processing언어를 사용했고 이전 스텝인 2번에서 쌓은 세션 내용들을 씨앗으로 삼아서 코딩을 부탁함. 내가 짜도 되지만 코딩을 시키면서 아내와 소통하는 시간을 벌기 위함이었음. 내가 알게 된 지식 중에서 아내의 의사판단에 도움이 될 내용들을 전달하며 코딩 결과를 기다림. 결과가 나오면 의도대로 돌아가는지 테스트를 하면서 업데이트를 함. 업데이트를 하는 관점은 1)이게 우리의 의사결정에 도움이 되나? 우리가 더 좋은 의사결정을 하려면 이 프로토타이핑이 어떤 핵심을 반영해야 하지? 2) 시시각각 변할 요구사항에 이 프로토타이핑이 잘 대응하며 핵심을 보여줄 수 있나? 3) 아내가 2)의 대응에 맞춰 테스트하기 용이한가? 였다. 다행히 이 프로토타입을 아내는 마음에 들어 했고 이걸 활용해서 의사결정권자들과 함께 다음번에 이야기를 해보겠다고 함. (1~3 전체 30분 정도 소요)
4. 다시 한다면 어떻게 할 것인가?
복잡한 시뮬레이팅을 위해 결국에는 코딩을 활용한 디지털-비주얼환경을 만들었겠지만, 완전 초기에 코딩을 하지 않고 X의 물리적 현상을 흉내 낼 수 있는 성질을 지닌 주변 사물로 비주얼 프로토타이핑을 했을 것 같음. 내가 코딩을 할 줄 알기에 코딩을 했지만, 이 틀을 벗어나서 내가 가진 익숙한 도구를 사용하지 않고 문제를 해결할 수 있는 방법을 환기했었으면 어땠을까 싶음.
그리고 사람/LLM/code를 조금 더 협력적으로 활용해 보면 어땠을까 싶음. 지금은 협업보다는 분업에 가까운 느낌. 여러 사람들과 LLM + code를 사용해 본다거나, LLM에게 조금 더 복합적인 상황을 구조화해서 잘 물어본다거나, 우리의 성장과 판단을 잘 도와주도록 만드는 접근을 했으면 조금 더 좋았을 것 같음.
