Multi-Expert Prompting
편향된 시각의 프롬프트 결과로부터 벗어난 다양한 관점의 통합
최근 인공지능(AI) 기술의 급격한 발전은 대규모 언어 모델(LLM)이 사람과 비슷한 수준의 대화 능력과 문제 해결 능력을 갖추는 데 기여했습니다. 하지만 이러한 모델이 항상 신뢰할 수 있는 답변을 제공하지는 않습니다. 편향된 정보, 사실과 다른 응답, 특정 도메인에서의 제한적인 전문성 등은 여전히 해결해야 할 과제입니다.
이에 대해 싱가포르 국립대학에서 내놓은 “Multi-Expert Prompting Improves Reliability, Safety, and Usefulness of Large Language Models” 논문에서는 다중 전문가 프롬프팅(Multi-Expert Prompting)이라는 새로운 접근법을 제시하며, 기존의 한계를 극복할 수 있는 가능성을 보여주고 있습니다.
Multi-Expert Prompting의 필요성
LLM은 방대한 양의 데이터에서 학습했음에도 불구하고 다음과 같은 문제를 자주 겪습니다.
1. 단일 시각에 의존
기존의 Expert Prompting은 특정 도메인에서 한 가지 전문가 역할을 정의하여 응답을 생성합니다. 하지만 이 방식은 복잡하고 다각적인 문제에서 단일한 관점만을 반영하는 한계를 가집니다.
2. 편향된 응답
언어 모델이 학습한 데이터가 편향되어 있다면, 그 결과물도 편향될 가능성이 큽니다. 예를 들어, 문화적 차이를 충분히 고려하지 못한 응답이 생성될 수 있습니다.
3. 신뢰성과 안전성 부족
특히 민감하거나 논란이 있는 주제에서 모델이 부정확하거나 유해한 응답을 생성하는 경우가 있습니다. 이는 AI 활용의 신뢰성을 낮추는 주요 요인입니다.
Multi-Expert Prompting은 이러한 문제를 해결하기 위해 개발된 새로운 접근법으로, 여러 전문가의 관점을 통합하여 보다 신뢰성 있고 안전한 응답을 생성합니다.
Multi-Expert Prompting의 작동 원리
Multi-Expert Prompting은 크게 세 단계로 이루어집니다. 아래의 예제를 살펴보면 어떤 방식인지 손쉽게 이해하실 수 있습니다.
검은고양이를 만나는 건 어떤 의미인지 다양한 전문가의 관점을 들어보자고요1. 전문가 역할 생성
주어진 입력에 대해 LLM은 관련된 여러 전문가 역할을 생성합니다. 예를 들어, “검은 고양이와 마주치면 어떻게 되는가?”라는 질문이 주어졌을 때, 모델은 다음과 같은 역할을 생성할 수 있습니다:
미신 전문가(Superstition Expert): 문화적 관점에서의 미신 해석.
동물 행동학자(Animal Behaviorist): 검은 고양이와의 상호작용에 대한 과학적 관점.
민속학자(Folklore Historian): 역사적 관점에서의 민속학적 해석.
이 역할은 모델의 기존 학습 데이터를 기반으로 자동 생성되며, 사용자의 지시 없이도 다양한 관점을 반영합니다.
2. 전문가별 응답 생성
각 역할에 따라 모델이 독립적으로 응답을 생성합니다. 위의 예시에서:
미신 전문가는 "검은 고양이는 나쁜 운을 상징하지만, 문화마다 해석이 다릅니다."라는 답변을,
동물 행동학자는 "검은 고양이는 단순히 동물일 뿐이며 인간에게 미치는 영향은 없습니다."라는 답변을,
민속학자는 "일부 문화에서는 행운의 상징으로 여겨집니다."라는 답변을 생성할 수 있습니다.
3. 응답 통합 및 평가
각 전문가의 응답을 통합하여 최종 답변을 생성합니다. 이 과정에서 Nominal Group Technique(NGT)라는 체계적인 의사결정 방식이 활용됩니다. 이를 통해 각 응답의 신뢰성과 적합성을 평가하고, 서로 상충하는 관점을 조화롭게 통합하여 사용자에게 가장 유용하고 정확한 답변을 제공합니다.
결과적으로, 최종 응답은 “검은 고양이와 마주치는 것은 다양한 문화적 해석이 존재하지만, 인간에게 실질적인 영향을 미치지 않습니다.”와 같이 다양한 관점을 반영하면서도 신뢰성을 보장하는 형태로 도출됩니다.
즉, Multi-Expert Prompting은 여러 전문가의 역할을 다양한 시각으로 반영하여, 복잡한 질문에서도 보다 균형잡힌 응답을 제공합니다. 단일 전문가의 관점에 의존하지 않기 때문에, 편향된 정보의 영향을 최소화할 수 있습니다. 특히, 독성(Toxicity)과 유해성(Hurtfulness)를 줄이는 방향으로 설계되어, 민감한 주제에서도 안전한 답변을 제공합니다.
해로운 답변은 줄이고 풍부한 결과를 보여주는 절대적인 토큰량 증가가 눈에 띈다.단일 전문가 프롬프트나 다른 기법에서는 볼 수 없는 더 많은 정보를 포함한 응답을 생성하며, 이는 사용자가 문제를 다각도로 이해하는데 도움을 줍니다.
Multi-Expert Prompting의 한계와 활용 가능성
Multi-Expert Prompting은 여러 장점을 가지고 있지만, 해결해야 할 한계가 존재합니다. 특히, 여러 전문가 역할에 따라 개별 응답을 생성하고 통합하는 과정은 기존 방법보다 연산 비용이 높습니다. 경량화된 모델이나 특정 도메인과 역할을 선택하도록 해서 연산에 필요한 자원을 최적화하는 것이 대안이 될 수는 있습니다. 또한 각 역할을 맡고 있는 전문가 모델이 품질이 떨어지면 최종 결과의 품질도 당연히 떨어집니다. 즉, 도메인별 사전 정의된 역할의 성능을 높이는 것이 필수적이죠. Nominal Group Technique을 사용한다고는 하지만 상충된 의견을 전문가 모델이 내놓는 경우, 이를 절충하거나 답변간 우선 순위를 정하는데 큰 어려움이 있을 수 있죠.
의료분야와 같은 전문 분야에서도 서로 다른 치료의견을 조율하는데 도움이 될 수도 있다.소프트웨어 공학 분야에서 AI가 활용될 영역은 코드리뷰, 리팩토링, 테스트부터 여러 영역이 있겠지만, 각각이 바라보는 관점이 다른 전문가들의 리뷰가 필요한 영역에서 Multi-Expert Prompting은 충분히 효과가 있을 듯 합니다. 또한 학술연구 분야와 윤리, 사회, 기술적인 부분에서 통합된 의사결정이 필요한 사회 문제 분석에도 활용하기 좋은 프롬프트 기법입니다.
