Human-AI Interaction의 18가지 원칙
Guidelines for Human-AI Interaction 논문
AI 기능이 들어간 제품은 전통적인 소프트웨어와 다르게 작동합니다.
같은 입력에도 다른 결과가 나올 수 있고, 시간이 지나면서 스스로 업데이트되기도 하며, 사용자의 행동에 따라 점점 달라지기도 합니다. 논문은 바로 이 지점에서 문제가 시작된다고 봅니다. 기존 UI 원칙은 대체로 일관성, 예측 가능성, 명확성을 전제로 하지만, AI 시스템은 본질적으로 확률적이고 불확실한 행동을 보이기 때문입니다. 그래서 AI가 들어간 제품은 사용자를 혼란스럽게 하거나, 신뢰를 떨어뜨리거나, 심지어 위험한 결과를 낳을 수도 있다고 지적합니다.
Guidelines for Human-AI Interaction 논문은 이런 문제의식에서 출발해, 지난 20여 년간 흩어져 있던 AI 디자인 권고안을 정리하여 Human-AI interaction을 위한 18개의 디자인 가이드라인을 제안합니다. 연구팀은 학계와 산업계 자료를 포함해 168개의 잠재적 권고안을 수집했고, 이를 통합·정제해 먼저 20개 원칙으로 줄인 뒤, 내부 평가와 사용자 연구, 전문가 평가를 거쳐 최종 18개로 확정했습니다. 또한 이 18개 원칙은 사용 시점에 따라 '처음 사용할 때, 사용 중, AI가 틀렸을 때, 시간이 지나면서' 의 네 범주로 나뉩니다.
Human-AI interaction을 위한 18가지 가이드라인
Guidelines for Human-AI Interaction(2019)1. 처음 사용할 때(Initially): AI의 능력과 한계를 먼저 이해시켜라
논문은 AI 시스템과의 상호작용이 성공하려면, 사용자가 처음부터 시스템의 범위를 오해하지 않아야 한다고 봅니다. 그래서 첫 번째 범주는 “처음부터 기대를 어떻게 설계할 것인가”에 집중합니다.
G1. Make clear what the system can do.
사용자가 이 시스템이 무엇을 할 수 있는지 이해할 수 있게 해야 합니다. 단순히 기능을 숨겨두는 것이 아니라, AI가 제공하는 서비스의 범위와 가능성을 명확하게 보여주는 원칙입니다. 예컨대 활동 추적 앱이 어떤 메트릭을 측정하는지 처음부터 보여주는 식입니다.
G2. Make clear how well the system can do what it can do.
두 번째 원칙은 더 중요합니다. 사용자는 AI가 할 수 있는 일만이 아니라, 얼마나 잘할 수 있는지, 다시 말해 얼마나 자주 틀릴 수 있는지도 알아야 합니다. 논문은 이것을 기대 조절의 문제로 봅니다. 예를 들어 음악 추천 서비스가 “당신이 좋아할 수도 있어요”처럼 확률적 언어를 사용하는 것은, AI가 완벽하지 않다는 점을 자연스럽게 드러내는 설계입니다.
이 두 원칙은 AI UX의 출발점이 “정확한 기대 설정”임을 보여줍니다. 사용자가 시스템을 과신하거나 과소평가하지 않게 만드는 것, 그것이 Human-AI interaction의 첫 단계라는 뜻입니다.
2. 사용 중(During interaction): AI는 맥락에 맞게 개입해야 한다
논문은 AI가 단지 기능을 수행하는 것이 아니라, 언제, 어떤 방식으로, 어떤 사회적 맥락 안에서 개입하는가가 UX를 좌우한다고 봅니다. 이 범주는 AI의 “실시간 개입 방식”에 대한 원칙들입니다.
G3. Time services based on context.
AI의 개입 시점은 사용자의 현재 과업과 환경을 고려해 결정되어야 합니다. 너무 이르거나 늦은 개입은 방해가 됩니다. 내비게이션이 실제 위치 변화에 맞춰 적절한 시점에 길안내를 제공하는 것이 대표 사례입니다.
G4. Show contextually relevant information.
AI는 사용자의 현재 맥락에 관련된 정보만 보여줘야 합니다. 정보가 많다고 좋은 것이 아니라, 그 순간의 과업과 환경에 맞는 정보가 중요합니다. 예를 들어 영화 제목을 검색했을 때 현재 위치 기준 상영 시간을 보여주는 검색 결과가 이에 해당합니다.
G5. Match relevant social norms.
AI는 기능적으로만 맞으면 되는 것이 아니라, 사회적·문화적 기대에 부합하는 방식으로 동작해야 합니다. 예를 들어 음성 비서가 사용하는 말투, 호칭, 응답 방식은 모두 사용자의 사회적 기대를 자극합니다. 논문은 이를 단지 톤의 문제가 아니라 interaction design의 문제로 다룹니다.
G6. Mitigate social biases.
AI는 사회적 편향을 그대로 재생산할 가능성이 있기 때문에, 언어와 행동에서 불공정한 고정관념이나 편향을 강화하지 않도록 설계되어야 합니다. 흥미로운 점은 이 원칙이 연구 참여자들에게 가장 적용하기 어렵고, 동시에 가장 중요한 원칙 중 하나로 나타났다는 점입니다. 논문은 이런 원칙은 다양한 평가자의 시각이 있어야 제대로 검토될 수 있다고 말합니다.
3. AI가 틀렸을 때(When wrong): AI는 틀릴 수 있으므로, 복구 가능해야 한다
이 논문의 가장 현실적인 부분은 AI가 틀린다는 사실을 전제로 원칙을 설계한다는 점입니다. 즉 좋은 AI UX는 “오류가 없는 UX”가 아니라, 오류가 발생했을 때 사용자가 쉽게 회복할 수 있는 UX입니다.
G7. Support efficient invocation.
AI 서비스를 쉽게 호출할 수 있어야 합니다. 사용자가 원할 때 AI를 부를 수 없는 시스템은 협업 구조를 만들기 어렵습니다. 음성 비서의 wake word가 대표적 사례입니다.
G8. Support efficient dismissal.
반대로 원치 않을 때는 쉽게 무시하거나 닫을 수 있어야 합니다. AI가 계속 앞에 나와 있는 것은 도움이 아니라 방해가 될 수 있습니다. 논문은 전자상거래 추천 영역이 너무 거슬리지 않게 배치된 사례를 예로 듭니다.
G9. Support efficient correction.
AI가 잘못된 결과를 냈을 때 사용자는 쉽게 수정·보정·회복할 수 있어야 합니다. 예컨대 음성 비서가 등록한 리마인더를 바로 편집할 수 있어야 한다는 것입니다. 이 원칙은 “AI가 틀렸을 때 사용자가 얼마나 빨리 주도권을 되찾을 수 있는가”의 문제입니다.
G10. Scope services when in doubt.
AI가 확신이 없을 때는 무리하게 자동화하지 말고, 후보를 제시하거나 범위를 제한하는 식으로 신중하게 행동해야 합니다. 자동완성이 한 문장을 확정해버리기보다 여러 개 제안을 보여주는 것이 대표적입니다.
G11. Make clear why the system did what it did.
이 논문에서 가장 많이 인용되는 원칙입니다. 사용자는 AI가 왜 그런 행동을 했는지 설명에 접근할 수 있어야 합니다. 실제 사용자 연구에서도 이 원칙은 가장 많이 위반된 항목 중 하나였고, 동시에 많은 제품에 필요한 원칙으로 평가되었습니다. 연구진은 참여자들이 여러 서비스에서 “왜 이런 추천이 나왔는지 모르겠다”고 느꼈다고 보고합니다.
즉, 신뢰는 정확도만으로 생기지 않습니다. 설명 가능성과 복구 가능성이 함께 있어야 합니다.
4. 시간이 지나면서(Over time): AI는 학습할수록 더 조심스럽게 설계되어야 한다
AI 시스템은 고정된 UI와 달리 시간에 따라 변화합니다. 논문은 그래서 장기 사용 맥락에서의 UX를 별도로 다룹니다. 이 범주는 “학습하는 시스템을 어떻게 신뢰 가능하게 만들 것인가”에 대한 원칙입니다.
G12. Remember recent interactions.
AI는 최근 상호작용의 맥락을 기억해야 합니다. 이는 장기 학습과는 다릅니다. 검색엔진이 직전 검색 맥락을 기억해 “그 사람은 누구와 결혼했지?” 같은 후속 질의를 이해하는 것이 예입니다.
G13. Learn from user behavior.
AI는 사용자의 행동을 바탕으로 점진적으로 개인화되어야 합니다. 예를 들어 음악 추천 시스템이 사용자의 곡 추가 행동을 학습해 이후 추천을 바꾸는 것이 이에 해당합니다.
G14. Update and adapt cautiously.
논문은 특히 이 원칙을 중요하게 봅니다. AI가 학습한다고 해서 사용자 경험이 갑자기 크게 변하면 안 된다는 것입니다. 적응은 하되, 기존 흐름을 깨지 않는 방식이어야 합니다. 변화는 효율을 높이지만, 동시에 사용자의 정신모형을 무너뜨릴 수 있기 때문입니다.
G15. Encourage granular feedback.
사용자는 AI에 대해 구체적이고 상황별 피드백을 줄 수 있어야 합니다. 예를 들어 이메일 시스템에서 특정 메일을 “중요함”으로 직접 표시하는 것은 instance-level feedback의 사례입니다.
G16. Convey the consequences of user actions.
더 나아가 사용자의 피드백이나 행동이 향후 AI 행동에 어떤 영향을 주는지 보여줘야 합니다. 예를 들어 광고를 숨기면 이후 광고의 관련성이 조정된다는 메시지를 보여주는 사례가 논문에 제시됩니다. 사용자의 입력이 학습으로 이어진다는 사실이 보일 때, AI는 덜 불투명해집니다.
G17. Provide global controls.
사용자는 AI를 개별 상황에서만 수정하는 것이 아니라, 전반적인 동작 방식을 전역적으로 제어할 수 있어야 합니다. 어떤 데이터를 모니터링할지, 어떻게 개인화할지, 어떤 자동화 기능을 켤지 끌지를 설정할 수 있어야 한다는 뜻입니다.
G18. Notify users about changes.
마지막으로 AI가 새로운 기능을 추가하거나 능력을 업데이트하면, 사용자는 그 사실을 명시적으로 안내받아야 합니다. AI는 보이지 않게 바뀌는 경우가 많기 때문에, 변화 자체를 인터페이스 차원에서 커뮤니케이션해야 합니다.
논문을 읽고 남은 생각
2019년 논문이지만, 현재에도 여전히 적용 가능한 AI UX의 실용적인 출발점을 제시하는 논문입니다. 이 논문의 가치는 18개 원칙이 있다는 사실 자체보다, AI UX를 체계적인 설계 대상으로 만들었다는 데 있습니다.
전통적인 UI 원칙은 명령-반응 구조를 전제로 합니다.
하지만 AI 시스템은
확률적으로 작동하고
사용자마다 다르게 행동하고
시간이 지나면서 학습하며
때로는 이유를 설명하지 못합니다.
이 논문은 그런 시스템을 위해,
“처음에 무엇을 알려야 하는가 / 사용 중 무엇을 보여야 하는가 / 틀렸을 때 어떻게 회복할 것인가 / 시간이 지나며 어떻게 신뢰를 관리할 것인가”
라는 구조로 원칙을 재정리했습니다.
결국 AI UX의 핵심은 화려한 기능 추가가 아니라,
사용자가 AI와 어떤 관계를 맺도록 설계할 것인가의 문제입니다.
참고문헌
Amershi, S., Weld, D., Vorvoreanu, M., Fourney, A., Nushi, B., Collisson, P., ... & Horvitz, E. (2019). Guidelines for Human-AI Interaction. Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. ACM. https://doi.org/10.1145/3290605.3300233