돼지 입에 립스틱?
팀장님이 사비로 보내주신 HCI Korea 2025 학술대회 후기 1
이 이야기는 HCI를 연구하거나 UX를 다루는 사람이라면 아주 공감할만한 이야기입니다. HCI Korea 학술대회 2일 차, John Zimmerman 교수님의 HCI Session을 들었습니다.
솔직히 사비로 팀원 학회 보내주는 팀장님이 어디 있습니까... 저는 정말 복 받은 팀원입니다교수님이 초기에 진행하신 AI 프로젝트
참고로 짐머만 교수님은 발목 부상 이슈로 한국에 못 오시고 줌으로 강연을 해주셨습니다아이 픽업 시스템
어린이의 픽업 및 드롭오프 패턴을 학습하여, 특정 장소에서 아이가 있는지를 감지
아이가 픽업 시간이 되었지만, 부모가 접근하지 않으면 연기 감지기처럼 알림 줌
심장 이식 결정 지원
심장 전문의가 어떤 환자가 인공 심장이식을 받을 만한 적절한 후보인지 판단하도록 돕는 시스템
우울증 예측 시스템
활동량(activity levels), 수면 패턴(sleep patterns), 위치(location) 변화 기반
주요 우울증(major depression)이 발생할 가능성을 감지하는 시스템
AI 연구 방향을 바꾸시게 된 계기
Computer Vision을 활용해 교수의 강의 스타일과 학생들의 반응을 분석
교수자 입장에서 최적의 교육 방식 피드백을 제공하는 시스템
학생들로부터의 pushback이 있었음
AI 제품과 서비스를 어떻게 설계해야 하는지에 대해 다시 생각해 보게 됨
How should we design AI products and services?
Can we treat AI as a design material?
AI & HCI Intersection
AI 혁신은 ML 박사님들이 상상할 수 있는 가장 흥미로운 아이디어에 의해 주도되었습니다. 따라서 성능적으로는 뛰어나지만 기술을 활용하는 방식에서는 창의성이 부족했기도 했습니다.
인상 깊은 사례
강화 학습 기반 Amazon Kiva Robots
물류 창고에서 로봇이 선반을 이동시키며 작업자의 동선을 최소화
작업자가 손을 뻗었을 때 항상 필요한 상품이 바로 앞에 있도록 설계
효율적이지만 로봇과 인간 사이 명확한 경계를 만들어냄
Airbnb Smart Pricing
호스트가 최적의 가격을 설정할 수 있도록 AI가 최대한 높은 가격을 예측
숙소가 예약될 가능성을 유지하도록 지원
그리고... ChatGPT & Gen AI
사용자들은 유용성을 느껴야만 기술을 수용합니다. 다만 정확도 이슈가 성패를 좌우하지는 않는다고 생각합니다. 예를 들어 Chat GPT로 내 시간을 단축하기 위한 Research를 할 때에는 생성형 AI를 이용할 때 "정확성"이 유용성에 매우 큰 임팩트를 끼치곤 합니다. 그런데 포스터 작업을 위한 아이디어를 얻기 위해 Midjourney를 사용할 때에는 심지어 weirdness라는 파라미터를 이용하기도 합니다. 또 전에 사용자가 작성한 회고에 AI가 응답하는 회고 작성 형성 서비스를 만들었을 때 인상 깊었던 VoC 중 사람이 하지 않을 법한 이야기를 해서 큰 위로가 되었다고 했던 의견이 있었습니다. temperature 값을 조정하여 모델의 randomness를 확보했기 때문에 가능한 일이었습니다. 이처럼 정확도보다 Serendipity가 중요한 경우도 있습니다. AI의 유용성은 늘 정확성이 정의하지는 않는다고 확신합니다.
기술 수용 모델 TAM (Technology Acceptance Model) AI Failure
AI 프로젝트의 85%는 배포되지 못하고, 배포된 프로젝트 중 상당수도 유지되지 못하고 실패한다고 합니다. 문제는 AI를 개발하는 것이 어려운 것이 아니라, AI 프로젝트가 올바르게 기획되지 않는다는 점에 있습니다.
Technical Failure
모델이 제대로 동작하지 않음
Financial Failure
운영 비용이 너무 높거나 수익이 없음
Amazon Alexa
대부분의 유저가 “Alexa, Spotify 틀어줘” 정도의 기능만 사용
Spotify는 돈을 벌지만 Amazon은 데이터를 처리하느라 비용이 증가해 연간 수십억 달러 손실 발생
스스로 비용을 감당할 수 없는 시스템
Acceptance Failure
유저들이 AI를 사용하지 않음
헬스케어 분야에서 의사 결정을 지원하는 시스템 사례
AI 시스템이 지원하는 의사 결정은 대부분 의사들이 어려워하지 않는 부분
결과적으로 사용되지 않거나 도입되지 않곤 함
Ethical Failure
AI가 사회적으로 문제를 일으킴
미국 사법 시스템
어떤 개인이 재범할 가능성이 높은지 예측
이 정보를 판결에 활용하는 시스템이 도입
기존 사법 시스템이 가지고 있는 심각한 편향성(bias)이 AI의 예측 결과에도 그대로 반영
인종적 편향을 강화하는 역할
Missed low-hanging fruit
쉽게 구축할 수 있는 AI 설루션이 있지만 overlook
스타벅스: 고객이 매장 안에서 앱을 열었을 때도, 바로 결제 화면으로 이동하지 않음
인스타그램: 매번 동일한 태그를 다시 입력하는 unnecessary friction 발생
자동차 회사들의 self-parking 기능: 시골에서나 사용 가능한 기능, 사실상 대부분의 사용자들에게 주차 공간이 충분한지 여부가 더 중요함
사용자들이 원하지 않는 서비스를 기획하는 경우, 즉 Gap이 발생하는 것이다.
개인적으로는 의도된 Friction일 수도 있을 것 같다고 생각합니다. 가령 스타벅스에서는 사람이 붐비는 시간이 사람들이 줄을 기다리는 확률을 높이기 위해 메뉴 탐색 시간을 주기 위해 바로 바코드를 보여주지 않을 수 있습니다. 인스타그램에서는 썼던 태그를 재사용하지 않고 가급적 상황에 최적화된 태그를 사용자가 사용하길 바랄 수 있으며, 사용자는 매번 다른 맥락에 게시물을 올리기 때문에 똑같은 해시태그가 필요 없을 수도 있습니다. friction에 대해서는 조만간 또 다루겠습니다!
Gap의 원인
Poor Problem Selection
DS Driven Innovation
그들의 접근법: problem formulation from a technical perspective
문제: 수많은 가능성을 탐색하지 못함. low risk and high value 판별이 어려움
짐머만 박사님 피셜임. 저의 개인적인 견해와 다를 수 있음
IBM 사례
PM과 DS 간 커뮤니케이션 단절이 큰 문제
대부분 모델 성능 관련 이슈
교수님의 세션 외 개인적으로 흥미로웠던 사례가 있는데 연관된 내용이라 붙여 넣어보았습니다. 최근 인과추론 공부를 시작하며 넷플릭스 추천시스템에 대한 이야기를 접했는데요, 상단은 House of Cards라는 콘텐츠에 대해 더 관련성 높은 콘텐츠를 보여주고, 하단은 관련성이 적더라도 대중적인 콘텐츠 보여주는 사례인데 하단이 오히려 더 좋은 성과를 가져왔다고 합니다. 성능이 모든 게 아닙니다. 비즈니스 임팩트를 내는 기능은 모델 성능과 오히려 거리가 있을 수도 있습니다. 사용자에게 가치를 가져다줄 진보는 무엇일지 고민을 해야하하고 그냥 AI 무새처럼 행동하면 안 된다는 것을 다시 한번 깨닫습니다.
프로젝트 비용에 대한 불확실성
일반적인 건축 프로젝트를 한다고 했을 때는 견적서 제시 가능
데이터 과학팀에게 1억 달러의 예산이 있다고 말하면 그 돈을 다 쓸 수 있다는 보장뿐
AI 모델 설계에 필요한 관련된 요소들은 예측하기 어렵고, 불확실성이 매우 큼
The Myth of AI superhuman intelligence
AI 혁신 프로세스를 방해하는 주요 원인
교수님은 상당 부분이 미디어(media)가 왜곡한다고 생각하심
미디어는 자극적이다그래서 비전문가들에게 AI 기반 문제 해결을 요청하면, 매우 특정한 문제에 집중
모델이 거의 완벽해야만 가치를 창출할 수 있는 경우에만 치중
AI가 쉽게 가치를 창출할 수 있는 많은 opportunity space 탐색이 안됨
프로젝트 과정에서 HCI & UX 디자이너 참여가 너무 늦음
AI시스템이 개발된 이후에 UX 디자이너가 참여하는 경우 많음
lipstick on a pig
잘못된 제품 결정이 이미 내려진 후 → UX 팀이 와서 보기 좋게 만들어 주세요
HCI가 제공할 수 있는 진정한 가치 없이 예쁜 인터페이스를 만드는 것에 국한
HCI & UX와 AI가 공존하려면?
UX와 HCI를 프로젝트 초기에 포함한다고 해도 capabilities를 고려해야 함
Reflection in action
AI가 어떤 추론을 할 수 있는지보다 어떻게 추론하는지에 초점을 맞추면 AI를 창의적으로 활용하는 데 방해
User-centered design이 AI 혁신에는 잘 맞지 않을 수도
AI 혁신은 Double Diamond 중간 지점에서 발생
어떤 애플리케이션을 만들 것인가?라는 결정에서부터 출발
UCD에서는 사용자를 선정하고, 그들의 행동을 관찰하며, 어떤 니즈가 가장 중요한지 우선순위를 매기는 과정
이 핵심 니즈를 해결할 수 있다면, 정말 혁신적인 변화가 일어날 것이다!라고 생각하는 것은 AI가 실제로 가치를 제공할 수 있는 영역과 잘 맞지 않음
해결책은 무조건 AI여야 한다고 전제 → 어떤 문제를 보더라도 AI가 해결할 수 있는 문제
AI가 제공하는 “실제 가치”와 “새로운 기회”에 대한 고려가 부족
진짜 AI Innovation 위해서?
impact effort 매트릭스 고안
AI가 제공하는 40가지 기능을 이 매트릭스에 매핑 → 약 25개 기능이 눈에 띄는 패턴
절반 이상의 AI 기능이 전문성이 낮은 업무에서 중간 정도의 모델 성능으로도 충분히 작동
AI 연구자는 고성능 모델에 집중하기 때문에 중간 정도의 성능만으로도 사용자들에게 가치 있는 기회를 제공할 수 있는 영역을 놓침
ICU와의 협업
design as a facilitator
의료진이 효과적으로 브레인스토밍을 할 수 있도록 돕는 것이 목표
의료진이 제안한 아이디어들을 매트릭스에 매핑
절반의 아이디어는 영향력이 컸지만, 대부분 구현하는 데 매우 높은 노력이 필요
low risk - high value를 동시에 만족하는 이상적인 아이디어를 찾지는 못함
의료진들이 AI의 구체적인 적용 사례를 먼저 인식할 수 있도록 접근 방식 바꿈
spam filter 사례처럼 간단한 ML사례 보여줌
그랬더니 impactful-easy to produce 아이디어가 나옴
sedation에 대한 결과물이 도출
과도하면 환자가 섬망을 겪고, 부족하면 PTSD나 심리적 손상을 겪음
환자의 의식 수준과 진정제 투여량이 정확히 관리되지 않는 병원의 문제 → 불완전한 데이터 사용 불가
안 하기로 결정
대신 나온 의약품 demand prediction이라는 좋은 아이디어가 나옴
아마존 크리스마스 물류 시스템을 참고
위중한 환자를 위한 약물 예측 배송 시스템
low-risk, high-value
Pre-Agile
이런 brainstorming 기법을 다양한 도메인에 적용했더니 low-risk, high-value
Pre-Agile: identifying what you should build
현재 집중하고 계신 연구 방향
Responsible AI
업계에서의 니즈 commercial risk + ethical risk
AI 설계 과정에서 윤리적 요소를 어떻게 고려할 것인가
이에 대한 고려를 일상적인 업무 프로세스에 녹일 수 있는가
Expertise-Performance Matrix를 활용해 AI의 윤리적 리스크를 평가하는 방법에 대한 연구 중
AI 프로젝트를 평가하고 선택하는 도구의 개발 → benefits-risk 평가
AI Literacy
사용자와 개발자를 주요 stakeholders로 설정
AI의 40가지 주요 기능에 대한 Value Flow Modeling (Service Design적인 접근)
AI 제품 또는 서비스를 세상에 출시하는 과정에서 관여하는 모든 이해관계자를 식별 → 각 이해관계자에게 어떤 종류의 AI 리터러시 교육이 필요한지
위험과 이익의 균형
AI가 초래할 수 있는 risks-benefits을 평가할 수 있는 명확한 시스템이 존재하지 않음
Generative AI
What capabilities can Gen AI deliver?를 연구
AI hype cycle
Expertise-Performance Matrix에 매핑 → 기존의 AI 시스템보다 더 높은 성능이 필요한 방향으로 이동
그러나 excellent 수준에 도달한 것은 없음 → 완벽하지 않은 AI 모델 성능을 허용할 수 있는 영역을 찾아내는 새로운 도구가 필요
교훈: AI as a Design Material
AI를 디자인 재료로 간주 가능
하지만 우리가 처음 생각했던 방식과는 다르게 접근해야 한다
디자이너들이 AI를 위한 혁신적인 새로운 사용 사례를 찾아야 한다 X
facilitator 역할을 해야 한다 O
데이터 과학자 및 문제를 제기하는 이해관계자들과 협력하여, AI 기술과 인간의 needs 사이의 조화로운 접점을 찾아내는 것
그러려면 AI가 실제로 제공할 수 있는 기능을 정확히 이해해야 함
연구 방식의 변화
empirical, analytical, constructive 연구를 수행하는 것에서 벗어나기
수업을 통해 개념을 실질적으로 적용하고, 커뮤니티와 직접 소통하는 방식을 추가(interdisciplinary class)
HCI - AI의 관계
How do we create products and services that leverage AI’s capabilities to add value to the world?
이에 대한 답을 얻기 위해 HCI, UX 분야가 개입되어 사용자와 고객이 원하는 것을 찾아 나서야 함
AI가 포함된 환경에서 HCI 실천 방식이 어떻게 변화할 것인가?를 아직 충분히 탐구하지 않음
AI는 prototyping 과정을 변화 킴
애자일(Agile) 방식이 도입된 이후 다소 사라졌던 run-and-gun style 방식을 되살릴 수 있을지
AI가 HCI의 미래를 어떻게 변화시킬 것인가
AI 성능 높이기에만 혈안이 되어있는 이 세태에 일침을 가해 주시는 세션이었습니다. 사실 이전에 HCI College 조교 시절 늘 어깨너머로 들었던 이야기는 이유 없이 예쁘기만 한 디자인을 하면 안 된다, 디자인의 근거가 있어야 한다는 얘기였는데 그 이야기와 같은 맥락이어서 무척 반가웠습니다. 이직을 하고 더 본격적인 실무를 진행하니 머릿속에서 약간은 흐려지는 철학이 다시 뚜렷해지는 것 같아서 감사했습니다.
