brunch

라이킷 8 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 인터비즈 Aug 05. 2020

AI가 인간을 약하게 만든다

네비게이션만 보면 길눈이 어두워진다

[DBR/동아비즈니스리뷰] 인터넷에서 검색해 어머니 생일 선물을 골랐다고 생각해보자. 50대(또는 60대) 여성 선물, 생일선물 추천 등 다양한 키워드로 검색한 결과 3가지로 좁혀졌다.

심사숙고 끝에 그중 가방을 골라 선물했는데 어머니 반응이 썩 좋지 않다. 이 과정에서 당신이 온전히 선택을 했다고 볼 수 있을까? 또, 최종 결과가 만족스럽지 않은 건 당신의 탓일까 아니면 당신에게 정보를 제공해 준 AI의 탓일까. 점차 이를 구분하는 일이 어려워지고 있다.

AI 덕분에 인간은 지루하고 시간만 잡아먹는 일들을 직접 처리하지 않을 수 있게 됐다. 더 효율적으로 생활하고 일을 하게 됐지만, 이 때문에 인간은 성찰적 삶을 살 기회를 잃고 있다. 앞서 말한 귀찮고 짜증을 유발하는 성가신 일을 통해 주변 사람들이나 세상과 관계를 맺고 자신의 행동을 조정하는 법을 배울 수 있기 때문이다.

내비게이션이 등장한 이후 길눈이 어두워졌다고 말하는 것처럼 다른 능력들(자아성찰, 윤리적 사고 등)도 잃게 될 수 있다. 인간이 기계에 종속되지 않고 기계를 잘 활용하려면 어떻게 해야 하는지 DBR 기사를 통해 알아보자.

AI가 인간을 약하게 만든다

AI가 삶의 일상적인 부분을 처리해 줌으로써 인간이 좀 더 가치 있는 활동에 전념할 수 있는 시간과 여유가 늘어난다. 아웃소싱이 일어날 때마다 인간은 AI에 어느 정도의 통제력을 넘겨준다. 이러한 교환에 익숙해지면서 인간은 탈 참여(disengagement) 경향을 보이게 된다.

즉, 다른 사람, 물리적 세상, 심지어는 자기 자신과의 상호작용에서도 벗어나려 한다. 통제력을 넘겨줄 때 그 시스템에 일정 수준의 신뢰감도 부여한다. 인간은 이 과정에서 카너먼 교수가 말하는 성찰적 사고(신중한 의사결정)에서 벗어나 자율적인 사고(자동 반응에 의한 결정)에 익숙해진다.

그 결과 일상적인 일은 쉽게 완수하나 우리의 행동은 전체적으로 점점 더 자동화하고 성찰은 줄어들게 될 리스크가 있다. 이 경우 6가지 유형의 탈참여 현상이 발생한다.

수동성 증가

임무를 완성하기 위해 AI의 도움을 받기 시작하면 그것을 수행하는 데 들이는 노력은 줄어들게 된다. 우리는 적극적인 참여자가 아니라 관중으로 전락한다. 넷플릭스, 아마존 프라임, 페이스북이 즐길 거리와 뉴스를 선정할 때 쓰는 AI 시스템만 해도 그렇다.

이런 시스템이 인간의 선택지를 결정하게 놔두면 우리가 다른 시각과 대면할 기회는 그만큼 줄어든다. 스스로의 선입견이나 편향에 제동을 걸 수 없게 되는 것이다. 이렇게 되면 비판적이고 깊이 있는 생각에 에너지를 쓸 필요도 없어지고, 장기 기억을 할 필요가 없어지는 탈참여가 일어난다.

정서적 분리

참여가 줄면 정서적으로도 멀어지게 된다. 이렇게 되면 인간은 자연히 진실되지 않고 기만적인 태도를 보이게 된다. 기업의 고객 콜센터에는 고객의 감정이 드러나는 신호들을 포착하는 시스템이 있다.

이런 소프트웨어는 원래 콜센터 상담원들이 고객들이 염려하는 각종 문제에 더 기민하게 대응할 수 있도록 설계됐다. 그러나 자칫하면 AI는 직원들이 고객의 반응보다는 기계의 반응에 더 집중하게 만들 수도 있다.

작인 감소

탈참여는 자신이 취할 행동에 대한 인지 능력, 스스로 결정할 수 있는 능력을 저하시킨다. 예를 들어, 충돌 사고가 발생했을 때 도덕적 우선순위를 저울질하도록 프로그램된 자율주행차를 떠올려보자. 즉, 보행자를 칠 것인지, 다른 차량과 충돌할 것인지에 대한 문제의 해답을 미리 설계해 놓는 것이다.

이 경우 자동차보험 비용은 자율주행차가 얼마나 다른 사람들의 이익을 고려하도록 설계됐는지에 따라 조정될 것이다. 그리고 이런 결정을 자율주행차가 대신해주면 인간은 차량 충돌이 일어났을 때 스스로 결정을 내리는 작인(agency, 행위자의 의도나 욕구로 일어난 행위의 발현)을 포기할 것이다.

책임감 감소

의사결정 과정의 통제권을 넘기면 좋든, 나쁘든 결과에 대한 책임감도 줄어들게 된다. 책임감이 AI 설계부터 작동까지 시스템 전반에 분산되기 때문이다.

AI가 정해 주는 체중 감량 프로그램에 따라 반조리 식품을 배달해 주는 다이어트 앱을 생각해 보자. 사용자가 다이어트에 성공하면 그건 누구의 공인가. 반대로 체중 감량에 실패하면 누구의 잘못인가.

무지의 증가

AI가 인간의 욕구를 알고리즘이나 기계적 프로세스로 바꾸면 인간이 스스로 처리했을 때와 다른 결과가 나올 때도 있다. 물론 AI 덕분에 인간이 부족한 지식을 보완할 수도 있다. 반대로 그런 부족함이 더 강화될 수도 있다.

가령, 내비게이션 앱을 이용하면 사용자는 주변 환경을 신경 쓸 필요가 없어진다. 하지만 지도 앱이 아직 업데이트되지 않은 지역을 운전하는 경우 운전자는 자칫 앱의 지시에 따라 잘못된 길을 반복해서 돌게 될지도 모른다. AI 없이는 출발한 곳으로 돌아가는 방법을 알지 못하게 되는 것이다.

탈숙련

중개자에 의존해 일상적인 임무를 완수하게 되면 인간이 주위의 물리적 세상과 교류할 때 사용하는 많은 숙련 기술은 빠르게 퇴보할 수 있다. 외부 도움 없이는 기본적인 일을 수행하는 법조차 잊을지 모른다. 새로운 기술을 습득하려는 의지 자체가 사라질 수도 있다.

인간의 상호작용을 해치지 않으려면..

인간의 삶에서 자동 조종 장치로 수행할 수 있는 일들이 급증하게 되면 자기비판적인 사고와 사회적 유대감이 줄어들고, 갈등이 악화되고, 윤리적 프로세스가 방해받을 가능성이 있다. 이런 위협을 줄이려면 AI 시스템 설계자들이 인간의 성찰적 사고를 주기적으로 유도할 수 있는 기능과 인터페이스를 개발해야 한다.

AI시대에는 인간의 성찰적 사고를 유발해야 탈참여의 문제를 해결하고 탈숙련의 리스크를 낮출 수 있다. AI시스템 개발자들은 인간이 깊게 성찰할 가치가 있는 결정들을 더 숙고할 수 있도록 인지적 과속방지턱을 만들고, 이를 통해 AI가 주도하는 경험과의 마찰을 다시 일으킬 수 있다.

구체적인 방법론은 이중 인지 처리 프로세스(cognitive dual process) 이론과 도덕적 자기인식(moral self-awareness), 두 가지 개념을 바탕으로 한다.

(1)이중인지처리 프로세스 이론

이중 인지 처리 프로세스 이론은 2가지 중요한 의사결정 과정을 설명한다. ①자극에 자동으로 반응하는 자율적 사고와 ②의도적이고 논리적으로 신중하게 반응하는 성찰적 사고. AI 시스템은 보통 사용자들에게 직감적인 알림 신호로 지침을 주는데 연구자들은 이를 3가지 범주로 나눈다.

· 익숙함 알림은 특정 기술에 대한 사용자의 익숙함을 이용해서 새로운 기술에 대한 정보를 준다. 예) 카메라의 셔터 누르는 소리와 스마트폰의 전화 발신음 이용.

· 심리적 반응 알림은 일반적인 심리 반응을 활용해서 제품이나 서비스에 대한 소비자 인식을 형성한다. 예) 더 솔직하고 개방적이라는 신호를 보내기 위해 친근한 아바타가 등장하는 인터페이스 디자인 활용.

· 명시적 알림은 사용자에게 그들이 행한 행동들의 결과를 보여줘서 자기인식을 촉진한다. 예) 아이폰 iOS 12 버전에 들어간 스크린타임 데이터 제시. 아이폰 운영 체제에 내장된 스크린 타임 소프트웨어는 사람들이 소셜네트워킹이나 엔터테인먼트, 생산성 앱을 얼마나 많이 사용하는지도 보여준다. 이렇게 하면 사용자가 자신의 행동을 더 잘 파악하고 통제할 수 있다.

출처 애플

익숙함 알림과 심리적 반응 알림은 자율적 사고만 유발하도록 설계되어 있다. 이에 반해 명시적 알림은 성찰적 사고를 유발하도록 디자인되어 있어 커뮤니케이션 마찰을 일으킨다.

(2) 도덕적 자기인식 이론

마찰은 도덕적 자기인식을 촉진한다. 반복해 마찰을 겪다 보면 다양한 자극에 대응하는 방식이 변하고 윤리적 정체성도 진화한다. AI 플랫폼은 기술 윤리학자인 섀넌 발로르 (Shannon Vallor)가 말한 ‘마찰 없는 상호작용’을 촉진한다. 그 결과 불편한 마찰은 줄어들지만 감정적 충동을 가라앉히고, 무지각한 반응을 억제하는 인간의 유리적 사고는 점점 약화될 수 있다.

AI 시스템 설계자들은 4단계의 도덕적 자기인식을 바탕으로 성찰적 행동을 촉진하는 앱을 개발할 수 있다. 마찰을 일으키는 자극들을 결합해 사용자들로 하여금 자신의 행동이 어떤 식으로 자신의 가치를 투영하는지, 어떻게 하면 스스로의 의식 수준을 제고할 수 있는지 고민하도록 유도하는 것이다.

1단계: 사회적 성찰

이 단계에 있는 사람들은 주로 관찰자로부터 받는 부정적인 피드백으로 인해 죄책감과 수치심을 느끼고 행동을 수정한다. 연구자들은 부정적인 피드백이 개인의 이기적인 행동을 억제하는 힘이 있음을 증명해 왔다.

2단계: 자기 성찰

이 단계에서는 어떤 행동의 부정적인 영향을 지적하는 타인의 불평에 의해 움직이는 대신 당사자 스스로 피드백을 내기 시작한다. 자기 성찰 단계는 다른 사람들의 행동이 낳은 결과를 목격할 때나 본인의 행동이 낳은 직접적인 파장을 고려할 때 일어난다.

가령, 쓰레기가 치워진 방을 본 사람은 쓰레기가 뒹구는 방을 본 사람보다 바닥에 쓰레기를 버릴 확률이 2.5배 더 낮다. 깔끔하게 치워진 쓰레기를 보는 것만으로 방을 깨끗하게 관리할 확률이 높아지기 때문이다.

3단계: 예측적 자기 성찰

이 단계가 되면 자신의 행동으로 일어날 수 있는 부정적 결과를 스스로 예측하기 시작하며, 이는 타인이 보내는 신호와 상관없이 독립적으로 일어난다. 주로 이런 예측은 보통 과거 행동으로 인해 마음속으로 죄책감이나 부끄러움을 느끼고 자기 성찰을 한 뒤 발생한다.

이런 성찰적 순간에는 자기 자신을 이 세상, 그리고 그 안에 속한 자신이 바라는 이상적 모습과 적절히 조화하려는 개인의 도덕적 의무감이 드러난다.

4단계: 능동적 자기성찰

최고 수준인 4단계에서 인간은 자신의 행동이 낳을 긍정적, 부정적 영향을 모두 고려하면서 점점 더 미래 지향적인 태도를 보인다. 이 단계의 사람들은 긍정적인 결과를 구현하기 위해 의도적으로 적절한 조치를 취한다.

이들은 잠재적 영웅으로 자기 이미지를 내면화한다. 최선의 경우 이런 결정들은 습관이 되고, 각자 자신이 원하는 이미지에 가까워지는 데도 도움이 된다. 이런 마음 상태는 개인이 자아 개념을 바탕으로 더 큰 행복을 얻는 것과도 관련이 있다.

AI로 성찰적 사고 촉발

AI 개발자들은 사용자의 도덕적 자기인식을 촉발할 수 있는 도구를 이용해야 한다. 사용자의 의사결정을 유도하는 알림을 보낸다면 상호작용의 결핍을 보완할 수 있다. IOT 분야의 글로벌 시장 규모는 2021년 1600조에 달한다고 한다. 알림 기능을 활용한 기회는 무궁무진할 전망이다. 특히 라이프스타일 기반의 아래 5가지 분야는 상당한 잠재력을 가진다.

건강과 웰빙

건강과 웰빙 관련 앱들을 보면 이미 명시적 알림을 보내는 적극적인 움직임이 포착된다. 개인 피트니스와 마음 챙김, 수면 관리부터 휴대폰에서 스크린타임을 제한하는 기능까지 다양하다. 스마트 냉장고도 이 분야의 선두주자에 속한다.

예를 들면, 매일매일의 칼로리 섭취 데이터와 함께 가공식품, 고열량 식품, 캔 제품, 냉동식품, 신선식품 등에 대한 소비 패턴을 보여주는 명시적 알림 기능을 넣어 사용자의 영양 상태를 개선하는 데 도움을 주는 것이다.

출처 동아일보

사회적 책임

사람들이 브랜드와 투자 대상을 고를 때 자신의 사회적 가치에 맞는 대상들을 선택하도록 돕는 알림도 잠재력이 큰 영역이다. 현재 일부 앱들은 기업의 재무 포트폴리오에 나타난 윤리적인 요소들을 부각하고, 사용자가 사전에 표시한 선호 요소들을 바탕으로 이들이 피하려는 술, 석유, 담배 등 종목들에 대해 경고한다.

또한 기업이 관련됐을 수 있는 윤리적 문제에 대한 세부 정보도 알려준다. 스마트 냉장고는 사용자가 구입한 식품들의 탄소 배출 이력을 알려줄 수도 있다. 이런 알림은 대기 및 수질 오염, 자원 고갈, 친환경 포장 같은 정보를 포함해 다른 영역으로도 확대될 수 있다.

미디어와 시민참여

미디어 관련 AI 애플리케이션은 사실을 오도하거나 편향된 뉴스에 대해 명시적 알림을 보낼 수 있다. 사용자가 사상적인 편협함을 깰 수 있도록 다양한 관점을 점진적으로 소개해주는 툴도 등장하고 있다.

효과적으로 디자인된 알림 기능들은 사용자들의 참여 행위를 추적하고, 도움이 필요한 곳에서 시민들이 행동에 나설 수 있도록 지역, 국가, 국제적 단위로 시민의식을 고취한다.

기술 유지

외부 세상과 관련된 성가신 활동들을 아웃소싱하려는 경향이 커지면 일상생활을 영위하는 기술 중 많은 부분을 잃게 될 수 있다. GPS 기능과 자율주행 시스템이 정확히 그런 경우다.

오늘날 이런 시스템을 사용하는 사람들은 거리의 랜드마크를 찾거나 이동 경로를 되새길 필요 없이 시스템이 제공하는 시각, 음성 지시만 따르면 된다. 하지만 즉각적 알림 신호들은 이 같은 경향을 바로잡을 수 있다.

마치 행인이 길을 알려주는 듯한 길 안내 정보를 AI 시스템 설정에 포함하되 방향을 바꿀 지점이나 주요 랜드마크, 기타 참고할 정보들을 3D 이미지로 제시하는 것이다. 이렇게 제시하면 사용자들은 음성 명령을 기계적으로 따르는 대신 주변 환경에 신경 쓰면서 본인의 기억을 살려 목적지에 도착할 수 있다.

이 밖에도 운전자가 자율주행 시스템에 지나치게 의지하지 않고 경각심을 갖거나 자신의 운전 기술을 유지할 수 있도록 AI를 설계해야 한다.

개인 교화

결과적으로 봤을 때 알림 환경이 효과적으로 설계된 AI 시스템은 사물처럼 행동하지 않고 사용자가 자신의 잠재력을 최대로 발휘할 수 있도록 돕는 친구처럼 행동해야 한다. AI 시스템은 예술, 요리, 패션, 엔터테인먼트 같은 분야에서 사용자가 더 뛰어난 안목을 가질 수 있도록 자극할 수 있다.

사용자가 무언가를 검색할 경우 보통의 추천 엔진처럼 사람들이 가장 충동적으로 반응할 만한 상품을 제시해서는 안 된다. 단순히 인기에 따라서가 아니라 전문가들의 의견과 개인적, 사회적 선호도를 종합한 대안들을 양질의 평점과 함께 제안해야 한다.

AI 플랫폼은 소비자에게 자신의 일상생활과 활동 상호작용을 통제하고 관리하는 아주 강력한 툴을 제공한다. 이를 신중하고 양심적으로 쓴다면 인간의 행동을 더 나은 쪽으로 디자인할 수 있으나 제대로 디자인하지 않는다면 부정적 습관을 강화할 수도 있다. AI설계는 개인의 인지작용을 해치지 않고 공동의 행복을 극대화하도록 설계되어야만 한다. 이런 접근법을 취하는 기업과 개인만이 앞서나갈 수 있을 것이다.

출처 프리미엄 경영 매거진 DBR 282호

필자 줄리언 프리드랜드 트리니티대 경영대학원 윤리학 담당조교수

* 이 글은 MIT 슬론 매니지먼트 리뷰(SMR) 2019년 여름 호에 실린 'AI Can Help Us Live More Deliberately'를 번역할 DBR 기사를 소개한 것입니다.