체크리스트로 기술가치평가하기
기술가치평가_체크리스트법
0. 들어가기
세상에는 다양한 척도가 있지만 굳이 2가지로 나누자면 상대적 척도와 객관적 척도가 있다. 객관적 척도는 물리적으로 측정을 해서 척도를 만드는 것이고 주관적 척도는 일정한 기준을 주관적으로 정하고 그 기준에 맞게등급을 나누고 그 등급으로 가치를 매기는 것이다. 체크리스트가 가치평가의 세계로 들어오면 가치평가로 나오는 결과는 주관적이지만 그 과정은 객관적으로 설계해야함을 이야기한다. 논리적인 측면에서 등급을 나누고 등급에 대한 가치가 가중치가 되며 그 간격역시도 가중치가 된다. 여기에서 '기술'요소가 들어오면 기술성을 어떻게 정의하는가에 따라서 기술가치평가를 할 수 있는 체크리스트 설계가 가능해진다. 쉽게 말해서 다양한 변수들을 표로 만들어서 더 가치가 있다고 생각하는 항목을 체크해서 의사결정을 하는 것이라고 보면 된다. 그런데 신기하게도 대부분의 신용평가는 모두 체크리스트법으로 하고 있다는 것이다. 오늘은 체크리스트법으로 가치평가하는 방법을 알아보자.
https://brunch.co.kr/@minnation/3624
1. 체크리스트법이란 무엇인가?
모든 의사결정은 어렵다. 왜냐하면 무엇인가를 결정한다는 것은 기회비용이 존재하고 반드시 긍정적 요소가 있다면 부정적인 요소가 함께 존재하기 때문이다. 만약이 이러한 결정이 자동으로 결정된다면 그것은 의사결정이 아니다. 인간이 하는 결정이 아니고 자연적이라서 운명론이라고 할 수 있다. 가치평가를 할 때 있어서 이러한 의사결정의 어려움을 해결하기 위한 방법이 있다. 그것이 바로 체크리스트를 만들어서 조건에 맞게 선택하는 표를 만드는 것이다. 다음과 같은 두 가지의 방향이 있다.
방향1_미래 계산해보고 있다 없다를 선택하기
판단 요소가 하나인 경우 : 소정의 투자액이 투입되었다고 가정했을 경우 다음과 같이 고민해볼 수 있다.
미래현금흐름의 NPV > 0 -> 투자 수행
IRR > 대안 투자기회의 예상수익률 -> 투자 수행
NPV, IRR계산 절차 자체가 다양한 하위 체크리스트 판단을 거친 뒤 수행
방향2_두 가지 중에 선택하기
긍정의 요소들과 부정의 요소들을 저울질 하여 종합적으로 전자가 후자보다 크다고 판단되면 투자를 수행하는 것이다.
평가의 목적에 부합하는 이 요소들의 한 체계를 ‘체크리스트’라고 한다.
체크리스트 판단은 본질적으로 심리 현상이다. 마음 속에서 일어나는 체크리스트를 줄여가는 방법이라는 것이다.
벤저민 프랭클린의 의사결정 도구
미국의 건국의 아버지인 벤자민 프랭클린은 의사결정을 할 때 2가지의 경우의 패널을 사용해서 정리했다.
이것을 decision algebra, Moral or Prudential Algebra라고 부른다.
두개의 열을 작성해서 해야하는 이유와 하지 말아야할 이유를 적어보는 것이다.
Yes열과 No열을 만들어서 3~4일간 생각나는대로 써보는데 두 가지 열 중에 한 칸에 써보는 것이다.
여기서 중요한 것은 가중치weight이다. 가중치를 가지고 이제 하나행 하나행을 상쇄하는데 가중치가 높으면 Yes열에서 3개항목을 No열에서는 1개만 상쇄하는 것이다.
모든 것이 상쇄되고 마지막에 남은 항목들이 존재하는데 이것을 두고 몇일동안 고민해본다.
이와 같은 방식은 선택에 있어서 독일의 철학자 칸드가 결혼해야할 이유와 결혼하지 말아야할 이유를 10년동안 생각한 것과 같다.
체크리스트법은 여기서 착안했다.
2. 체크리스트 적용의 원리
체크리스트법을 사용할 때는 벤자민프랭클린처럼 구체적으로 하지 않고 직관적으로 판단한다. 체크리스트를 구체적으로 열거한 후 종합적으로 판단한다. 종합평가 등급 기호는 rating, ranking으로 구분하는 것이다. 보통 신용평가사들이 이러한 등급을 부여하고 AAA와 같은 평가를 내린다. 개별체크리스트는 Yes, No나 1~10까지 혹은 이미지나 색체, 도형으로 평가한다. 리커트 척도에서 볼 때 3단계, 5단계, 7단계 척도를 많이 사용한다. 중요한 것은 리커트 척도를 사용할 때는 짝수는 안된다는 것이다.
리커트 척도
3단계 척도 : 가장 간단한 방식 / A, B(준거점), C
5단계 척도 : 가장 간편한 방식 / 1, 2, 3(준거점), 4, 5 / ++, +, =(준거점), - / 준거점(reference point): 소속 산업의 평균적인 수준, 개별 비교 대상 등
Likkert Scale 7단계 : 1, 2, 3, 4(준거점), 5, 6, 7
또는 : 현저히 열위(extremely worse, 1) / 매우 열위(much worse, 2) / 열위(worse,3) / 보통(average,4) / 양호(better, 5) / 매우 양호(much better, 6) / 현저히 탁월(outstanding, 7)
Likkert Scale의 장점
준거점을 중심으로 상, 하 원하는 만큼 평가단계를 확장할 수 있음.
평가결과는 표준화된 점수로 변환 가능
Likkert Scale의 단점
숫자의 오도 가능성
절대적인 요소 또는 치명적인 요소를 구분하는 데에 효과가 없음. ex) 법적 진입장벽
충족 안 되면 다른 요소가 다 무효화: 대학교 성적 평가(F학점), 색채 평가 등에서는 이 점이 보완됨.
치명적 요소는 여러 요소와 동시에 평가하지 말고 단계 진행의 핵심 결정 변수로 분리해서 고려해야 함 --> 의사결정나무(decision tree 형태)
평가자의 심리적 편향성 개입 가능성이 높다. --> 많은 사람들이 'equal'보다는 'better’ 쪽을 선호
3. 다양한 평가 방법
평가방법에는 다양한 평가가 있다. 당장에는 상대적인 점수를 매기고 그에 따라서 등급을 매기는 등급평가rating이 있고 이거슨 평가기준의 상대적 경쟁력을 표현한다. 그러나 상이한 평가기준들이 있기 때문에 기준들이 합산되면 다양한 경우의 수가 생기기 때문에 매우 난해하고 복잡해진다. 현금흐름 창출능력은 현금 흐름의 지속수명과 개별기술 경쟁력을 보여준다면 채무상환능력은 자체상환능력과 관계회사로부터 지원 가능성을 말한다. 이외에도 다양한 평가요소들이 있는데 자료들이 있으면 이것을 등급화해서 상대화활 수 있다. 이에 비해서 가치평가valuation은 평가별과의 다양한 표현방법 중에 하나이면서 등급과는 조금 다르다. 여타 평가 방법들과 체크리스트를 공유하고 체크리스트의 상대평가를 바탕으로 매출액과 비용 추정 파라메터를 결정하여 결론적으로 절대가치금액을 추정하는 것이다.
등급은 상대가치이며 가치평가는 절대평가이다
또한 등급평가와 가치평가를 연결할 수도 있다. 예를 들면 비교대상의 로열티를 참조하여 평가대상 기술의 적정 로열티율 결정한다고 해보자. 비교대상(준거점, 3점)의 로열티가 매출액 대비 3% 로부터 평가대상 기술의 등급평가 결과는 4점이라고 해보자. 그러면4/3 = 1.33배 곱하여 상향조정할 수 있다. 그렇다면, 등급평가 1점을 받으면 비교대상(준거점)의 1/3배로 하면 맞는가?평가척도가 가치와 선형(linear) 관계를 지닌다는 가정이 충족되어야 하나, 이는 평가 대상별로 좀 더 깊은 연구가 필요하다. 등급평가를 가치평가로 연결할 수 있지만 무한수에 유한수가 섞이면 무한수가 되듯이 결론적으로 가치평가로 전환되면서 절대평가가 된다. 따라서 체크리스트법은 등급을 매겨서 정리하고 그것을 가치평가로 연결하기 때문에 절대평가가 되는 것이다.
신용등급은 등급평가에 해당하고 수익율을 가치평가에 해당한다. 신용등급별 수익율 Y는 신용등급 평가는 매우 다양한 평가요소들을 종합적으로 검토하여 부여하는 예술art이지만 과학은 아니다not science. 산업별, 채권의 종류별로 다양한 체크리스트와 평가기준 구비되어 있고 대부분 자료가 홈페이지에 공시되어 있다. 시장에서 관행이 형성되면 투자자들이 채권 등급별 기대(expectations)를 형성한다. 채권 신용등급 공시는 신용평가회사에서 진행하고 채권 가격 공시는 채권시가평가회사에서 진행한다. 결국 가치평가이면서 종합적인 판단이 필요하다는 것이다.
4. 체크리스트의 항목 설계
체크리스트를 평가할 때는 기본적으로 주관적 척도 및 객관적 척도를 사용한다. 주관적 척대는 당연히 전문가에게 의존하면서 경험을 종합한 것이라고 할 수 있고 합의를 거쳐서 투표도 할 수 있다. 객관적 평가는 구간을 나누어서 극단치 혹은 이상치를 정하고 그 안에 구간을 나누어서 평가하는 것을 말한다. 이러한 평가척도를 기반으로 해서 의사결정에 사용할 수 있다. 이른바 상대적 서열결정이다.
주관적 척도(subjective scales)
ex) 제품의 혁신성: 탁월, 매우 양호, 양호, 보통, 미흡, 매우 미흡, 전무
오랜 경험을 보유한 전문가의 판단에 의존
평가자에 따라 결과가 달라질 위험성 존재
이를 극복하기 위해, 여건이 허락한다면 1인 평가보다는, 3~5인 내외의 평가자로 팀 구성하는 것이 바람직
합의(consensus) 또는 투표(vote)로 결정
대면토론 및 합의 시 주도세력 때문에 편향성이 발생할 위험
객관적 척도(objective scales)
ex) 최근 3개년 회계연도 ROA(투하자본수익률)평균
5구간 분할 평가
20% 이상, 5~15%, 0~5%, -3%-0%, -3% 이하
경험을 통해 획득한 수량 기준
대상 분야 표본에 대한 통계분석 결과에 의거하여 척도 구간 임계치 결정: 적절한 백분위값(Percentile)으로 구분
극단치(extreme value) 또는 이상치(outlier)제거 후 구간 작업
균등배분이 아니라, 삼각 또는 종형 대칭 분포가 나오도록 분할 구간
단점: 실무에서는 통계 입수가 불가능한 평가항목이 더 많음.
단점: 설계자의 주관적 인상과 달리, 평가 목적에 기여하지 않는 항목 발생 가능 (사후 모형 성과를 통계적 검증해서 재조정)
ex) CEO의 동업종 경력 년수, 등록 특허의 수 등 --> 기술혁신 능력, 사업화 성과 등에 실제로 영향을 미치는지 영향이 불확실함.
상대적 서열결정 방법
전문가의 직관적, 종합적 판단
평점(scoring,100점 만점)에 의한 판단 : 평가항목 간 가중치가 주어져 있어야 계산 가능함.
통계적 추론에 의한 등급 도출 : 개별 평가항목이 객관적인 수량으로 측정가능한 경우에 사용하는 것이 바람직함, 주관적 평가항목에 대해서도 사용 가능하나, 신뢰성이 의문시됨.
주요 채택 방법론: logistic regression, artificial neural network 등 ex) 로지스틱 회귀모형으로 부도가 나지 않을 가능성을 평가하는 경우 : 평가항목들은 모두 수량 측정 가능한 독립변수들로 구성됨. 과거 특정 산업에서 기업의 부도 여부와 각종 재무비율 실적 통계로부터 회귀분석 모형 도출함. 계산된 P값이 1에 가까울수록 부도 가능성이 낮고, 0에 가까울수록 부도 가능성이 높음. P값을 적절히 분할하여 등급 기호 부여(우량, 보통, 불량 등)
결국 통계적 추론은 위와 같이 P가 몇%인지에 따라서 신뢰도를 평가한다는 것을 말한다. 위에서 배당율, 총자산, 유보액 매출액, 부채총계, 유형자산 등등이 체크리스트에 해당한다고 볼 수 있다. 이렇듯이 체크리스트가 다양한 통계적 변수로 작용하는 것을 볼 수 있다.
체크리스트내 평가항목 간 가중치 결정 방법
전문가의 종합 판단 : 가장 직관적이고 간단한 방법 / 오랜 경험을 보유한 전문가의 판단에 의존 Ex) '예상 시장규모'와 '예상 경쟁 강도'가 각각 70%, 30%의 비중을 지닌다고 판단/ 단점: 평가항목의 갯수가 많아지면 판단이 매우 혼란스러워짐.
AHP(Analytic Hierarchy Process, 분석적 계층절차) : 쌍대비교를 통해 복수의 평가항목간 가중치를 도출 / 쌍대비교(pairwise comparison): 2개로 구성된 평가항목의 가능한 조합 --> 각 조합 내 2개 사이에 비교 / 단점: 시간과 비용 소요
VC 투자의사 결정요인
Venture Captalists : ‘기술’보다 ‘사람(경영자, 창업팀)’을 본다. 기술 자체가 사업 성과를 낼 가능성은 너무나 불확실, VC자신들도 모른다. 그래서 사업화를 수행하는 사람을 믿는 수밖에 없다.
벤처캐피탈의 투자 업무 절차 : 탐색 → 사전 선별 → 정밀 실사(due diligence) → 투자 조건 협상 → 투자심의위원회 → 투자 집행 → 사후관리 → 회수로 이어지며, 이 중에서 사업계획서 또는 기초자료(서류, 면담, 약식 실사) 검토를 통한 사전선별(screening) 과정에서 어떤 요소에 의거한 결정이 회수 성과에 유의한 영향을 미치는가가 선행연구의 주된 분석 내용임.
Timmons & Spinelli(2004), New Venture Creation,6th ed. p.481.
미션 : 높은 이익으로 산업을 선도할 수 있는 회사인가? 높은 P/E배수로 4년 내지 7년 이내에 기업을 공개하거나 M&A할 가능성이 있는가?
완성된 경영자팀 : 산업의 슈퍼스타가 이끄는 팀, 기업가의 경험과 일반 관리경험, 손실 및 이익 경험 측면에서 증명된 역량, 탁월한 혁신가나 기술 및 마케팅 책임자 보유, 경영자 간에 상호보완하는 역량, 비범한 끈기와 상상력, 일에 대한 헌신, 진실성(integrity)에 대한 평판
경쟁력있는 제품과 서비스 : 경쟁재의 위협으로부터 지속적으로 우위를 지켜낼 수 있는 능력, 신속하게 고객의 가치를 구현해 줄 수 있는 능력, 배타적인, 계약상 또는 법상의 권리 보유
대규모의 견고하고 지속가능한 시장 : 5년이내에 1억 달러 이상의 신규진입 가능성, 현재매출 2억달러 이상, 연평균 25%이상의 매출 성장률 예상, 현재 강력한 경쟁자가 없음, 고객 규정이 분명하고 유통채널이 확실함, 매출액에서 매출원가를 차감한 총마진율이 40%에서 50%이상, 조기에 양으 현금흐름 또는 손익분기에 도달할 수 있음.
가치평가와 ROI : 적절한 규모의 1라운드 자본소요액(예를 들면 1백만 달러 이상 1천만 달러 이하), 5년후 P/E 15배수 이상의 성과를 내면서 초기 투자의 10배 가량의 수익률 달성, 후속 라운드 투자 가능, IPO를 포함한 다양한 수단의 현금 회수 옵션들
William D. Bygrave and Andrew Zacharakis, The Portable MBA in Entrepreneurship(4th ed.), John Wiley & Sons, 2010.
가장 이상적인 투자 대상이 지녀야할 속성
선도하는 기업으로서 CEO는 자신의 급변하는 시장에서 고성장 기업 경영능력을 입증할 만한 충분한 기업가 내지 경영자로서 경험을 갖추고 있다.
엔지니어링 담당 수사장은 업계의 슈퍼스타이다.
제품이나 서비스가 경쟁자에 비해서 우수하다.
특허나 저작권 등의 수단으로 지식재산이 보호되고 있다.
시장은 적절히 세분화되어 잇으며, 급성장하고, 미래에 충분히 큰 규모로 성장할 것이 예상된다.
5년 이내에 5천만 달러 이상의 연매출이 예상된다.
총이익률은 60%이상, 순이익률은 10%이상
5년 이내에 기업공개 예상
투자금액 대비 7배 이상 회수 가능성
IRR 60%이상
Mark Van Osnabrugge and Robert J. Robinson, Angel Investing: Matching Start-up Funds with Start-up Companies ― The Guide for Entrepreneurs, Individual Investors, and Venture Capitalists, San Francisco: Jossey-Bass, 2000. p.122.
Zacharakis & Meyer(1998)
25개 벤처기업의 상세 정보를 53명의 VC들에게 제시
대상 기업들의 성공가능성에 영향을 미치는 각 평가요소에 대하여 7점 척도 평가를 수행
그 결과를 회귀분석하여 모형을 구축함,
이후 실제 성공한 기업에 대한 적중률(hit rate)을 비교
전문가의 종합적 판단
모형에 의한 판단
VC의 stated factors vs. actual fators: 미국과 한국
stated factor는 진술된 요소라고 한다. 일명 신봉이론과 실용이론의 차이라고 할 수 있다. 체크리스트에서 다양한 요소가 있고 이것은 명시되어 있지만 사실은 이보다는 실제적인 요소를 결정한다는것이다.
따라서 actual fators의 중요성이 필요하다는 것이다.
그런 의미에서 사전적 가중치와 사후적 중요도를 비교해보면 무엇을 가장 중요하게 보고 어떤 것이 가중치를 매기는지에 따라서 actual factor를 골라낼 수 있다.
5. 체크리스트 활용하기
그럼 앞으로 어떻게 체크리스트법을 활용할 수 있을지 고민해보자. 먼저는 자신만의 체크리스트를 만들어야 한다. 최대한 자신이 의사결정을 하는데 많이 사용하는 변수들을 체크리스트로 만들고 가중치를 부여하여 우선순위를 정한다. 그리고 상황에 따라서 체크리스트의 버전을 업그레이드하면서 자신의 결정이 논리적으로 빠르게 진행될 수 있도록 준비하는 것이다.
자신만의 체크리스트 만들기
기존의 여러 기관 또는 연구자들의 체크리스트 : 구색을 갖추기 위해 되도록 포괄적으로 되도록 많은 항목들을 열거하는 경향, 이 가운데 중요한 것과 중요하지 않은 것이 상황에 따라 달라짐.
신기술 사업의 가치에 결정적으로 영향을 미치는 현상 : 지속 기간 “짧게 끝나느냐, 오래 가느냐?” / 기술 구현력 / 고객 가치A: 강점 strength, excellence + 필요 necessity + 수용성 receptivity / 재무, 인력 / 성장 규모 “얼마나 많이 파느냐?” / 잠재 시장 규모 / 경쟁 예상: 경쟁재들이 제공하는 고객가치A’ / 현실에서는 Case by case 천만가지 상이한 형태로 발생
가장 중요한 소수개의 요인을 선별 : 오직 현재 예상할 수 있는 범위 내의 것이어야 함 / 미래의 실제 사업 전개는 현재의 가정과 크게 달라짐 / 제품군, 재무상황, 지배구조 / 요인간 동태적 상호 영향 구조 à 네트워크의 Hub역할을 하는 가장 중요한 요인 선별
고객에게 제공하는 순효용
핍 코번은 책에서 고객은 과연 혁신제품을 기꺼이 수용하는가?라는 질문을 하면서<신기술 성공의 법칙>, 허영주, 민붕식 옮김, 에이콘, 2007을 쓴다.
변화함수 change function : 고객은 항상 두 가지를 비교한다. 고객이 변화를 수용할 때 느끼는 고통과 고객이 변화를 수용하지 않을 때 느끼는 위기감이다.
순효용 =(+)고객에게 제공하는 총효용, (-) 고객이 지불하는 비용
[Moneytary] 취득 및 이용에 소요되는 화폐 비용
[Non-Monetary그 과정에서 발생하는 불편과 어려움, 수반되는 불편(이동, 절차 등), 사용법 학습
[Opportunity] 기사용제품, 경쟁제품, 대체재의 순효용
나머지 모든 항목들은 다 여기에 부합하는 방향으로 형성되어 있는가를 판단해야한다. 기술력, 개발방향, 인력·경영진 구조 및 그 의사소통, 법적 보호, 자금조달력을 구부해야 한다.
이 모든 구조는 한 편의 스토리로 귀결= 주인공 + 조연 + 상대역
체크리스트법 실패사례
세상에는 성공사례보다 실패 사례가 더 많다. 성공사례는 알려지기 쉽고, 실패 또는 준실패 사례는 알려지지 않았다.
미국의 모토로라의 이리듐 프로젝트는 Iridium LLC로 서비스를 시작했지만 5만명의 가입자를 넘어서지 못하고 유지비용을 감당하지 못해서 망했다. 자신들의 기술에 대한 과신 때문에 통신기술의 변화에 적응하지 못했고 요금이 너무 비싸서 사용자의 기대에 부응하지 못했다.
또한 미국의 OTT서비스를 지향했던 Quibi는 드림웍스와 디즈니 출신이 설립하여 헐리우드 스타들과 의기투합했지만 결국 비용관리에 실패했다. 17억불의 투자유지를 받기는 해지만 효율적 제작비 관리실패로 분당 10만달러가 날라갔다. 고객가치로는 탁월성과 필요성, 수용성을 가졌으나 경쟁고객가치를 넘어설 수 없었다. 넷플릭스와 유튜브, 디즈니플러스와 겨뤄서 그다지 서비스의 좋은점이 없었다.
6. 인간의 인지능력의 한계와 체크리스트
인간은 언제나 편향을 가지고 오만함으로 평가한다. 대니얼 카너먼은 생각에 대한 생각에 이어서 생각의 잡음 즉 '노이즈'에서 휴리스틱(어림직작)의 폐헤를 보여준다. 미국의 판사들이 형량을 매긴 것을 보니 같은 조건에서 크게는 20년의 차이를 보인다는 것이다. 어떻게 보편 판사들의 편향이면서 이것들이 모이면 잡음이 된다. 이렇든 인간의 인지는 한계가 있고 그 상황에 휩쓸리기도 한다는 것이다. 따라서 사전에 체크리스트를 만들어 놓아서 자신이 상황에 휩쓸리지 않고 논리적으로 판단할 수 있도록 하는 것이 중요하다.
오류의 두 구성 요소
‘편향(bias)’ : 특정 집단에 소속된 평가자들이 일관성 있게 과대평가 또는 과소평가하는 경향, Ex) Ex)특정 지역 주민의 선호가 특정 정당 후보로 일관성 있게 쏠려 있는 현상
‘잡음(noise)’ : 평가자 간에 중심점으로부터 상하 편차가 크게 두루 발생하는 현상, 잡음 요인, 인지편향, 앵커효과, 손실회피 등 행동경제학에서 밝혀낸 수많은 기제, 판단에 영향을 미치는 다양한 기준이나 대상에 대해 사람마다 서로 다른 순위를 부여
‘상황 잡음(occasion noise)’ : 판단을 내리는 시점의 날씨, 몸 상태, 기분, 주변 분위기, 그 전후에 겪은 사건 등이 개입하는 현상/ Ex) 아침에 부부싸움을 하고 나온 상사에게 올라온 기안문은 대개 상황 잡음을 피하기 어렵다.
‘집단 잡음(group noise)’ : 집단 잡음은 자신의 판단보다 주변 사람의 의견이나 선택을 따르는 현상 / Ex) 유튜브 콘텐츠 조회, 정치 선거, 유력자가 참가한 대면회의에서 자주 등장
잡음의 긍정 효과
개인 간 다양성과 특수성에서 기원하는 잡음 자체는 시장을 형성하고 진화를 촉발시키는 긍정 요인
의견 불일치, 즉 잡음이 없는 사회는 죽은 사회
회피해야 할 시스템 잡음(system noise)
오판이 야기하는 커다란 사회적 비용
Ex) 의사마다 한 환자를 두고 서로 다른 진단을 하거나, 판사마다 피고인에게 전혀 다른 형량을 구현하는 경우, 재수 없이 걸린 사람은 본의 아니게 그의 건강과 자유를 희생해야 한다.
육감 내지 직관을 내세워 자신의 지식 부족과 심리 불안을 감추려는 허세를 멈추고, 감정 개입이 이뤄지지 않는 알고리즘 평가나 단순 통계모형을 보조 수단으로 활용해야 함
인공지능, 통계모형의 역할
잡음 감사 Noise Audit
감사는 회계나 직무 규정만을 대상으로 하는 게 아니다.
의사결정의 불가피한 편향과 잡음을 조직적으로 개선해나가는 과정을 가져야 한다.
의사결정에 참여하는 당사자들은 실시간으로, 또는 사후에 소정의 체크리스트에 응답하고, 그 결과를 행동경제학의 방법으로 분석하고 피드백해야 한다.
기업, 정치 집단을 막론하고 해마다 의사결정 실수를 반복하지만 이것을 잡음감사로 잡을 수 있다.
단지 소수 리더의 합리성에만 희망을 걸고 언젠가는 더 좋아질 것이라고 막연히 기대하는 것은 어리석은 일
Group의 체크리스트 판단 행위에 대한 체크리스트(예시)
증거의 대체 : 판단을 내리는 데 필요한 증거를 손쉬운 증거로 대체했는가? 정작 중요한 요인은 고려하지 않고 넘어간 적이 없는가? 외부의 견해를 충분히 수용했는가? 그룹 내에서 충분히 상이한 견해가 제시되었는가?
선입견, 조속 의결 : 결론을 예단하고 그에 맞는 증거만을 찾지는 않았는가? 반대의견을 지닌 사람이 견해를 표명할 충분할 기회를 주었는가? 집단의사결정을 종용하지 않았는가? 불편한 데이터나 의견을 의도적으로 배제하거나 무시하지는 않았는가?
정보 가공 절차 : 특정한 증거가 최신이라거나, 미학적이라거나, 극적이라거나, 사적 연관성이 있다는 이유로 특별히 과장한 적이 있는가? 일화나 루머, 스토리에 지나치게 의존해서 판단을 내리지 않았는가? 존재하지 않는 데이터를 외삽(extrapolation) 또는 추정(estimate)해서 근거로 삼지 않았는가?
정확도 : 예측치의 신뢰구간을 검정해보았는가? 손실을 피하는 데에만 집중해서 과도하게 보수적이거나 조심스러운 태도를 취하지는 않았는가? 단기 요소와 장기 요소 간 우선 순위를 균형있게 고려하였는가?
0. 나오기
오늘은 체크리스트법에 대해서 알아보았다. 체크리스트를 만들기 위해서는 척도가 필요하고 척도를 만들기 위해서는 주관적인 판단과 객관적인 판단을 할 수 있는 변수들을 만드는 것이 중요하다. 인간은 인지의 한계 때문에 자신들이 판단내는 상황에서 집단의 힘에 휩쓸리거나 상황에 휩쓸리게 된다. 따라서 자신이 어떤 상황에서 비논리적이고 비합리적이 되는지를 미리 안다면 그것을 극복할 수 있는 체크리스트가 필요하다. 카너먼의 이야기로 마무리해자. 카너먼은 노이즈에서 상황잡음과 그룹잡음이 있지만 이것도 긍정적으로 받아들일 수 있는 이유는 이것 때문에 사회가 발전한다는 것이다. 그런데 반드시 잡음을 줄여야 할 것이 있는데 바로 '시스템 잡음'이다. 오판이 야기하는 커다란 잡음을 말하는데 이 잡음이 커지는 것은 긍정적이지 않다는 것이다. 따라서 체크리스트법에서 시스템 잡음을 줄이고 통계와 전문가의 의견도 받아들이면서 체크리스트를 계속 업그레이드 해가야 한다.
https://isssp.org/moral-or-prudential-algebra-decision-making-with-ben-franklin/
https://www.seoul.co.kr/news/newsView.php?id=20201030027001
https://brunch.co.kr/@minnation/2480
https://brunch.co.kr/@minnation/2492
https://www.youtube.com/watch?app=desktop&v=3lk2GpJbtSU
https://www.youtube.com/watch?v=NwCytWihLvA
