by
Dominic Cho
Jul 16. 2023
총점: 9/10
- 한 줄 서평
삶은 실험이다.
- 내용 정리
경험적으로 알고 있던 실험이란 개념을 역사, 테크 분야, 공공 분야라는 3개 장을 통해 구체적으로 배울 수 있는 책이다. 책의 구성은 지식을 습득하기 위해 최적화되었는데 구체적으로 적으면, 1. 각 장 별 목표가 뚜렷하고 2. 문단 별로 육하원칙이 명확하게 드러나며 3. 문장들은 논리적으로 쓰였다. 책을 읽으면서 마치, 유명한 저자가 유려하게 쓴 논문을 읽는 듯한 느낌을 곳곳에서 받았다.
즉, 그냥 잘 쓰인 책이다.
다만, 학술적으로 쓰였기에 농담이나 유머가 부족해 읽는 재미가 부족했다는 점은 아쉽다. 거기에 실험을 실시한 사람이 어디 학교에서 누구의 지도로 학위를 받아 어떤 학교에서 교수가 되었다는 설명은 살짝 TMI. 그럼에도 불구하고 실험이란 분야에 대한 지식을 최대한 효율적으로 전달하는 책이기에 9점이라는 높은 평점을 줄 수밖에 없는 책이었다(5점은 권장, 8점은 추천을 의미).
마지막으로, Trial&Error나 Divide, Select, Sequence, Stake 등 기존 지식을 실험과 연관 지어보며 읽는 맛이 있었다. 경험적으로 알고 있던 지식을 실험이란 주제로 정리해 보면서, 마지막에는 정보를 습득하여 계획을 세운 뒤 행동하면 된다는 내용을 담은 링크드인 강의 Strategic Thinking과도 연결할 수 있었다.
그래서 하고 싶은 말을 정리하면, 이제까지처럼 실험이라는 정보를 습득하고 계획을 세우고 행동하는 과정을 반복(Trial&Error)하며, 앞으로도 매 순간을 충실히 살자.
- 감상 1. 삶을 실험으로
[본]: 실험의 5가지 장벽, 4가지 용도, 테크/공공 분야 사례의 6가지 요점, 5가지 교훈, 4가지 유용성.
(장벽)
1: 충분하지 않은 실험 참가자
2: 무작위 추출의 어려움
3: 실험 효과를 측정하기 위한 데이터 필요성(검사, 분석, 수집, 실험, 기준 등)
4: 예측하지 못하는 의사 결정자에 대한 저평가(환경, 프레이밍)
5: 결과 예측에 대한 지나친 자신감(직관)
(용도)
1: 가정과 메커니즘의 검증
2: 타협점의 파악
3: 정책의 평가
4: 사실 확인
(사례)
1: 데이터로 직관을 보완하여 재정적 이익
2: 4가지 핵심적인 용도(가정과 메커니즘의 검증, 규모와 타협점의 파악, 특정한 정책과 상품의 평가, 무가정 상황에서의 사실 확인)
3: 일련의 실험을 통한 기준틀 개발의 중요성
4: 장단기적 영향 같은 지향 결과를 명확히 하고, 달성 결과와 목표 결과를 접목하는 방법을 생각해야 이익 획득
5: 실험의 해석과 정확성의 어려움(파급 효과), 따라서 신중한 실험 설계 필요
6: 투명성 증가 통한 기업과 고객 간의 의사소통 향상
(교훈)
1. 지금은 실험 혁명이 시작된 초기에 불과하다(1. 빅 데이터 2. 실험 비용 감소 3. 직관을 증거로 보완)
2. 지금까지는 많은 실험이 좋았다
3. 실험을 통해 조직은 더 효율적인 조직으로 성장할 수 있지만, 고객이나 조직원에게는 부정적인 영향도 미칠 수 있다(가치중립성)
4. 실험은 테크 분야 너머에서도 중요하다
5. 아직도 해야 할 일이 많다
(유용성)
1. 실험은 기존의 상품이나 정책을 객관적으로 평가하는 데 도움을 줄 수 있다
2. 실험은 이론이나 가설을 테스트할 수 있다
3. 실험은 기준틀을 개발하거나 개선하는 걸 도울 수 있다
4. 실험은 가설이 아직 존재하지 않은 영역에서 사실 확인을 위해 사용될 수 있다
[깨]: [본]의 내용들은 각각 Introduction(장벽), Idea(용도), Method&Result(사례들), Discussion(교훈), Conclusion(유용성)과 대응되어 논문을 읽는 듯한 느낌으로 실험이란 개념을 배울 수 있었다.
[적]: 회사 업무나 가족과 친구들과의 대화와 같은 일상에서 실험을 적용해서 직관을 증거로 보완하자. 다시 말해, 믿음을 논리로 대체하자.
- 감상 2. 영리적인 관점에서의 투명성 제고
저자들은 기업들이 실험 결과를 투명하게 공개하여 신뢰를 높일 수 있다고 주장한다. 그러나, 영리를 추구하는 기업들이 저런 논리를 매력적으로 느낄까? 차라리 오픈 소스 코드가 증가된 사례처럼 투명성을 바라보는 편이 더 가능성이 높아 보인다. 기업들이 자사의 프로그램의 코드를 공개해서 전반적인 SW산업의 발전을 도모한 것처럼, 실험 결과의 공개를 통해 해당 산업군 기업들의 실험 능력이 전반적으로 발전할 수 있다는 식으로 설득하는 편이 더 합리적이라고 생각한다.
- 각 장 별 핵심 요약
이번 책은 익숙하지 않은 주제에다가 내용이 많고 깊이도 있어서, 각 장 별로 세세하게 요약하여 학습 내용을 정리했다.
[]: 장 별 제목
-: 장 별 소제목
[서문]
목적 / 주의사항 / 유용성
1부: 실험의 역사 + 잠재성
2부: 테크 분야의 실험
3부: 비테크 분야의 조직
목표: 실험이 우리 주변 세계에서 어떤 역할을 하는지 정확히 알아보자
[감사의 글]
1장 실험실을 벗어나다
[실험의 힘]
- 잠깐만: 실험의 해부
- 다니엘서
임상 실험
- 열다섯 번의 세기가 지난 후
통계 검정법, 반복, 블록화, 무작위 추출, 선택 편향
[심리학과 경제학에서의 실험]
- 실험 심리학의 간략한 역사
자기 성찰자-관찰자, 행동주의 이론의 대두, 사회 심리학, 암묵적 태도 검사(IAT),
실험 주의사항: 스트레스, 피해의 가능성
- 실험 경제학과 행동 경제학 (로스와 스미스)
인과관계 분석, 통계학, 현장 실험, 실험 경제학의 발전과 한계(맥락, 의문, 변인, 가중치, 일반화 가능성 등)
- 경제학이 심리학을 만나다 (카너먼과 트버스키)
생각에 관한 생각(추단법), 기대 효용 이론과 전망 이론, 프레이밍
- 행동 경제학의 탄생 (세일러)
- 현장 실험
자연스러운 실험, 개발 경제학
[행동 실험과 정책 결정]
장기 기증 실험의 옵트 인, 옵트 아웃, 능동적 선택
- 넛지
선택 설계자, 이중 시스템 모델(직관/논리), 선택 설계
- 행동과학적 통찰 뒤에 함축된 의미
요점: 넛지, 설계 선택, 결과(의도, 상황과 다름)
- 실험과 넛지의 연결
실험을 통해 넛지로 경제적인 영향을 미친 사례들 및 요점 복습
- 넛지 유닛 (BIT 등)
두 혁신: 현실 세계에 행동과학적 통찰 접목, 정책 결정에 행동과학적 실험 도입
2장 테크 분야에서의 실험
[행동과학 통찰 팀부터 부킹 닷컴까지]
목적: 혁신에 대한 실리적인 관심, 결과를 얻기 위해 자료를 이용하겠다는 마음가짐
깨달음: 증거가 직관을 앞서고, 실험 실시가 쉬워지고 있음(실험 비용 감소)
-실험 과정에서 흔히 부딪치는 5가지 장벽
1: 충분하지 않은 실험 참가자
2: 무작위 추출의 어려움
3: 실험 효과를 측정하기 위한 데이터 필요성(검사, 분석, 수집, 실험, 기준 등)
4: 예측하지 못하는 의사 결정자에 대한 저평가(환경, 프레이밍)
5: 결과 예측에 대한 지나친 자신감(직관)
- 구글의 사례(5가지 장벽 극복)
- 부킹닷컴의 실험 기반
2가지 의미: 1. 실험 증거를 기초로 상품 결정, 2. 가설 검정, 실직적 유의성, 통계적 유의성 등 실험 방법의 기본 이해
- 실험에서 얻는 이익
비효율적인 프로그램 중단과 방지
[해시태그 #에어비앤비흑인차별]
- 업그레이드된 "뉴요커"의 만평
익명성(절대적-선택적)
-에어비앤비의 도덕적 자유재량권
인종 차별 사례로 보는 도덕적 자유재량권과 증거의 모호함
- 해시태그 #에어비앤비흑인차별
실험을 통한 인종차별 문제 발견과 변화 촉구
- 에어비앤비의 설계 변경(타협점)
- 한 번의 변화로 끝낼 것인가?
긍정: 실험을 통한 해결책 파악, 부정: 실험 결과와 타협점 감춤
- 실험의 가치
용도 1: 가정과 메커니즘의 검증
용도 2: 타협점의 파악
용도 3: 정책의 평가
용도 4: 사실 확인
[이베이의 광고비, 5,000만 달러]
광고 플랫폼으로서의 구글
- 상관관계가 오해를 야기하는 이유: 이베이가 증거
목표: 선택 편향, 질문과 검증의 중요성
- 이베이의 광고 실험
이베이의 핵심어 광고는 낭비, 그러나 고객의 정보량에 따라 효과는 달라질 수 있음
-소기업의 옐프 광고
소기업들의 구글 광고는 효과(자영업, 높은 리뷰, 인지도, 고품격)
즉, 조직의 성격에 따라 효과가 다르므로, 다양한 실험에서 여러 기준틀을 개발해야 함
[알리바바의 초특가 할인]
목표: 사용자 참여와 유지의 측면에서 할인의 최대 효과 상황을 파악
쇼핑카드 물건을 초특가 할인함
결과, 요인의 결정 필요: 1. 구매 가능성, 2. 전체 구매량을 결과 설정
초특가 할인은 작은 청산에 불과하여 장기적으로 부정적임
- 데이터로부터 의사결정까지
실험의 한계: 질문의 불완전성(프로젝트의 가치보다 설계 방법을 확인했어야 함)
설계 시 고려했어야 할 요소들(노출 빈도, 할인율, 만족도)
긍정: 실험으로 직관을 데이터로 대체, 단점: 실험 기본 모형 부재(일련의 실험 필요)
올바른 질문의 중요성(기준틀, 실험의 활용방안, 다시 말해 경계적 조건과 메커니즘 파악)
[스텁허브의 비밀에 가려진 수수료]
스텁허브는 중고나라 같은 온라인 시장
목표: 시장 설계 시 필요한 결정들과 그 결정에서 실험의 역할, 장기적 관점의 중요성 학습
- 수수료를 언제 공개해야 하는가?
선지급/후지급 전략 선택에 관한 실험과 설계 시 고려가 필요한 사항들(데이터, 결과, 기준, 논리, 질문 등)
- 결과들
의문들을 실험 계획 시 미리 정리
후지급이 선지급 수수료보다 단기적으로 금전적 이득, 장기적으로는 약간 손해
- 데이터로부터 의사결정까지
장기적 결과의 중요성, 판단 시 고려 사항(실험의 강점과 한계, 설계, 가용 데이터, 타협점, Local minimum의 위험)
후지급 전략을 미리 공지하는 등의 추가 실험의 필요성
다양한 변수와 이익에 다한 가중치 설정은 기업의 몫
[시장 전체를 대상으로 한 우버의 실험]
목표: 타협점 찾기(최적 방법), 단, 맥락이 모두 다른 상황
- 우버는 어떻게 실험하는가: 우버 익스프레스 풀의 경우
문제: 파급 효과에 의한 실험 결과 왜곡 가능성
해결법: 도시 별로 시장을 구분, 가중치 결합한 가상의 대조군 생성, 저비용으로 대이터 수집 후 일련의 실험 수행
시장 전체 대상으로 한 실험의 단점(운영 복잡, 횟수 제약)과 장점(개별 시장 변화 파악)
[페이스북 블루스]
목표: 뉴스 피드 알고리즘 선택(노출 시간 등의 요인, 평판이나 손익 등 결과)
- 데비 다우너 효과
부정/긍정 게시물의 효과는 미미함
- 미친 것이지 슬픈 것이 아니다
피험자의 동의를 간과한 실험에 대한 비판, 투명성 대신 감추는 기조
- 더 맑은 투명성을 향하여
적은 투명성으로 인해 논란 발생한 것으로 저자는 판단. 따라서 더 투명한 실험 과정 및 결과 공개를 촉구. 사용자도 실험 받아들이기
(그러나, 개인적으로는 너무 이상적인 주장으로 들리기에, 저자들이 말하는 투명성과 윤리성이 자본주의와 양립될 수 있을지는 모르겠다)
- 테크 기업의 실험에서 얻는 교훈들
1: 데이터로 직관을 보완하여 재정적 이익
2: 4가지 핵심적인 용도(가정과 메커니즘의 검증, 규모와 타협점의 파악, 특정한 정책과 상품의 평가, 무가정 상황에서의 사실 확인)
3: 일련의 실험을 통한 기준틀 개발의 중요성
4: 장단기적 영향 같은 지향 결과를 명확히 하고, 달성 결과와 목표 결과를 접목하는 방법을 생각해야 이익 획득
5: 실험의 해석과 정확성의 어려움(파급 효과), 따라서 신중한 실험 설계 필요
6: 투명성 증가 통한 기업과 고객 간의 의사소통 향상
3장 공공선을 위한 실험
[공공선을 위한 행동과학적 실험]
문제 : 1. 조직 가치 입증, 2. 통찰 적용법 무지, 3. 논문 속 해답 부족
목표: 실험 통해 결과 개선 방향으로 통찰 적용의 증거 찾아 이해 당사자들에게 입증
예시: 투표율 제고(대면 유세), 민주당 지지율 향상(실행 의도) => 실험을 도구화 및 방법 개선했으나 초당적 투표율 높이는 등 대안적 목표 한계
[건강하고 부유하고 현명하게]
-현명하게(교육)
문제 1: 대학 등록률 제고, 출석률 제고
행동: 선제적 상담, 통신문과 옵트 아웃 방식
결과: 실험을 통한 문제점 표면화 및 효과성 등 파악. 즉, 유용성(기준틀 조정 등)
문제 2: 학습 능력 향상
행동: 그릿 + 성장 마인드셋 + 의도적인 연습
결과: 그릿 향상
-부유하게(저축)
문제: 현재 편향, 독려 부족
행동: 퇴직 연금 제도 가입을 기본값
결과: 가입률 제고(기준틀 유효성 파악)
-건강하게
문제: 현재 편향
행동: 인지 편향, 손실 회피, 유혹 함께 묶기
전반적인 교훈: 결과 추적 시 충분한 시간 및 신중하게 생각
[좋은 계획을 위한 행동 변화]
목표: 건강, 교육, 저축 영역에서 항구적인(1년 이상) 행동 변화
-케이티와 앤절라
학문적 연구 실험(BCFG)
"행동과 행동 변화를 연구하는 학문을 생각해 낼 수 있다면, (중략) 우리가 반도체와 다를 바가 없을 듯하다."
(=> 심리학과 교수의 말, 자신의 가능성을 문과라는 한계로 규정하는 사람들에게 그들도 이과적 사고방식이 가능하다는 예시로 들려주고 싶다.)
- 야심 찬 목표
과정 목표: 1. 아이디어 개발 2. 학자 모집 3. 조직 설립
평가 목표: (건강) 흡연율, 약, 운동, 식단 등 (교육) 출석률과 숙제, 사고율 (저축) 지출 감소, 저축 증가
- 꿈에서 현실로
건강, 교육, 저축 분야의 공공 기관이나 민간 조직과의 협력
- 건강 개선을 위한 넛지 (전반적인 과정 설명)
- BCFG 발족 (이메일과 문자 전송 셋업 플랫폼)
교훈: 1. 새로운 기준틀의 개발 혹은 개선 2. 목표에 따른 실험 설계 변화
[실험 윤리]
- 공공선과 무관한 실험(기업 이익과 소비자의 손해 문제를 파악 및 해결)
- 실험 혐오(실험은 아이디어의 테스트)
- 실험의 도덕적 의무(무지 인정 및 최선 선택, 학습 및 적응하는 조직)
결론: 실험 회피는 조직 자원 낭비, 학습 기회 놓침, 증거 무시하는 등의 문제점 함의
*****[실험과 관련해 반드시 기억해야 할 교훈들]*****
무작위 배정도 일종의 실험. 즉, 어디에서나 우연한 실험이 이뤄지고 있다. 따라서, 우연한 실험을 계획적인 실험으로 대체하자.
- 실험도 리더십 도구의 일부(교훈)
1. 지금은 실험 혁명이 시작된 초기에 불과하다(1. 빅 데이터 2. 실험 비용 감소 3. 직관을 증거로 보완)
2. 지금까지는 많은 실험이 좋았다
3. 실험을 통해 조직은 더 효율적인 조직으로 성장할 수 있지만, 고객이나 조직원에게는 부정적인 영향도 미칠 수 있다(가치중립성)
4. 실험은 테크 분야 너머에서도 중요하다
5. 아직도 해야 할 일이 많다
- 조직의 의사결정과 실험의 유용성
1. 실험은 기존의 상품이나 정책을 객관적으로 평가하는 데 도움을 줄 수 있다
2. 실험은 이론이나 가설을 테스트할 수 있다
3. 실험은 기준틀을 개발하거나 개선하는 걸 도울 수 있다
4. 실험은 가설이 아직 존재하지 않은 영역에서 사실 확인을 위해 사용될 수 있다
- 많은 정보를 지닌 사람은 실험을 반대해야 하는가?(투명성)
경험적으로 알고 있던 실험이란 개념을 체계적으로 정리할 수 있어 유익했던 실험의 힘 서평을 마무리한다.
책을 출판해 주시고 독서모임을 운영해 주시는 모든 분께 다시 한번 감사를 전한다.
[이글루스 서비스 종료로 브런치스토리로 이전]
[2021/03/07 원문 작성]
