행정계량분석이란 무엇인가?
계량분석 정리하기
0. 들어가기
논문이란 무엇일까? 한마디로 하면 '증명'이다. 그렇다면 무엇을 증명하는 것인가? '가설'을 증명하는 것이다. 그렇다면 가설은 무엇을 드러내는가? 정책현상과 사회현상의 원인과 결과의 연결성을 말한다. 그렇다면 가설이 검증된다는 것은 무엇인가? '귀무가설'을 소거하는 것이다. 귀무가설이란 무엇인가? 효과가 없는 가설을 없애는 것이다. 따라서 자신이 생각하는 원인과 결과의 관계를 효과가 있는 가설을 살리는 것이다. 귀무가설을 기각하는 것은 연구가설을 증명하는 것이다. 철학자들은 언어로 증명하는데 사회과학 연구자는 연구가설을 증명하는 것이다. 그럴려면 귀무가설을 기각해야 한다. 어떤 학교라도 이러한 원리를 쉽게 깨닫게 하고 사용하고, 활용할 수 있도록 만드는 것이 학생들의 역량의 핵심이다.
목표는 가설검증이다
제목과 데이터, 방법론을 정해서 프로포절을 내고 그에 따라서 논문을 작성해야 한다. 또한 이번에는 아마도 구조방정식모형을 기반으로 한 논문을 보고 수업시간에 발표할 예정이다. 이번에는 제대로 해보자. 오늘부터 수업시작이다. 왜 여기가 행정계량우로 유명한지를 알게된 시간이었다. 그럼 오늘은 사작이니 슬슬 몸을 풀어보자.
교수님의 적극추천1. 계량분석이란 무엇인가?
논문에서는 양적연구와 질적연구 그리고 혼합연구가 있다. 양적연구는 다른 말로 하면 계량분석이라고 할 수 있다. 계량분석은 수치를 기반으로 변수간의 관계를 규정하는 것이다. 이 관계가 수학적이고 통계적이고 알로리즘적으로 만들어지는 것이 양적연구의 핵심이다. 이를 통해서 미래에 대한 예측력을 높이는 것이 핵심이다. 특히 행정에서는 정책결정에 사용하는 것이 목적이다. 양적연구는 보통 양의 관계(+)를 증명하는 것이 핵심이다. 계량경제학과 같은 거시적인 모델링까지 가능한 이유는 현상은 언제나 '인과성'의 범위가 작은 단위에서도 그렇고 큰 범위에서도 수렴하기 때문이다. 논문의 핵심은 이렇게 작은 숫자들의 패턴이 거시적인 차원에서도, 미래의 어떤 시점에서도 등장하게 된다는 것이다.
그렇다면 계량분석을 처음 사용한 사람은 누구일까? 그것은 노르웨이의 경제학자 라그나르 프리슈가 1926년 프랑수아 디비지아와의 서신교환 과정에서 드러났다. 서신을 교환하는 과정에서 경제학이나 수학 그리고 통계학을 동원하여 자신의 이론을 증명하는 것에서 시작한다. 이를 'econometrics'라고 할 수 있다.물론 영국의 경제학자 프랜시그 에지워스 역시 1881년에 자신의 저서 'Mathematical Psychics'에서 경제데이터를 분석하여 경제법칙을 찾아냈다. 여기서 바로 무차별곡선이라는 개념이 등장하게 된다. 개인마다 무차별곡선이 존재한다는 것을 수로 증명했다. 또한 어빙 피셔는 1912년에 '지수'라고 하는 개념을 'index numbers'에서 다루었다. 이후 1926년 비로소 '계량분석'이라는 개념이 정리되었다고 볼 수 있다.
계량분석의 목적
경제이론의 실증점 검증 : 추상적인 경제 모델이나 가설이 실제 데이터와 부합하는지 수학적으로 확인하는 과정이다.
변수 간 인과 관계의 규명 : 단순한 상관관계(Correlation)와 엄밀한 인과관계(Causation)를 구분하는 것은 계량분석의 가장 고차원적인 목표다.
경제현상의 예측 : 과거의 패턴을 바탕으로 미래의 경제 지표나 시장의 움직임을 추정한다.
정책 효과 분석과 평가 : 특정 정책이 시행되었을 때 그 정책이 의도한 성과를 거두었는지 수치로 산출한다.
여기서 정책분석이란 정책이 실행되기 이전에 예측되는 시뮬레이션의 성과를 통해서 정책대안을 비교해보는 것이다. 이에 반해서 정책평가는 정책이 진행된 이후에 '환류'의 관점에서 진행되는 것이다. 정책평가는 이중차수분석 방법이 주로 쓰인다. 이에 반해 정책분석은 투입대비 성과를 분석하는데 있어서 DEA 방법을 사용한다. 정책이 집행되기 전에 효율성이 높은 것을 분석하기 위해서 자료혼합분석 방법론을 사용한다. 이는 성과를 사용한다기 보다는 효율성을 본다. 경쟁적인 정책 대안 중에서 어떤 것이 효율적인지를 보는 것이 정책대안 분석이다. 이렇게 보면 정책과정에서 친화적인 방법론이 다르다고 할 수 있다. 계량분석은 정책과정 모든 과정에서 사용될 수 있고 사용된다. 이는 위에서 살펴본 것처럼
이번학기 에이모스와 구조방정식을 배운다2. 계량분석의 방법론적 체계
실증적 경제분석은 체계적 단계를 따르는데, 제프리 울드리지의 'Introductory Econometics: A Modern Approach'에서 드러난다. 분석을 할 때 처음해야 하는 것은 경제이론에 기반한 모형의설정specification이다. 연구자는 경제이론과 상식을 중심으로 변수들 간의 가설을 설정한다. 다음으로는 방법론이다. 방법론을 사용하기 우해서는 데이터 수집과 정리가 필요하고 보통는 데이터의 유형이 4가지 정도로 정리된다. 시계열분석에서 중요한 것은 '자기상관성'을 제거하는 것이다. 이것은 계량적으로 중요하고 어렵다. 국정전문대학원에서는 횡단면자료와 패널자료를 사용한다. 시계열 자료는 변수가 한 개인데 반해 횡단면 자료와 패널자료는 변수가 여러개이고 또한 여러번 측정하게 된다. 합동횡단면 자료는 여러시점에 걸친 호이단면 무작위자료라고 할 수 있다.
데이터의 유형
횡단면 자료 (cross-sectional data) : 일정 시점에서 복수의 개체에 대해 수집된 자료(예를 들면 2025 년 전국 17개 시도 GRDP 조사자료)
시계열 자료 (time-series data) :하나의 개체를 시간에 걸쳐 수집한 자료(예를 들면 연도별 GDP, 주가지수)
패널 자료 (panel data) : 동일한 횡단면 단위를 시간에 걸쳐 반복 관측한 자료 (예를 들면, 특정 가구를 매년 추적 조사한 교육비 지출 자료)
합동횡단면 자료 (pooled cross-section) : 서로 다른 시점의 횡단면 자료를 결합한 자료(2010 년과 2020 년 인구주택총조사 자료의 결합)
세번째 단계는 모형의 추정이다. 수집된 데이터를 가지고 계량경제학적 방법을 적용하여 모형의 모수를 추정한다. 그러면 다음으로 가설검정을 할 수 있고 이를 통해서 이론적 예측이 가능하도록 한다. 마지막으로 미래에 대한 예측이나 정책적 함의를 찾아내는 것이 계령경제학의 방법론적 체계라고 할 수 있다. 여기서 한가지. 내생성이란 무엇일까? 그것은 내부의 변수들 끼리 서로 연관성을 갖는 것을 말한다. 가구소득에는 어머니와 아버지의 소득이 동시에 들어가는데, 어머니의 소득만 연구하게 되면 내생성이 드러나게 된다. 따라서 변수설정에 있어서 제대로 변수설정이 안되었다고 할 수 있는 것이다. 기억해야할 것은 이중차분법은 정책평가의 핵심이라고 할 수 있다.
분석방법
다변량 회귀분석(Multiple Regression Analysis): 복수의 독립 변수가 종속 변수에 미치는 영향을 동시에 분석
패널 데이터 분석(Panel Data Analysis): 고정효과 모형(FE)과 확률효과 모형(RE)을 통해 관측되지 않는 이질성(unobserved heterogeneity)을 통제
시계열 분석(Time-Series Analysis): ARIMA, VAR, VECM 등의 모형을 활용한 시간적 변동 분석
도구변수법(Instrumental Variables, IV) 및 2 단계 최소제곱법(2SLS): 내생성 문제를 해결하여 인과관계를 보다 엄밀하게 규명 이중차분법(Difference-in-Differences, DID): 정책 시행 전후의 처리집단과 통제집단을 비교하여 정책 효과를 추정
제한종속변수 모형(Limited Dependent Variable Models): 프로빗(Probit), 로짓(Logit), 토빗(Tobit) 모형 등 이산형·절단형 종속 변수를 다루는 방법
다변량 회귀분석: 관계의 정교화
단순히 선을 긋는 것이 아니라, 여러 변수가 얽힌 복잡한 현실을 선형 모델로 추상화하는 과정이다.
잔차 분석(Residual Analysis): 모델이 예측한 값과 실제값의 차이(잔차)가 특정 패턴을 보이지 않아야 한다. 만약 잔차가 깔때기 모양으로 퍼진다면 이분산성(Heteroscedasticity) 문제가 발생한 것이며, 이를 교정하기 위해 강건한 표준오차(Robust Standard Error)를 사용해야 한다.
더미 변수(Dummy Variable) 활용: 성별, 지역, 학력 등 범주형 데이터를 0과 1의 숫자로 치환하여 회귀식에 포함한다. 이를 통해 질적 변수가 결과값에 주는 가중치를 수치화한다.
패널 데이터 분석: 시간과 개체의 통합
동일한 대상을 반복 측정하기 때문에 일반 회귀분석보다 훨씬 강력한 통계적 검정력을 갖는다.
고정효과(Fixed Effects, FE)의 심화: 개별 개체의 '관측되지 않는 고유 특성'을 상쇄한다. 예를 들어, 기업의 성과를 분석할 때 CEO의 리더십 스타일이나 기업 문화처럼 측정하기 어려운 요소를 통제한 채 순수하게 'R&D 투자'의 효과만을 발라낼 수 있다.
시간 고정효과: 특정 연도에 발생한 공통적인 충격(예: 금융위기, 팬데믹)이 모든 개체에 미치는 영향을 통제하여 분석의 객관성을 높인다.
시계열 분석: 흐름과 균형의 파악
데이터 간의 시간적 선후 관계를 이용하여 인과성의 방향을 탐색한다.
그랜저 인과성 검정(Granger Causality Test): X의 과거 값이 Y의 미래 값을 예측하는 데 도움이 되는지 확인한다. 이는 단순한 상관관계를 넘어 정보의 흐름을 파악하는 도구다.
공적분(Cointegration)과 VECM: 두 시계열이 각각 비정상(Non-stationary)이더라도, 장기적으로는 함께 움직이는 관계가 있을 수 있다. VECM은 이러한 장기적 균형으로 돌아가려는 '오차 수정 메커니즘'을 분석한다.
내생성 극복: 엄밀한 인과관계 추론
통계학에서 가장 까다로운 '내생성(Endogeneity)' 문제를 해결하기 위한 고도의 기법들이다.
내생성의 원인: 변수 간 역인과관계(결과가 원인에 영향을 줌), 누락 변수(중요한 변수가 빠짐), 측정 오차 등이 있다.
도구변수(IV)의 식별: 좋은 도구변수는 찾기가 매우 어렵다. 예를 들어, 교육의 임금 효과를 분석할 때 '거주지와 학교 간의 거리'를 도구변수로 쓰기도 한다. 거리는 교육 수준에는 영향을 주지만, 개인의 선천적 능력과는 무관하다는 논리다.
이중차분법(DID)의 확장: 최근에는 여러 시점에 걸쳐 정책이 시행되는 경우를 분석하는 'Generalized DID'나, 성향점수 매칭(PSM)과 결합하여 실험군과 대조군의 동질성을 높이는 방식이 자주 쓰인다.
제한종속변수 모형: 비선형적 현실의 반영
연속적이지 않은 데이터의 특성을 수용하기 위한 모델링이다.
로짓/프로빗의 해석: 선형 회귀와 달리 계수값을 그대로 해석하기 어렵다. 따라서 한계 효과(Marginal Effect)나 오즈 비(Odds Ratio)를 계산하여, 독립 변수가 1단위 증가할 때 결과가 발생할 확률이 몇 퍼센트 포인트 변화하는지 도출한다.
카운트 데이터 모델(Poisson/Negative Binomial): 사고 발생 건수, 특허 출원 수 등 0 이상의 정수로만 이루어진 데이터를 분석할 때 사용한다. 일반 회귀분석을 적용하면 0 근처에서 예측값이 왜곡될 수 있기 때문이다.
3. 인공지능시대의 새로운 분석방법_빅데이터와 AI
인공지능이 발전하면서 데이터의 양과 질이 완전히 달라졌다. 더욱이 머신러닝의 탄생은 인간이 애초에 처리할 수 없는 데이터들을 종합하여 인과적 추론이 가능하게 만들었다. 기존의 계량경제학이 인과추론과 변수 간의 관계에 해석을 두었다면, 머신러닝은 예측의 정확도화 함께 고차원 데이터의 패턴을 찾을 수 있는 강점이 있다. 머신러닝의 발전은 지도학습과 비지도학습 그리고 행렬 완성법이 스탠퍼드 대학의 수전 에이시와 귀도 임벤스에 의해서 정리되면서 가속화되었다. 특히 이들은 머신러닝과 계량경제학의 교차지점에서 등장하는 인과추론과 평균처리효과 그리고 최적 정책 추청, 반사실적 효과추정등을 다루었다. 기존에는 불가능했던 이중/비편향 머신러닝의 방법론까지 등장했다. 빅토르 체르노주코프는 이중머신러닝이라는 DML을 개발한 것이다.
고빈도·고세분화 데이터의 활용 (High-Frequency & Granular Data)
기존의 계량분석이 분기별, 연도별 거시 지표에 의존했다면, 이제는 초 단위의 거래 데이터와 개별 소비자 단위의 미시 데이터를 분석한다.
나우캐스팅(Nowcasting): 공식 통계 발표 전, 신용카드 결제 내역이나 유동 인구 데이터를 통해 현재의 경제 상황을 실시간으로 추정한다.
노동시장 정밀 예측: 채용 사이트의 실시간 공고 데이터와 구직 활동 로그를 분석하여, 특정 산업군이나 지역별 고용 위기 징후를 조기에 포착한다.
비정형 데이터의 분석 (Unstructured Data Analysis)
수치화되지 않은 텍스트, 이미지, 음성 데이터를 계량 모델의 독립 변수로 전환하여 분석의 외연을 확장한다.
텍스트 마이닝과 NLP: 중앙은행의 의사록, 뉴스 기사, SNS 게시글을 자연어 처리 기술로 분석하여 경제 주체들의 심리 지표(Sentiment Index)를 산출한다.
경제 지수화: "불확실성 지수" 등을 생성하여 전통적인 회귀 모형에 투입함으로써, 심리적 요인이 실제 소비나 투자에 미치는 영향을 수치화한다.
실시간 경제 대시보드 (Real-time Economic Monitoring)
데이터 피드의 실시간 연결은 정책 결정의 시차를 획기적으로 단축하는 결과를 낳았다.
오픈 뱅킹과 API: 금융 데이터의 실시간 흐름을 통해 가계의 부채 수준이나 지출 패턴의 변화를 즉각적으로 모니터링한다.
동태적 정책 대응: 경제 건전성 지표가 특정 임계치를 넘을 때 자동적으로 경보를 울리는 대시보드를 구축하여, 사후 약방문식 처방이 아닌 선제적 대응 체계를 마련한다.
행동 계량분석 (Behavioural Econometrics)
인간이 항상 합리적이라는 고전적 가정을 탈피하여, 실제 데이터를 통해 드러나는 인간의 심리적 편향을 모델에 반영한다.
실제 행태 분석: 실험실 통제가 아닌 실제 소비·저축·투자 로그 데이터를 분석하여 '현구속적 편향'이나 '손실 회피' 성향이 경제적 선택에 미치는 영향을 규명한다.
넛지(Nudge) 설계: 분석 결과를 바탕으로 개인의 저축률을 높이거나 건강한 소비를 유도하는 맞춤형 상품 및 정책 가이드를 설계한다.
이제 엔트로픽의 클로드모델이 전문화되면서 R이나 파이썬은 공대에서도 배우지 않는 시대가 왔다. 이전에는 스파르타코딩이나 다양한 코드를 배워서 프로그래밍을 하려고 하는 사람들이 많았으나 현장에서는 고도의 전문성이 필요했고, 결국은 AI로 대체되었다. 시대가 이렇게 바뀌고 있다. 결국 우리는 이제 자신의 도메인에 대한 전문성을 넘어서 인사이트를 가지고 있어야 한다. 언어와 통계방법에 대해서는 어떤 시점에 어떤 것을 사용하는지를 확인하면 된다. 시대가 더 좋아졌다고 보면 좋겠다. 그러니깐 진짜로 해결하려고 하는 문제를 진짜로 해결하면 되는 시대가 온 것이다. AI의 발전이 앞으로 어떻게 더 나갈지는 모르겠지만, 방법론 때문에 연구를 못하는 시대는 지나갔다고 볼 수 있다.
클로드로 인해서 통계세상이 쉬워졌다4. 행정계량분석이란 무엇인가?
행정계량분석은 위에서 살펴본 계량분석을 행정현상에 적용하는 것이다. 행정현상과 정책문제를 정량적 방법론을 통해서 분석하는 것이다. 행정학과 정책학 그리고 통계학이 학제적으로 연결되면서 행정계량분석이 진행된다. 행정계량분석이란 행정가가 당면한 행정문제들을 해결하고 이들을 효과적으로 집행하며 적절한 의사결정을 이루어내는 것이 목표이다. 행정학에서는 특히 행태론적 접근방법이 유행하면서 논리실증주의의 관점에서 가설정립과 객관적 자료수집, 경험적인 증명과 입증, 집단의 동태적인 상호작용상의 인간행태의 규칙성과 같은 연구들이 등장했다. 과학적 관리기법에 맞는 계량분석방법론이 되는 것이다. 요즘에는 특히 다음과 같은 분석 방법들이 유효한 방법론들이다.
무작위통제시험 (RCT): 실험 설계의 정수
RCT는 '선택 편의(Selection Bias)'를 완전히 배제하기 위해 고안된 가장 강력한 도구다.
통계적 메커니즘: 무작위 배정을 통해 관측 가능한 변수(X)뿐만 아니라, 연구자가 알 수 없는 관측 불가능한 변수(개인의 의지, 유전적 특성 등)까지도 두 집단 사이에 균등하게 배분한다.
실행의 난점: 실제 정책 현장에서는 윤리적 문제(누구는 주고 누구는 안 주는 상황)와 높은 비용, 그리고 실험 대상이 자신이 실험군임을 알고 행동을 바꾸는 호손 효과(Hawthorne Effect)를 통제하는 것이 매우 어렵다.
균형 검정(Balance Test): 실험 시작 전 두 집단의 평균적인 특성이 통계적으로 차이가 없는지 검증하여 무작위 배정의 유효성을 입증해야 한다.
이중차분법 (DID): 자연 실험의 활용
정책이 특정 시점에 특정 집단에만 시행된 '자연 실험' 상황을 이용하는 기법이다.
고급 분석 기법 (Triple Difference): 두 집단 간의 차이를 넘어, 제3의 비교 집단을 추가하여 시간에 따른 지역적 특성 변화까지 통제하는 '삼중차분법(DDD)'으로 확장하기도 한다.
강건성 검정 (Placebo Test): 정책이 시행되지 않은 과거 시점에 가상의 정책 시점을 설정하여 분석했을 때, 효과가 '0'으로 나와야만 실제 분석 결과가 유효하다고 판단한다.
사건 연구 (Event Study): 정책 시행 전후 여러 시점의 데이터를 분석하여, 정책 효과가 즉각적으로 나타났는지 아니면 점진적으로 나타났는지 그 동태적 흐름을 파악한다.
회귀불연속설계 (RDD): 경계선의 과학
인위적인 배정 기준을 인과 추론의 기회로 활용하는 매우 정교한 기법이다.
Sharp RDD vs Fuzzy RDD: Sharp RDD는 기준 점수를 넘으면 100% 정책 대상이 되는 경우다.Fuzzy RDD는 기준을 넘어도 일부만 혜택을 받거나, 기준 미달자 중 일부가 예외적으로 혜택을 받는 경우다. 이때는 '도구변수법'을 결합하여 분석한다.
밀도 검정 (McCrary Test): 분석 대상자들이 혜택을 받기 위해 인위적으로 점수를 조작(예: 소득을 낮게 신고)하여 경계선 근처로 몰리지 않았는지 확인하는 과정이 필수적이다.
성향점수매칭 (PSM): 통계적 쌍둥이 찾기
실험 설계가 불가능한 사후 데이터에서 최선의 대조군을 구성하는 방법이다.
매칭 알고리즘: 가장 가까운 점수를 가진 1명을 매칭하는 '최근접 이웃 매칭(Nearest Neighbor)', 특정 반경 안의 모든 대상을 매칭하는 '반경 매칭(Radius)' 등 다양한 알고리즘이 존재한다.
공통 지지 영역 (Common Support): 실험군과 대조군의 성향 점수 분포가 겹치는 영역에서만 비교가 가능하다. 점수가 너무 극단적이어서 비교 대상이 없는 표본은 분석에서 제외해야 한다.
한계 극복 (PSM-DID): PSM으로 집단의 동질성을 확보한 뒤 DID를 적용함으로써, 관측되지 않는 시간적 불변 특성까지 동시에 통제하는 하이브리드 방식이 권장된다.
이중차분법의 구조화5. 행정계량분석의 방법론적 과제
정책평가에서 내적 타당도는 추정된 효과가 진정으로 인과적인지를 묻는다. 반대로 외적 타당도는 그결과를 다른 맥락이나 모집단에서 일반화할 수 있는지를 묻는다. 쉽게 말하면 변수들의 그룹이 내부에서만 이루어졌는지 아니면 외부에서 보더라도 합리적인 변수인지를 보는 것이다. 내적 타당성은 연구설계를 할 때 변수들 간의 연결성이 올바른가이다. 다시 말하면 독립변수가 종속변수에 영향을 주었는가? 외생변수나 매개변수가 발생해서 그렇게 된 것은 아닌가?등등의 보는 것이다. 정책영역으로 들어가보자. 이 연구설계를 통해서 우리가 확인하려고 하는 정책의 효과를 파악할 수 있는가?와 같은 질문을 할 수 있다. 이러한 내적타당성을 낮추는 요인들은 다음과 같다.
역사효과 historicism
사전사후비교법을 써 보면 t1시점에서 사전결과값이 정책이 집행된 t0시점 이후 t2시점에서 효과를 발생했는가를 살펴보는 것이다.
보통은 이런 부분을 역사속에서 분석할 때 주로 쓰인다. 역사효과라는 것이 있는데 일정한 '역사적 사건'이 다시 발생하지 않기 때문에 비교대상이 없는 것이 '내적타당성'을 분석하는데 힘들어지기도 한다.
성숙효과 maturitism
성숙효과maturitism가 있다. 시간이 지나면서 자연적으로 변화되어서 타당성을 분석할 수 없는 때이다. 의약품의 경우 자연적으로 낫는 것인지 아니면 감기약을 먹어서 나은 것인지 알수 없다. 군대다녀온 남자들이 철이 들었다고 할때 그것이 군대때문인지 나이를 먹어서인지 인과관계를 알 수 없다.
시간이 지나면서 자연스럽게 변화가 일어나는 것은 성숙효과 때문에 내적타당성을 확인하기 어렵다. 이것을 구분하기 힘들기 때문에 성숙효과가 있는 연구는 내적타당성이 낮을 수 밖에 없다. 내적타당성 설계는 성숙효과, 역사효과 등등의 변수로 인해서 내적타당성이 낮아질 수 있고, 이것은 정책을 보면 더욱 뚜렸하다.
테스트효과 testing / 검사효과
보통은 효과를 체크하기 위해서 테스트를 진행한다. 그런 문제는 테스트의 낮이도가 일정한가이다. 또한 테스트를 통해서 의지와 노력이 함께 포함되어 버린다.
테스트를 한다는 것 때문에 효과가 달라지는 것이다. 그래서 보통은 '실험'을 인지하지 못하도록, '테스트'를 인지하지 못하도록 만드는 것이 중요하다.
도구효과 instrumentation / 측정수단 효과
도구효과는 측정하는 사람이나 도구를 바꿀 때 다른 결과가 나오는 것을 말한다. 보통 체중을 집에서 재면 어느정도가 나오는데, 다른 곳에서 재면 몸무게가 느는 것이다.
도구가 다르니깐 내적타당성이 달라지는 것이다. 또한 측정하는 사람의 스킬이나 태도, 능력에 따라서 결과가 달라질 수도 있는 것이다.
인공회귀 regression artifact / 회귀효과
어떤 변화 속에서 특이한 점(아웃라이어)가 발생했는데 어느 변수가 회귀하게 만들었는지 알 수 없는 것을 말한다.
성적이 좋던 학생이 갑짜기 성적이 안 좋아져서 과외를 했는데 성적이 올랐다면 이것은 과외 때문인가? 아니면 학생이 실수한 것을 만회한 것인가? 보통 시정을 운영할 때 어떤 문제가 생기면 여론이 좋지 않게 되는데, 이 때 문제해결을 하려고 공무원들이 활동을
선발효과 selection bias / 선택편의 효과
비교군과 실험군이 원래부터 다른 집단이었을 가능성이 높다. 좋은 효과가 나타나는 것은 결국 좋은 효과를 나타낼 수 있는 사람들을 선발했기 때문이다.
그러니 선발하는 데서 부터 효과가 이미 예상이 되는 것을 말한다. 또한 선택편의는 우리를 매우 오판하도록 이끌어갈 수 있는 문제가 발생하기 때문에 잘 염두해 두어야 한다.
실험대상 망실율 experimental mortality / 상실효과
처음 실험을 설계하고 진행할 때와 결과를 얻을 때 경험하는 실험 손실효과가 달라지는 것을 말한다. 처음에 300명을 실험군으로 진행했다가 나중에 결과를 측정할 때 30명이 손실되었다면 효과성을 측정하기가 힘들어 진다는 것이다. 따라서 이러한 자료의 왜곡에 대해서 분석할 때 어떤 일정한 이유가 있는지를 확인해보는 것이 매우 중요하다고 할 수 있다.
변호사 시험을 본다고 할 때 로스쿨에서 졸업시험을 변호사시험만큼 어렵게 낸다고 하면 졸업을 한 사람들은 대부분 변호사 시험을 통과할 가능성이 커지기 때문이다. 실험집단 망실에 가깝다.
내적타당성과 다르게 외적타당성은 일반화가 가능한가이다. 다시 말하면 연구의 결과가 다른 상황에서도 동일하게 나타나는가?의 문제이다. 따라서 적용대상과 시점, 상황의 확장에 대한 문제가 발생할 수 있다. 대부분의 실험은 외생변수를 통제하고 내적타당도를 높이기 위해서 설계되기 때문에 외적타당성을 높이기 위한 노력이 없다면 타당성이 동일한 집단이나 조건적으로만 가능하게 되는 것이다. 이러한 상황에 대해서 실험의 방법에 따라서 내적타당성과 외적타당성이 달라지고 실현가능성도 달라진다. 측정을 할 때도 그렇지만 설계를 할 때 실험을 어느정도 수준에서 정할 것인가가 그래서 중요한 것이다. 이러한 의도, 효과에 대한 예상, 측정방법, 대상의 변화 등등의 문제들을 고려해서 내적 타당성을 높일 수 있게 된다.
https://brunch.co.kr/@minnation/2410
0. 나오기
오늘 내용을 따라가느라 쉽지 않았다. 대학원에 다시 다니니깐 즐겁기는 한데 따라잡는 건 쉽지 않다. 그래도 제대로 수업을 만난 것 같아 기쁘다. 이번에는 기필코 양적연구의 한계를 뛰어넘고 양적연구와 질적연구를 모두할 수 있는 사람이 되고싶다. 아직도 갈 길이 멀지만 구조방정식과 이중차분법까지 배워서 박사논문 2개를 완성하고 말리라. 집에가는 길이 참 멀다 멀어. 그런데 한가지는 이제 통계 처리에서 방정식계산 이라던지 함수를 계산 하는 것들은 AI 의 등장으로 너무나 쉬워 졌다. 이건 나한테 매우 큰 기회다. 이번 기회를 살려서 아예 거시정책 부터 시작해서 국가운영 그리고 미래 정부 대해서 고민 할 수 있게 된다.
https://brunch.co.kr/@minnation/3388
주요 논문 흐름
- 논문분석방법론 : 요인분석 + 구조방정식
- 하고싶은 논문을 발표하고 위의 방법론에 맞는 방법론을 사용한다.