배경 및 인생 경험 평가
[요약] Handbook of Workplace Assessment_5장
이 장에서는 과거 행동이 미래 행동을 예측하는 중요한 지표임을 설명합니다. 일반적으로 사람들은 과거의 행동이 유사한 상황에서 반복될 가능성이 높다는 사실을 받아들이며, 이는 직장에서도 예외가 아닙니다. 바이오데이터(Biodata)는 개인의 과거 경험과 행동을 바탕으로 미래 행동을 예측하는 중요한 정보원입니다. 이 장의 목표는 바이오데이터 측정의 타당성과 유용성을 평가할 때 고려해야 할 질문들을 제시하고, 바이오데이터 개발과 평가에 대한 다양한 논의점을 다루는 것입니다.
1. Definition of Biodata (바이오데이터 정의)
바이오데이터는 개인의 과거 행동과 경험에 관한 정보로, 이를 통해 미래 행동을 예측할 수 있습니다. Bill Owens, Michael Mumford, Garnett Stokes 등 연구자들은 생애사를 분석해 개개인의 발달 패턴을 이해하려고 했습니다. 이들은 과거 행동이 미래 행동을 어떻게 설정하는지 분석하며, 경험적 데이터를 사용해 이론적 기반을 구축했습니다.
바이오데이터는 직무 성과, 교육 성과, 이직률 등 다양한 결과를 예측하는 데 활용됩니다. 이 측정 도구는 정보를 구조화해 점수를 매기며, 그 구조와 방식에 따라 크게 달라집니다. 예를 들어, 정량적 정보(특정 작업을 수행한 횟수)와 정성적 정보(피드백에 대한 반응)를 수집할 수 있으며, 일반적 행동과 최고 성과 행동을 구분하여 측정할 수 있습니다.
바이오데이터 측정은 다양한 방식으로 구분되며, 정보의 수집과 평가 방법에 따라 차별화됩니다:
정량적 정보와 정성적 정보 (예: 작업 횟수 vs 상황에 대한 반응)
일반적 행동과 최고 성과 행동 (예: 일상적인 행동 vs 중요한 성취)
자기 평가 정보와 사실적 정보
연속형 반응 옵션(예: '많음'에서 '적음')과 범주형 반응 옵션(예: 고용 상태)
자기 보고와 타인 보고, 또는 기록 자료
점수 산정 방법: 경험적 알고리즘에 따른 점수 부여 또는 전문가의 합리적 판단
응답 방식: 서면 응답 또는 인터뷰 형식
이러한 다양한 요소들은 바이오데이터 측정의 신뢰성과 타당성에 큰 영향을 미칩니다.
2. Validity of Biodata Measures (바이오데이터 측정의 타당성)
바이오데이터는 그 정보가 어떻게 수집되고 점수가 매겨지며, 그 점수가 어떤 목적으로 사용되는지에 따라 타당성이 평가됩니다. 주된 타당성 문제는 점수 해석이 그 의도된 목적에 얼마나 적합 한가입니다. 이 장에서는 바이오데이터 측정의 타당성과 관련된 연구 증거를 살펴보고, 그 결과를 어떻게 활용할 수 있는지 논의합니다.
연구 결과에 따르면, 바이오데이터는 조직의 다양한 가치 있는 기준, 예를 들어 직무 성과, 교육 성과, 심지어는 기대 수명이나 이혼율, 질병과 같은 기준도 예측할 수 있습니다. 다양한 바이오데이터 측정 방식, 척도 개발 방법, 기준 변수, 검증 연구 디자인 및 대상 집단에 걸쳐 바이오데이터는 유사한 수준의 예측력을 보여줍니다. 바이오데이터 측정의 기준 관련 타당성은 일반적으로 중간 .20대에서 낮은 .30대 수준으로, 이는 다른 예측 도구들과 비교할 때 상당히 높은 수준입니다. 예를 들어, 일반 인지 능력 측정과 거의 동등한 수준의 예측력을 갖추고 있습니다.
하지만, 이러한 타당성 수치는 연구 디자인, 대상 집단, 기준 유형 등에 따라 달라집니다.
예를 들어:
연구 디자인: 동시적 타당성 연구는 예측적 타당성 연구보다 높은 타당성을 나타냅니다.
대상 집단: 직무에 이미 종사 중인 사람들을 대상으로 한 연구는 신규 지원자들을 대상으로 한 연구보다 높은 타당성을 보입니다.
기준 유형: 교육 성과 기준을 대상으로 한 연구가 직무 성과 기준보다 높은 타당성을 나타냅니다.
종합적으로, 바이오데이터는 다양한 조직적 기준을 예측하는 데 효과적이며, 특히 직무 성과 예측에서 강력한 도구로 사용될 수 있습니다. 바이오데이터 항목의 특성과 척도 개발 방식이 이러한 타당성을 더욱 향상시킬 수 있습니다.
3. Item-Generation Methods: Advantages and Disadvantages
(항목 생성 방법: 장점과 단점)
바이오데이터 항목 생성에는 다양한 방법이 존재하며, 각 방법은 평가하고자 하는 특성이나 기준에 따라 달라집니다. 이 섹션에서는 대표적인 항목 생성 방법들을 설명하고, 그 각각의 장단점을 살펴봅니다.
3-1. Functional Job Analysis Approach (기능적 직무 분석 접근법)
기능적 직무 분석(Functional Job Analysis)은 직무를 구성하는 과업, 속성, 행동에 관한 구체적인 정보를 제공하는 방법으로, 미국 노동부 직업 사전(Dictionary of Occupational Titles, DOT)에서도 활용된 접근법입니다. 이 방법은 주로 직무와 관련된 작업 기능(task function), 작업 조건, 개인 차 특성을 분석하여 바이오데이터 항목을 개발합니다.
적응적 기술: 개인이 직무와 관련된 변화나 환경에 적응하는 능력(예: 물리적, 대인관계, 조직적 조건에 대한 적응 능력).
기능적 기술: 직무 수행에 필요한 정신적, 대인관계적, 신체적 능력.
특정 직무 기술: 특정 직무에서 요구되는 기술, 절차, 기계 조작 능력 등.
이 방법은 직무의 맥락과 수행자의 특성을 모두 고려하며, 실제 작업 환경에서 수행해야 할 구체적인 행동을 측정할 수 있는 항목을 도출하는 데 강점을 보입니다. 예를 들어, "자동차 시동기를 수리한 경험이 얼마나 있는가?"와 같은 항목은 직무 성과를 직접적으로 예측할 수 있습니다.
장점: 직무와 밀접한 항목을 개발할 수 있어 기준 타당성(criterion validity)을 확보하기에 용이합니다.
단점: 직무 분석이 없는 상황에서는 항목 생성이 어렵고, 구성 타당성(construct validity)을 확보하는 데 한계가 있습니다.
3-2. Mumford and Stokes Item-Generation Method (Mumford와 Stokes의 항목 생성 방법)
이 방법은 차별 심리학(differential psychology)의 전통적인 절차에 기초하며, 개인 차 변수를 측정하기 위해 이론적 기반을 사용하여 항목을 생성합니다. 이 방법은 성인 발달의 상호작용 모델(interactional model of development)을 사용하여, 사람이 특정 상황에 어떻게 반응하며 발전하는지를 측정합니다. 예를 들어, 직무 성과를 예측하기 위해 직무 분석을 통해 필요한 지식, 기술, 능력(KSAOs)을 식별한 후, 이러한 KSAOs를 개발한 개인의 과거 경험을 바이오데이터 항목으로 반영합니다.
항목 작성은 복잡한 절차를 따르며, 항목 작성자는 심층적인 훈련을 받아야 합니다. 항목 작성자는 바이오데이터 항목이 특정 성격 특성이나 능력을 측정하도록 훈련되며, 개인의 과거 행동이나 경험이 어떻게 해당 특성을 반영하는지 분석하는 과정을 배웁니다. 이러한 과정은 일반적으로 80시간 이상의 훈련이 필요할 정도로 시간이 많이 소요됩니다.
장점: 이 방법은 이론적 기초를 바탕으로 항목을 생성하므로, 구성 타당성(construct validity)을 확보하는 데 매우 효과적입니다.
단점: 항목 작성이 매우 노동 집약적이며, 항목 생성 과정에서 많은 시간과 노력이 요구됩니다.
3-3. Critical Incident Technique (중요 사건 기법)
중요 사건 기법(Critical Incident Technique)은 주로 직무 분석에 사용되며, 직무의 행동적 구성 요소를 분석하는 데 중점을 둡니다. 이 방법은 직무 종사자, 상사, 동료 등의 참여자가 특정 상황에서 발생한 중요한 사건을 기록하고 그 사건이 직무 수행에 어떻게 기여했는지를 설명하는 방식입니다. 예를 들어, 작업 생산성에 중요한 영향을 미쳤던 사건을 기록하거나, 성과에 크게 기여했던 행동을 기술하게 합니다.
이 사건들은 후에 유사한 내용끼리 그룹으로 분류되어, 특정 행동 특성을 설명하는 항목을 도출하는 데 사용됩니다. 이 방법은 행동 기술 면접(Behavior Description Interview)에서 많이 사용되며, 인터뷰에서 특정 상황에 대한 행동을 묻는 질문으로 이어집니다.
장점: 이 방법은 직무 성과와 직결된 행동을 기반으로 항목을 생성하므로, 직무와 관련된 행동을 세밀하게 분석할 수 있습니다.
단점: 중요한 사건을 기록하고 분류하는 과정이 복잡하고 시간이 많이 걸리며, 사건 분류의 일관성을 확보하기 어려울 수 있습니다.
3-4. Retrospective Life Experience Essay and Interview Technique
(회고적 인생 경험 에세이 및 인터뷰 기법)
이 방법은 대상 집단의 구성원들에게 그들의 과거 인생에서 중요한 경험(예: 스트레스가 큰 상황, 중요한 성과)을 에세이 형식으로 작성하게 하거나 인터뷰를 통해 정보를 수집하는 방법입니다. 이를 통해 수집된 정보는 분석되어 직무 성과와 연관된 과거 경험을 도출하는 데 사용되며, 이를 바탕으로 바이오데이터 항목이 작성됩니다.
이 기법은 사람들이 어떤 경험을 했고, 그 경험이 현재 행동에 어떤 영향을 미쳤는지를 분석하는 데 초점을 맞추며, 이를 통해 직무 관련 경험을 효과적으로 반영할 수 있는 항목을 생성합니다.
장점: 과거 경험을 심층적으로 분석하여, 직무 성과와 연관된 중요한 항목을 도출할 수 있습니다.
단점: 자료를 수집하고 분석하는 과정이 매우 시간이 많이 소요되며, 개발된 항목이 특정 집단에만 적합할 가능성이 있습니다.
4. Scale Development Methods: Advantages, Disadvantages, and New Developments (척도 개발 방법: 장점, 단점 및 새로운 발전)
척도 개발 방법에는 여러 가지가 있으며, 각 방법에는 장단점이 있습니다. 이 섹션에서는 바이오데이터 척도 개발에 사용되는 주요 전략들을 설명하고, 그들의 특징을 분석합니다. 이 방법들은 주로 귀납적(Inductive, Internal), 외적(Empirical, External), 그리고 연역적(Deductive, Rational) 접근으로 나뉘며, 각각의 방식은 척도를 구성하는 원리와 그에 따른 결과에 영향을 미칩니다.
4-1. Inductive (Internal) Strategy of Scale Construction (귀납적(내적) 척도 구성 전략)
귀납적 척도 구성 방법은 개인 차 특성을 발견하기 위해 항목 응답에 대한 요인 분석(factor analysis)이나 군집 분석(cluster analysis)을 사용하는 데이터 기반 접근법입니다. 이 방법은 척도의 내적 일관성(internal consistency)을 주요 품질 기준으로 삼습니다. 즉, 항목들이 동일한 구성 개념을 얼마나 잘 측정하는가에 초점을 맞추며, 상관관계가 낮은 항목은 제거됩니다.
이 방법은 항목 간의 상관관계에 기반하므로, 척도의 일관성을 높이는 데 기여하지만, 이로 인해 척도의 복잡성이 감소할 수 있으며, 특히 분포의 극단에 있는 사람들을 정확하게 측정하는 데 한계가 있을 수 있습니다. 그 결과, 귀납적 방법은 변이도가 낮은 항목들이 삭제되며, 특히 극단적인 행동을 측정하는 데 어려움이 있습니다.
장점: 귀납적 방법은 척도의 내적 일관성을 높이며, 일반적으로 구성 타당성을 확보하는 데 효과적입니다.
단점: 분포의 극단에 있는 사람들을 측정하는 데 한계가 있으며, 다양한 응답을 포착하지 못할 수 있습니다.
4-2. External (Empirical) Strategy of Scale Construction (외적(경험적) 척도 구성 전략)
외적 척도 구성 방법은 예측하고자 하는 기준(criterion)을 기반으로 척도를 개발하는 경험적 방법입니다. 이 방법은 항목들이 일관된 주제를 가지는 것이 아니라, 예측하는 기준과의 상관관계를 중심으로 항목을 선택합니다. 따라서 외적 척도는 이론적 기반이 없는 비일관적인 척도로 구성될 수 있으며, 각 항목의 상관관계는 낮을 수 있습니다.
이 방법의 가장 큰 단점은 개발 표본의 우연적 변동(chance variation)에 의존할 가능성이 있다는 점입니다. 이는 개발 과정에서 발견된 상관관계가 다른 표본에서는 재현되지 않을 위험이 있음을 의미합니다. 따라서 외적 방법은 대규모 표본과 교차 검증(cross-validation)이 필수적입니다.
장점: 외적 방법은 기준을 정확하게 예측할 수 있는 항목을 찾아내어, 예측력 있는 척도를 개발할 수 있습니다.
단점: 척도가 일관되지 않으며, 예측력이 다른 표본에서 동일하게 나타나지 않을 수 있습니다. 또한, 동일한 방법으로 대체할 수 있는 척도를 만들기 어렵습니다.
4-3. Item-Level Weighting Approaches (항목 수준 가중치 접근법)
항목 수준 가중치 접근법은 각 항목이나 항목 옵션에 가중치를 부여하여 척도를 개발하는 방법입니다. 이러한 방법은 항목 또는 항목 옵션이 기준과 얼마나 관련이 있는지에 따라 가중치를 부여합니다. 항목 가중치 접근법의 주요 목표는 개발된 척도가 기준을 예측할 때 정확한 점수를 산출하도록 하는 것입니다.
상관관계 방법: 항목과 기준 간의 상관관계를 기반으로 항목에 가중치를 부여하는 방식입니다. 항목 옵션이 연속형일 때, 각 옵션은 기준과의 상관관계에 따라 가중치가 부여됩니다.
차등 회귀 방법: 회귀 분석을 통해 항목이 기준 변동을 얼마나 설명하는지에 따라 가중치를 부여하는 방식입니다. 이는 큰 표본이 필요하며, 그렇지 않으면 가중치의 정확도가 떨어질 수 있습니다.
장점: 항목 가중치가 기준과의 상관관계를 반영하므로, 예측 정확도를 높일 수 있습니다.
단점: 큰 표본이 필요하며, 표본이 작을 경우 예측력이 감소할 수 있습니다.
4-4. Item-Response-Level Weighting Approaches (항목 응답 수준 가중치 접근법)
항목 응답 수준 가중치 접근법은 항목 응답 옵션에 따라 각 옵션의 가중치를 결정하는 방법입니다. 이 방법은 응답 옵션이 기준과 직선적(linear) 관계가 없을 때 사용됩니다. 응답 수준 가중치 방법은 주로 수직 백분율 방법(vertical percentage method)과 수평 백분율 방법(horizontal percentage method)으로 나뉩니다.
수평 백분율 방법: 상위 그룹과 하위 그룹에서 각 응답 옵션을 선택한 인원을 계산하고, 이를 기준으로 가중치를 부여하는 방식입니다. 상위와 하위 그룹이 균등하게 형성되어 있어야 하며, 항목 옵션이 직선적인 관계를 가지지 않을 때 적합합니다.
수직 백분율 방법: 상위 그룹과 하위 그룹에서 특정 응답 옵션을 선택한 비율을 계산하여 가중치를 부여하는 방식입니다.
장점: 항목 응답이 기준과 직선적 관계를 가지지 않을 때, 비선형적인 관계를 반영하는 데 효과적입니다.
단점: 작은 표본에서는 사용하기 어려우며, 특정 항목 옵션에 대한 응답이 극단적으로 적을 경우 신뢰도가 낮아질 수 있습니다.
4-5. Deductive (Rational) Strategy of Scale Construction (연역적(합리적) 척도 구성 전략)
연역적 척도 구성 방법은 연구자의 이론이나 직관적 판단을 바탕으로 항목을 개발하고 선택하는 방식입니다. 이 접근법은 이론적으로 정의된 구성 개념을 측정하는 항목을 개발하며, 때로는 항목이 특정 개념을 명확하게 드러내지 않는 경우도 있습니다. 하지만 일반적으로 연역적 방법으로 개발된 항목은 피험자들이 측정하는 구성 개념을 쉽게 파악할 수 있는 투명한 항목(transparent items)을 포함하게 됩니다.
이 방법의 단점은 항목들이 쉽게 왜곡되거나 조작될 수 있다는 점입니다. 특히, 자가 보고(self-report)를 기반으로 하는 항목의 경우, 응답자가 자신에게 유리한 방향으로 답변할 가능성이 높아질 수 있습니다. 하지만, 사실에 기반한 바이오데이터 항목에서는 왜곡보다는 거짓 진술이 문제가 될 수 있습니다.
장점: 이론적으로 개발된 항목들은 명확하게 정의된 구성 개념을 측정하며, 개발 과정에서 우연적 변동에 덜 의존합니다.
단점: 항목이 쉽게 조작될 가능성이 있으며, 이론이 잘못된 경우 척도의 타당성에도 문제가 발생할 수 있습니다.
4-5-1. Point Method (포인트 방법)
포인트 방법은 주로 직무 분석 결과에 기반하여, 각 항목에 가중치를 할당하는 방식입니다. 직무 분석 전문가(SMEs)가 직무를 수행하는 데 필요한 교육 수준, 경험, 기술 등을 평가하고, 각 경험 항목에 점수를 부여합니다. 그런 다음, 지원자의 바이오데이터를 검토하여, 해당 항목에 할당된 점수를 기반으로 총점을 산출합니다.
장점: 직무에 필요한 경험과 기술을 반영하여 지원자의 적합성을 평가할 수 있습니다.
단점: 항목의 가중치가 주관적일 수 있으며, 모든 항목이 직무 성과와 일관되게 관련되지 않을 수 있습니다.
4-5-2. Equal or Unit Weighting of Items and Item-Options Method (항목 및 항목 옵션의 동등 또는 단위 가중치 방법)
이 방법은 바이오데이터 항목을 생성한 후, 각 항목 또는 항목 옵션에 동일한 가중치(또는 단위 가중치)를 할당하는 방식입니다. 예를 들어, "더 자주", "비슷하게", "덜 자주"와 같은 응답 옵션에 각각 동일한 가중치를 부여하여 점수를 산정합니다. 이는 각 항목이 직무 성과와 일정한 관계를 가진다고 가정하는 방식입니다.
장점: 간단하고 비용이 적게 들며, 각 항목의 중요도를 미리 판단할 필요가 없습니다.
단점: 항목들이 직무 성과에 미치는 영향이 동일하지 않을 수 있어, 예측력이 떨어질 가능성이 있습니다.
4-5-3. Accomplishment Record Method (성과 기록 방법)
중요 사건 기법(Critical Incident Technique)을 기반으로, 지원자가 자신의 주요 성과를 작성하게 하고 이를 평가하는 방법입니다. 평가자들은 각 성과가 직무에 얼마나 적합한지에 대한 평가 기준을 설정하고, 이를 기준으로 지원자의 성과를 평가합니다. 이 방법은 성과를 바탕으로 지원자의 자격을 평가하는 방식으로, 직무 성과에 대한 정보를 직접적으로 반영합니다.
장점: 지원자의 과거 성과를 구체적으로 평가하여, 직무 성과를 예측하는 데 효과적입니다.
단점: 평가가 주관적일 수 있으며, 평가자 간 일관성을 유지하기 위해 많은 훈련이 필요합니다.
4-5-4. Behavior-Based Interview and Rating Scales Method (행동 기반 인터뷰 및 평가 척도 방법)
이 방법은 행동 기술 면접(Behavior Description Interview)에서 사용되는 질문을 기반으로 합니다. 평가자는 지원자에게 특정 상황에서 어떤 행동을 했는지 묻고, 그 답변을 평가 척도를 사용해 점수를 매깁니다. 이러한 평가 척도는 미리 정의된 행동을 기준으로 하여, 각 응답에 점수를 부여합니다.
장점: 구조화된 면접 질문과 평가 척도를 사용하여, 직무 관련 행동을 직접 평가할 수 있습니다.
단점: 면접 과정에 많은 시간이 소요되며, 면접자의 주관적 판단에 의존할 가능성이 있습니다.
4-6. Comparison of Inductive, Deductive, and External Strategies (귀납적, 연역적 및 외적 전략 비교)
척도 개발 방법은 그 목적과 상황에 따라 각기 다르게 적용됩니다. 구성 타당성(construct validity)이 중요하다면, 외적(empirical) 방법보다는 내적(inductive) 또는 연역적(deductive) 방법이 더 적합합니다. 반면, 미래의 결과를 예측하는 것이 주된 목적일 경우, 외적 방법이 더 효과적일 수 있습니다.
세 가지 방법 모두 기준 관련 타당성(criterion-related validity) 측면에서 유사한 수준의 예측력을 보여주지만, 내적 방법이 상대적으로 낮은 타당성을 보이는 경향이 있습니다. 연역적 방법은 평균적으로 외적 방법보다 약간 더 높은 예측력을 보여주었으며, 귀납적 방법은 세 방법 중 가장 낮은 예측력을 보였습니다.
장점: 연역적 방법은 이론적 기반을 갖추고 있어 과학적 지식을 발전시키는 데 기여할 수 있습니다.
단점: 외적 방법은 특정 기준을 예측하는 데 강점이 있으나, 이론적으로 일관된 척도를 개발하는 데는 한계가 있습니다.
4-7. New Developments in Scale Construction Methods (척도 구성 방법의 새로운 발전)
최근에는 전통적인 척도 개발 방법의 한계를 보완하려는 이상점 응답 방법(ideal point response method)이 주목받고 있습니다. 이 방법은 피험자가 자신의 성향에 더 가까운 항목을 선택할 가능성이 높다는 가정에 기반합니다. 이 방법은 기존의 요인 분석(factor analysis)이나 항목-전체 상관(item-total correlations) 방법과는 다르게 항목 응답 이론(item response theory)을 사용해 항목을 평가합니다.
이 방법은 극단적인 항목들을 삭제하지 않고 유지함으로써, 척도 전체에서 피험자의 특성을 더 정확하게 측정할 수 있도록 돕습니다. 이를 통해 귀납적 방법이 보이는 타당성 문제를 해결하고, 구성 타당성을 확보하는 데 기여합니다.
장점: 사람들의 다양한 성향을 반영한 항목들을 유지하여 척도의 정확성을 높일 수 있습니다.
단점: 개발 과정이 복잡하며, 이를 적용하기 위한 통계적 분석이 요구됩니다.
4-8. Characteristics of Criterion-Valid Items (기준 타당 항목의 특성)
연구에 따르면, 기준 관련 타당성이 높은 항목들은 다음과 같은 특성을 가지고 있습니다:
검증 가능성: 응답이 실제로 검증 가능할 때 타당성이 높아집니다.
간접성: 응답자가 아닌 제3자가 평가한 정보가 더 신뢰도가 높습니다.
직무와의 관련성: 항목이 측정하려는 직무 또는 기준과 관련이 클수록 타당성이 높아집니다.
5. Validity Generalization and Other Factors That Affect Usefulness of Biodata Measures
(바이오데이터 측정의 타당성 일반화 및 유용성에 영향을 미치는 기타 요소들)
타당성 일반화(validity generalization)는 바이오데이터 측정 도구가 다양한 인구 집단과 상황에서도 일관된 타당성을 가지는지를 평가하는 과정입니다. 이는 도구가 다양한 환경에서 일관된 예측력을 유지할 수 있는지를 확인하는 중요한 요소입니다.
바이오데이터 측정 도구는 개발 초기부터 다양한 집단과 상황을 고려하여 설계될 때, 타당성이 더 널리 적용될 수 있습니다. 그렇지 않으면, 특정 집단이나 상황에서만 유효한 도구로 제한될 위험이 있습니다.
타당성 일반화와 관련된 주요 요소들
조직 간 차이: 바이오데이터 도구가 여러 조직에서 일관된 타당성을 보여줄 수 있는가?
문화적 배경: 다른 국가나 문화적 배경에서 동일한 도구가 예측력을 유지할 수 있는가?
인구 특성: 성별, 인종, 연령에 따라 타당성이 다르게 나타나지는 않는가?
응답 왜곡: 응답자가 자신의 이익을 위해 응답을 왜곡할 가능성이 있으면, 이 도구가 여전히 타당한가?
타당성 일반화를 고려할 때, 다양한 집단과 환경에서 도구가 테스트되어야 하며, 그 결과가 타당성을 유지하는지 평가해야 합니다.
응답 왜곡 및 거짓 진술
바이오데이터는 자가 보고(self-report) 형식으로 이루어지기 때문에 응답자가 자신의 답변을 왜곡하거나 과장할 가능성이 있습니다. 이를 방지하고 도구의 신뢰성을 높이기 위해 다음과 같은 조치들이 필요합니다:
검증 가능한 항목을 포함하여 응답의 진실성을 높임.
응답자가 자신의 답변이 검증될 수 있음을 인지하도록 경고함.
추가 서류나 면접 등을 통해 응답 항목을 검증함.
거짓 진술이 발견될 경우 불이익을 줄 수 있음을 명확히 고지함.
타당성 평가 시 고려할 10가지 주요 질문
1. 이 바이오데이터 측정 도구의 목적은 무엇인가?
- 이 도구는 어떤 목적을 가지고 있는가? 도구의 결과는 어떻게 해석되고 활용될 것인가?
2. 타당성 증거는 충분한가?
- 이 도구의 타당성 증거는 적절하며, 해당 증거가 도구가 사용될 다양한 인구와 상황에 일반화될 수 있는가?
3. 척도 개발 전략이 적합한가?
- 척도 개발 과정에서 사용된 전략이 적절한가? 이론적 또는 경험적으로 기반이 되는가?
4. 항목 생성 방법은 타당한가?
- 바이오데이터 항목들이 측정하려는 구성 개념을 적절하게 반영하고 있는가? 각 항목의 정의가 명확하고 측정 목적에 부합하는가?
5. 항목 응답 형식은 적절한가?
- 응답자가 모든 항목에 대해 적절히 응답할 수 있는 선택지를 제공하는가? 응답 형식이 충분히 명확하고 응답자에게 적절한가?
6. 항목 점수 산정 방법은 신뢰할 수 있는가?
- 각 항목의 점수 산정 방법이 기준과의 연관성을 적절히 반영하고 있는가? 항목 점수 산정이 일관되고 신뢰할 수 있는 방식으로 이루어지는가?
7. 측정 도구의 신뢰도는 충분한가?
- 도구가 신뢰할 만한지, 즉 동일한 응답자가 반복해서 응답할 때 일관된 결과가 나오는가? 도구의 신뢰성 지표는 충분히 높은가?
8. 대상 집단의 유사성은 어떤가?
이 도구가 개발된 집단과 실제 사용할 집단 간의 유사성은 얼마나 되는가? 이 차이가 타당성에 미치는 영향은 무엇인가?
9. 공정성은 보장되는가?
- 이 도구는 성별, 인종, 나이 등 보호받아야 할 집단에 대해 공정한가? 편향된 항목이나 특정 집단에 불리한 항목이 포함되지 않았는가?
10. 응답자의 반응은 어떠한가?
- 응답자들이 이 바이오데이터 도구에 대해 어떻게 반응할 가능성이 있는가? 그들이 자신의 응답을 왜곡할 가능성이 있는가?
- 그렇다면, 이를 억제할 수 있는 장치가 마련되어 있는가?
- 또한, 응답자들이 시험 상황에서 중도에 이탈할 가능성이 있는가? 만약 그렇다면, 이 문제를 완화할 수 있는 방법은 무엇인가?
6. Conclusion (결론)
바이오데이터는 과거 경험을 바탕으로 미래 행동을 예측하는 데 유용한 도구입니다. 그러나 그 타당성과 유용성을 확보하기 위해서는 신중한 설계와 지속적인 검증이 필요합니다. 타당성 일반화, 응답 왜곡 방지, 항목 개발 전략 등을 고려하여 개발된 바이오데이터 도구는 다양한 조직과 상황에서 효과적으로 활용될 수 있습니다. 연구자와 실무자는 이러한 요소들을 잘 고려하여 바이오데이터 측정 도구를 평가하고 사용할 필요가 있습니다.
이번 장에서는 바이오데이터의 예측력을 높이기 위한 다양한 접근 방식에 대해 다루고 있다. 측정의 타당성을 높이기 위해 다양한 접근 및 측정 방식과 각각의 장단점을 언급하고 있는데, 단순히 데이터 분석 관점에서만 생각해 본다면 조직 내 다양한 구성원들의 과거 경험에 관한 데이터를 활용해 머신러닝의 접근 방식을 활용한다면 언급된 방법들 대비 높은 예측력은 확보할 수도 있을 것 같다는 생각도 해보게 된다.
늘 그렇듯 머신러닝이 갖는 한계점인 중간 과정이 블랙박스로 남아 설명이 불가하다는 문제가 있기는 하겠지만.. 그렇다면 진단에서 중요한 것은 어떤 식으로든 예측력을 높이는 것일까 아니면 결과에 대한 예측력은 떨어지더라도 예상한 결과에 대한 설명력을 높이는 것일까?
HR 참 어렵다.
