지식과 스킬
[요약] Handbook of Workplace Assessment_6장
이 장에서는 지식과 스킬의 정의, 다양한 유형의 지식 및 스킬 측정 방법, 측정 개발 절차, 심리측정적 및 운영적 고려 사항, 그리고 측정과 관련된 도전 과제를 다룹니다. 지식과 스킬 평가의 중요성은 학업 성취도 평가뿐만 아니라 자격증, 면허 시험에서 안전과 역량을 보장하는 데 있습니다. 또한, 직업 선택과 승진, 군대에서의 신병 배치에도 중요한 역할을 합니다.
1. Knowledge and Skill Definitions (지식과 스킬의 정의)
캠벨(Campbell) 등의 성과 이론(1993)은 지식과 스킬을 정의하는 유용한 틀을 제공합니다. 이 이론에 따르면 개인의 성과 차이는 크게 세 가지 요소로 설명됩니다: 선언적 지식(Declarative Knowledge, DK), 절차적 지식 및 스킬(Procedural Knowledge and Skill, PKS), 그리고 동기(Motivation, M)입니다.
-. 선언적 지식(DK): 특정 사실이나 개념에 대한 지식입니다. 예를 들어, 생리학 또는 컴퓨터 스킬에 대한 이해가 해당됩니다.
-. 절차적 지식 및 스킬(PKS): 무엇을 해야 하고, 어떻게 해야 하는지를 아는 능력입니다. 예를 들어, 무선 네트워크 설치, 시간 관리, 의사소통 방법 등이 포함됩니다.
-. 동기(M): 행동에 얼마나 많은 노력을 기울일지, 그 노력을 얼마나 지속할지에 대한 선택을 반영하는 요소입니다.
성과의 이러한 요소들은 인지 능력, 성격 특성, 관심사, 교육, 훈련, 경험 등 다양한 개인차 변수에 의해 영향을 받습니다. 제2차 세계대전 당시, 신병들을 적합한 군사 직무에 배치하기 위해 연구자들은 신속히 다양한 시험을 개발했고, 그 중 정보 시험은 신병의 관심사와 능력을 객관적으로 측정하는 데 매우 유용한 도구로 사용되었습니다. 이는 훈련 성공을 예측하고 적합한 직무 배치를 하는 데 중요한 역할을 했습니다.
2. Declarative Knowledge (선언적 지식)
선언적 지식은 단순한 사실의 기억을 넘어서, 그 사실을 이해하고 원칙을 파악하며 그것들이 어떻게 연관되는지를 아는 지식을 의미합니다. 이는 시험 문제에서 단순한 기억 수준의 문항에서부터 더 복잡한 분석 및 종합 수준까지 다룰 수 있습니다. 학업 평가에서 흔히 사용되는 여섯 가지 인지 수준은 다음과 같습니다: 지식, 이해, 적용, 분석, 종합, 평가(Bloom 등, 1956).
2-1. Measure Development (측정 개발)
선언적 지식을 측정하려면 먼저 시험 계획을 수립해야 합니다. 시험 계획에서는 직무 분석을 통해 얻은 근로자 특성과, 각 특성에 대해 적합한 측정 방법을 비교하게 됩니다. 예를 들어, IT 직무의 경우, 네트워크 보안 지식, 네트워크 구성 지식 등은 스킬 지식 시험을 통해 측정할 수 있고, 수학적 능력은 수학 시험으로 평가할 수 있습니다.
시험 개발의 또 다른 핵심 요소는 시험 청사진 작성입니다. 청사진은 시험에서 다룰 각 지식 영역의 항목 수를 결정하는 과정으로, 직무 분석에서 얻은 데이터 또는 전문가의 판단을 통해 문항을 특정 내용 영역에 할당합니다. 예를 들어, IT 직무의 스킬 지식 시험에서 '네트워크 보안'은 20%, '네트워크 구성'은 30%의 문항을 배정할 수 있습니다.
2-2. Types of Declarative Knowledge Items (선언적 지식 항목의 유형)
선언적 지식을 평가하는 시험 항목은 여러 유형으로 나눌 수 있습니다:
-. 다지선다형(Multiple-choice): 일반적인 시험 형식으로, 한 질문에 대해 여러 답안을 제공하고 그 중 하나를 선택합니다.
-. 주관식(Open-ended): 응시자가 직접 정답을 작성하는 형식입니다.
-. 진위형(True/False): 주어진 문장이 참인지 거짓인지를 판단하게 합니다.
-. 다중 선택형(Multiple-mark): 여러 가지 선택지 중에서 올바른 답을 모두 고르는 형식입니다.
이러한 항목 형식은 동일한 내용을 다양한 방식으로 평가할 수 있으며, 각 형식의 특성에 따라 채점 방식과 신뢰도에 영향을 줄 수 있습니다.
2-3. Operational Considerations (운영적 고려 사항)
다지선다형 항목은 개발과 채점이 비교적 쉽고 비용이 저렴한 장점이 있습니다. 또한, 기계로 채점할 수 있어 대규모 시험에서도 효율적으로 운영할 수 있습니다. 그러나 항목을 구성할 때, 특정 항목이 과도하게 많은 점수를 차지하지 않도록 주의해야 하며, 시험 항목의 적절한 균형을 유지해야 합니다.
2-4. Psychometric Properties (심리측정학적 속성)
다지선다형 시험의 가장 큰 장점은 높은 신뢰도(0.80에서 0.90 정도의 신뢰도 계수)입니다. 또한, 다지선다형 시험은 다양한 직종에서 직무 지식 평가에 있어 높은 타당도를 보여줍니다. 그러나 이러한 시험은 인종 간의 점수 차이가 발생하는 경향이 있어, 이는 중요한 문제로 남아 있습니다.
2-5. Measurement Challenges (측정 도전 과제)
선언적 지식 측정에서 직면하는 두 가지 주요 도전 과제는 진정성과 퇴행성입니다. 다지선다형 시험은 직무 환경의 복잡성을 충분히 반영하지 못한다는 비판을 받습니다. 따라서, 실제 직무에서 요구되는 지식을 반영하는 방식으로 시험 문항을 작성하는 것이 중요합니다. 또한, 스킬이 빠르게 변화하는 분야에서는 시험 항목이 시대에 뒤떨어질 수 있습니다. 이러한 문제를 해결하려면 최신 스킬 변화에 맞게 항목을 지속적으로 업데이트해야 합니다.
2-6. Applications (응용)
선언적 지식 평가 항목은 직업 자격증 시험, 직업 면허 시험, 승진 시험 등에서 광범위하게 활용됩니다. 특히, 직무에 대한 기본적인 지식이 필요한 직종에서 입직자들의 적합성을 평가하는 데 매우 유용합니다. 그러나 지식이나 스킬이 필요하지 않은 직종에서는 이러한 지식 평가가 적합하지 않을 수 있습니다.
3. Procedural Knowledge and Skill (절차적 지식과 스킬)
절차적 지식과 스킬은 응시자가 특정 직무를 수행하는 능력을 평가하는 것으로, 응시자가 단순히 지식을 알고 있는 것을 넘어서, 실제로 해당 지식을 어떻게 적용하고, 어떻게 작업을 수행하는지를 평가하는 데 중점을 둡니다. 절차적 지식 및 스킬 측정은 작업 샘플, 시뮬레이션, 상황 면접, 상황 판단 검사(Situational Judgment Tests, SJTs) 등 여러 방식으로 이루어질 수 있습니다. 이 평가 방법들은 직무의 현실성을 어느 정도로 반영하는지에 따라 고피델리티(high-fidelity)에서 저피델리티(low-fidelity)까지 다양하게 나뉩니다.
3-1. Types of Procedural Knowledge and Skill Measures (절차적 지식과 스킬 측정의 유형)
이 절에서는 두 가지 주요 유형의 절차적 지식 및 스킬 평가 방식에 대해 설명합니다: 상황 판단 검사(SJT)와 작업 샘플입니다. 이들은 각각 응시자의 행동 경향과 실제 작업 수행 능력을 평가합니다.
3-1-1. Situational Judgment Tests (상황 판단 검사)
상황 판단 검사는 주어진 직무 상황을 설명하고, 그 상황에 대한 응시자의 반응을 평가하는 방식입니다. 이러한 검사에서는 응시자에게 두 가지 유형의 응답을 요구할 수 있습니다:
-. 행동 경향 평가(Behavioral Tendency Instructions): 응시자가 특정 상황에서 가장 많이 또는 적게 할 행동을 선택합니다. 예를 들어, 고객이 불만을 제기한 상황에서 응시자가 어떻게 대응할지를 묻습니다. 이 유형의 응답은 응시자의 행동 패턴과 성향을 평가하는 데 유용합니다.
-. 지식 기반 평가(Knowledge-based Instructions): 응시자가 제시된 여러 대응 중에서 가장 적절한 것을 평가하거나, 각 행동의 효과성을 점수로 매깁니다. 이 유형의 응답은 응시자의 상황 대처 능력과 직무 관련 지식을 평가하는 데 적합합니다.
상황 판단 검사는 현실적인 직무 상황을 시뮬레이션하여 응시자의 의사결정 능력을 평가할 수 있으며, 응시자가 단순히 지식만을 알고 있는 것이 아니라, 실제 상황에서 그 지식을 어떻게 적용할지를 중점적으로 평가합니다.
3-1-2. Work Samples (작업 샘플)
작업 샘플은 응시자가 특정 직무 작업을 실제로 수행하게 하여, 그 과정과 결과를 평가하는 방식입니다. 작업 샘플은 매우 다양한 형태로 나타날 수 있으며, 작업의 복잡성 및 직무의 현실감(피델리티)에 따라 크게 달라집니다.
작업 샘플의 예는 간단한 사무 작업(예: 파일 작성)에서부터 복잡한 시스템 운영 시뮬레이션(예: 항공기 조종, 공정 관리)까지 다양합니다. 이러한 작업 샘플은 직무에 필요한 절차적 지식 및 스킬을 직접적으로 평가할 수 있는 강력한 도구로 사용됩니다.
3-2. Measure Development (측정 개발)
절차적 지식 및 스킬 평가 방법을 개발하는 과정에서는 다양한 요소를 고려해야 합니다. 각 측정 방식은 그 특성에 따라 서로 다른 개발 전략과 주제 전문가(SME)를 활용해야 하며, 다양한 운영상의 문제들도 해결해야 합니다.
3-2-1. Situational Judgment Tests (상황 판단 검사)
상황 판단 검사(SJT)를 개발할 때, 개발자는 문항 내용, 응답 옵션, 응답 지침, 채점 기준 등 다양한 요소를 신중하게 결정해야 합니다. SJT 문항은 크게 두 가지 방법으로 개발될 수 있습니다:
-. 주제 전문가 기반 방법(SME-based Approach): 주제 전문가들이 직무와 관련된 시나리오와 응답 옵션을 개발합니다. 이 방법은 시험의 현실성을 높이는 데 기여합니다.
-. 구성 중심 방법(Construct-oriented Approach): 특정 이론을 기반으로 응시자의 성격 특성이나 직무 관련 행동을 측정하는 문항을 구성합니다. 이는 이론적 타당도를 보장하는 데 유용합니다.
3-2-2. Work Samples (작업 샘플)
작업 샘플을 개발할 때는 직무 분석을 통해 해당 직무에서 중요한 작업을 선정하고, 이 작업이 응시자의 절차적 지식과 스킬을 적절하게 평가할 수 있도록 설계해야 합니다. 또한, 각 작업의 난이도와 복잡성을 고려하여 시험 시간을 적절히 조정하고, 결과를 명확히 채점할 수 있는 기준을 마련하는 것이 중요합니다.
작업 샘플 개발 시에는 응시자가 수행하는 작업의 결과뿐만 아니라 그 과정도 평가할 수 있는 방법을 모색해야 합니다. 예를 들어, 시스템 구성 작업에서 결과물의 품질뿐만 아니라, 구성 단계별 과정이 제대로 이뤄졌는지도 평가하는 것이 중요할 수 있습니다.
3-3. Operational Considerations (운영적 고려 사항)
절차적 지식 및 스킬을 평가하는 방법은 시험의 개발, 관리, 비용, 코칭 가능성, 그리고 평가 항목의 일관성 등의 운영적 측면에서 고려할 점이 많습니다.
3-3-1. Situational Judgment Tests (상황 판단 검사)
상황 판단 검사는 직무 수행과의 관련성이 높아 응시자에게 신뢰감을 줄 수 있습니다. 그러나 SJT 항목은 기억하거나 다른 사람과 공유하기 쉬운 특성이 있어, 시험의 보안 유지에 문제가 될 수 있습니다. 이를 해결하기 위해서는 새로운 항목을 지속적으로 개발하거나, 기존 항목을 변형하여 사용해야 할 필요가 있습니다.
또한, SJT는 다양한 직무 상황을 평가할 수 있도록 다차원적인 구성 요소를 포함하는 경우가 많아, 평가의 신뢰도를 유지하기 위해서는 반복적인 테스트와 검증이 필요합니다.
3-3-2. Work Samples (작업 샘플)
작업 샘플은 응시자가 직무와 유사한 작업을 실제로 수행하게 함으로써 높은 신뢰도를 제공합니다. 그러나 작업 샘플은 개발 및 관리 비용이 높고, 시험 운영 과정에서 응시자의 작업 과정과 결과를 일관되게 평가하는 것이 어렵습니다.
컴퓨터 기반으로 작업 샘플을 평가하는 방식이 도입되면서, 채점의 일관성을 높이고, 평가 비용을 절감할 수 있는 방법이 발전하고 있지만, 여전히 복잡한 작업의 경우에는 인간 평가자의 판단이 필요할 수 있습니다.
3-4. Psychometric Characteristics (심리측정학적 특성)
절차적 지식 및 스킬 평가 방법은 신뢰도와 타당도를 확보하는 데 중요한 역할을 합니다. 특히 이러한 방법들은 전통적인 다지선다형 시험에 비해 직무와의 관련성이 높아, 타당도가 더 높게 나타나는 경향이 있습니다.
3-4-1. Situational Judgment Tests (상황 판단 검사)
SJT는 직무 성과를 예측하는 데 타당도가 높은 평가 방법으로, 평균적으로 약 0.34의 타당도 계수를 보입니다. 또한 SJT는 지적 능력뿐만 아니라 성격 특성도 평가할 수 있어, 다차원적인 직무 수행 능력을 측정하는 데 유용합니다.
3-4-2. Work Samples (작업 샘플)
작업 샘플은 직무의 실제 작업을 평가하기 때문에 높은 타당도를 가지고 있습니다. 그러나 평가 과정에서의 인간 판단 오류나 작업 샘플의 복잡성으로 인해 신뢰도가 낮아질 수 있습니다. 이를 해결하기 위해서는 명확한 채점 기준과 엄격한 평가자 훈련이 필요합니다.
3-5. Measurement Challenges (측정 도전 과제)
절차적 지식 및 스킬 평가 방법은 실제 직무 환경과 유사성을 높이기 때문에 유효한 평가 방법으로 사용됩니다. 그러나 몇 가지 중요한 도전 과제가 존재합니다.
3-5-1. Situational Judgment Tasks: What Do They Measure? (상황 판단 과제: 무엇을 측정하는가?)
SJT는 응시자의 사회적 지능, 인지 능력, 의사결정 능력 등을 측정할 수 있습니다. 상황 판단 검사의 주된 목적은 응시자가 직무 상황에서 얼마나 효과적으로 행동할 수 있는지를 평가하는 것입니다. 이러한 평가 방식은 직무 관련 행동을 예측하는 데 매우 유용하지만, 그 이론적 기반에 따라 어떤 성격 특성이나 능력을 측정하는지에 대한 논의가 지속되고 있습니다.
3-5-2. Work Samples: How to Obtain Reliable Scores Within Practical Constraints on Time
(작업 샘플: 시간 제약 내에서 신뢰할 수 있는 점수를 얻는 방법)
작업 샘플은 현실성을 높인 만큼, 평가 시간이 길어질 수 있습니다. 복잡한 작업일수록 시험 시간이 늘어나고, 평가자의 피로도가 증가할 수 있으며, 응시자의 작업 성과에 대한 일관된 평가가 어려워질 수 있습니다. 이 문제를 해결하기 위해서는 작업 샘플의 난이도를 조정하거나, 평가 항목을 표준화하는 것이 필요합니다.
3-6. Applications (응용)
절차적 지식 및 스킬 평가는 다양한 직무 환경에서 활용될 수 있습니다. 상황 판단 검사는 비용이 적게 들고, 다양한 직무 성과를 예측할 수 있는 평가 방식으로, 기업의 인재 선발이나 승진 시험 등에 자주 활용됩니다. 작업 샘플은 직무와 직접적으로 연관된 작업을 평가하기 때문에 신뢰할 수 있는 평가 방법이지만, 비용이 많이 들고 개발 및 관리가 복잡하여 주로 특정 스킬이나 전문성이 필요한 직무에서 사용됩니다.
4. Conclusion (결론)
이 장에서는 지식과 스킬의 중요성과 다양한 평가 방법을 다루었습니다. 선언적 지식 평가는 주로 객관식 시험으로 이루어지며, 신뢰도와 타당도가 높지만, 진정성과 퇴행성 문제를 해결하는 것이 과제로 남아 있습니다. 절차적 지식 평가는 상황 판단 검사(SJT)와 작업 샘플을 통해 실제 직무 수행 능력을 평가하며, 비용과 현실감 사이의 균형이 중요합니다. 향후 연구에서는 고피델리티 평가 도구에서의 채점 일관성과 대체 가능성이 중요한 과제로 남을 것입니다.
이 장에서는 상황판단검사나 작업샘플 등에 대해 언급하고 있다. 업무와의 유사도가 높다는 확실한 장점이 있기에 그간 꽤나 많이 활용되어 왔고, 지금도 많이 활용 중이기도 하지만 각각의 방식이 갖는 단점에 대해서는 더욱 깊이 고민할 필요가 있다. 그런데!!
최근 생성형 AI 기술의 발전으로 적어도 이번 장에서 언급된 단점들은 생성형 AI를 활용한 개별화 된 문항 출제나 RAG 방식을 활용한 100% 실무 기반의 문항 출제 등을 통해 극복 가능할 것으로 예상된다. 결국 기술의 발전으로 인해 기존의 진단 방식 또한 새로운 국면을 맞이할게 될태고 언젠가 피측정자의 모든 사고와 행동이 최소한 기록은 가능하고 나아가 측정까지 가능하다고 했을 때, 진단 설계 측면에서 고민해야 할 부분은 무엇일까?
