기술 기반 평가의 발전
[요약]Handbook of Workplace Assessment 19장
이 장에서는 기술, 특히 인터넷 기술이 조직 내 인적 자원(HR) 관리 관행에 미친 영향을 탐구한다. 기술 기반 평가의 개념과 사례를 다루며, 기술의 도입이 평가 프로세스를 어떻게 개선하고, 그 과정에서 직면한 법적, 윤리적 도전 과제를 설명한다. 기술의 장점과 한계를 실용적으로 평가하며, 이를 통해 HR 전문가들이 기술 기반 평가를 효율적으로 활용할 수 있는 방법을 제시한다.
1. 기술 기반 평가의 동인 (Drivers for Technology-Based Assessment)
1-1. 기술 가용성 (Technology Availability)
- 인터넷의 확산과 기술의 발전: 인터넷 사용은 1990년대 후반부터 폭발적으로 증가했으며, 이는 기술 기반 평가의 발전을 가능하게 했다. 특히, 인터넷 속도의 향상과 비용 감소가 주요 촉진 요인이다. 예를 들어, 2000년에서 2009년 사이 인터넷 사용이 전 세계적으로 380% 증가했다.
- 신기술의 등장: 새로운 기술 표준(802.11n)과 와이맥스(WiMAX) 같은 고속 무선 기술은 평가 시스템의 접근성과 효율성을 높였다. 또한, 32비트 시스템에서 64비트 시스템으로의 전환으로 데이터 처리 속도가 대폭 개선되었다.
- 소프트웨어 설계의 용이성: 테스트 제작 도구의 상용화로 HR 전문가나 평가 설계자가 프로그래머 없이도 복잡한 평가 프로그램을 개발할 수 있게 되었다.
- 클라우드 컴퓨팅과 모바일 플랫폼의 확대: 클라우드 컴퓨팅은 조직들이 복잡한 평가 시스템을 쉽게 운영할 수 있도록 지원하며, 모바일 장치를 통해 평가를 접속하고 수행하는 것이 점차 중요해지고 있다.
기술의 가용성과 발전은 기술 기반 평가의 확산을 가능하게 하였으며, 이는 비용 효율적이고 접근 가능한 평가 프로세스를 지원한다. 특히, 인터넷과 관련 기술은 평가의 신뢰성과 사용자 편의를 개선하는 데 기여하고 있다.
1-2. 비즈니스 효율성 (Business Efficiency)
- 효율성 증대: 기술 도입은 HR 활동의 효율성을 크게 향상시킨다. 예를 들어, 인터넷 기반 지원 시스템은 지원서를 수집, 검토, 보관하는 데 소요되는 시간을 줄이고, 수작업으로 진행되던 반복 작업을 자동화한다.
- 데이터베이스와 자동화된 비즈니스 로직: 현대 소프트웨어 시스템은 데이터를 중앙에서 관리하며, 동일한 데이터를 여러 번 입력할 필요 없이 다양한 용도로 활용 가능하다. 예를 들어, 채용 과정에서 입력된 지원자 정보는 고용 후 직원 관리 시스템으로 직접 통합될 수 있다.
- 저비용 분산 시스템: 웹 브라우저 기반 인터페이스는 대규모 사용자가 낮은 비용으로 시스템에 접근할 수 있도록 한다. 초기 투자 이후 추가적인 사용자 증가에 따른 비용은 최소화된다.
기술은 HR 활동의 효율성을 크게 개선하며, 데이터 관리와 프로세스 자동화를 통해 비용을 절감하고 작업 속도를 높인다.
1-3. 사람에 대한 더 나은 통찰 (Better Insight About People)
- 평가 과정의 개선: 기술은 평가 시간이 단축되면서 더 많은 평가 자료를 다룰 수 있게 하며, 이를 통해 평가의 신뢰성과 타당성을 높일 수 있다.
- 현실성 향상: 오디오, 비디오, 시뮬레이션 등 기술적 요소를 활용하여 평가가 실제 업무 환경을 더 잘 반영할 수 있도록 지원한다.
- 정교한 측정 기술: 컴퓨터 적응형 테스트와 같은 기술은 측정의 정확성을 높이며, 문항 난이도 조정과 같은 기능을 통해 평가의 보안을 강화한다.
- 새로운 데이터 포인트의 활용: 응시자의 클릭 동작, 응답 시간 등 새로운 데이터를 활용하여 기존에 파악하기 어려웠던 통찰을 제공한다.
기술은 평가의 질적 향상을 도모하며, 응답자의 행동과 성과에 대한 깊은 통찰을 제공한다.
1-4. 전략적 관점과 영향 (Strategic Perspective and Impact)
- 데이터 집계와 전략적 의사 결정: 기술은 여러 평가 데이터를 통합하여 전략적 결정을 지원한다. 예를 들어, 채용 품질 동향을 분석하거나 교육 프로그램을 설계할 때 유용하다.
- 통합 시스템의 활용: 조직은 평가 데이터를 문화 설문조사, 교육 평가, 고객 만족도 등 다른 HR 데이터와 연결하여 더 나은 인사이트를 얻는다. 이는 HR 기능을 통합 시스템으로 관리하려는 경향을 강화한다.
- 사람 중심 조직 운영: 통합된 데이터 시스템은 인재 채용, 개발, 성과 관리, 승계 계획 등의 프로세스를 하나의 플랫폼에서 관리할 수 있도록 하여, HR의 전략적 중요성을 높인다.
기술 기반 평가 데이터를 활용하여 조직의 전략적 결정을 개선하며, HR 활동 간의 통합을 촉진한다.
2. 적용 가능한 표준, 가이드라인, 규제 및 모범 사례
(Applicable Standards, Guidelines, Regulations, and Best Practices)
기술 기반 평가가 확산됨에 따라, 평가의 심리측정학적 품질을 보장하고 윤리적 사용을 보장하기 위한 새로운 가이드라인과 규제가 필요해졌다. 이 섹션에서는 관련 표준과 지침들을 다루며, 이를 평가 설계 및 실행 시 고려해야 할 중요한 요소로 제시한다.
2-1. 인터넷 기반 테스트에 대한 APA 태스크포스 보고서
(APA Taskforce Report on Internet-Based Testing)
- 기본 원칙과 강조점: APA(미국 심리학회)의 태스크포스는 기술 기반 평가에서 기존의 심리측정학적 표준을 적용해야 하지만, 신기술이 기존 이론의 경계를 확장하고 있다는 점을 강조했다.
- 주요 이슈: 데이터 보안, 정체성 보호, 문항 및 측정의 등가성, 기술 접근의 평등성 등을 새로운 평가 환경에서 고려해야 한다고 언급했다.
- 권장 사항:
신뢰할 수 있는 테스트 사이트나 보안 인증이 필요한 평가를 사용할 것.
다중 서버 설정을 통해 데이터와 응용 프로그램을 방화벽 뒤에 안전하게 보관할 것.
테스트 내용 복사 및 인쇄를 방지하는 보안 소프트웨어를 사용할 것.
APA 보고서는 기술 기반 평가에서 심리측정학적 품질과 데이터 보안을 유지하기 위한 구체적인 지침을 제시했다.
2-2. 국제 테스트 위원회의 인터넷 기반 테스트 가이드라인
(International Test Commission Guidelines for Internet-Based Testing)
- 가이드라인의 목적: ITC(국제 테스트 위원회)는 인터넷 기반 테스트의 개발, 배포, 보안, 관리 정책에 대한 권장 사항을 제공한다.
- 테스트 배포 방식의 분류: ITC는 인터넷 기반 평가의 감독 수준에 따라 다음 네 가지로 분류했다.
1) 오픈 액세스(Open Access): 모든 사람이 인증 없이 접근 가능.
2) 통제된 배포(Controlled Delivery): 특정 사용자에게만 접근 가능하나, 감독은 없음.
3) 감독된 배포(Supervised Delivery): 응시자 신원이 인증되고, 시험 관리자가 부분적인 감독을 수행.
4) 관리된 배포(Managed Delivery): 전용 테스트 센터에서 엄격한 인증 및 보안 감독 아래 실행.
ITC는 인터넷 기반 평가의 품질 보장과 보안을 위한 명확한 지침을 제공하며, 배포 환경에 따라 적절한 절차를 적용하도록 권장한다.
2-3. 유럽 연합 데이터 보호 및 미국 세이프 하버 프로그램
(European Union Data Protection and U.S. Safe Harbor Program)
- 유럽 연합의 데이터 보호 규정: EU는 개인 및 민감한 데이터를 보호하기 위한 포괄적인 규정을 개발했으며, 이는 조직의 평가 프로그램에도 적용된다.
- 미국 세이프 하버 프로그램: 미국은 EU 표준을 준수하도록 설계된 "세이프 하버 프로그램"을 도입했으며, 데이터 관리 시 다음 7가지 원칙을 강조한다.
1) 공지(Notice): 정보 수집 목적과 사용 이유를 명확히 고지.
2) 선택(Choice): 개인이 정보 공개 여부와 사용 방식을 결정할 권리를 보장.
3) 전달(Onward Transfer): 제3자에게 정보를 전달할 경우 개인의 동의를 받을 것.
4) 접근(Access): 개인 정보에 대한 접근 및 수정 권한 부여.
5) 보안(Security): 정보의 손실, 오용, 비인가 접근 방지.
6) 데이터 무결성(Data Integrity): 데이터의 정확성과 신뢰성 유지.
7) 집행(Enforcement): 불만 접수 및 조정 메커니즘 제공.
EU와 미국은 데이터 보호의 모범 사례를 확립하고, 데이터 보안과 프라이버시를 보장하기 위한 규정을 제정했다.
2-4. 인터넷 지원자 규정 및 기록 보관 규정 (Internet Applicant Rule and Record-Keeping Regulations)
- 미국 노동부의 규정: 2005년 미국 노동부 산하 연방 계약 준수 프로그램 사무국(OFCCP)은 기존의 고용 선택 절차에 대한 연방 지침을 인터넷 기반 고용 과정에 적용하는 규정을 발표했다.
- 주요 요구사항: 조직은 인터넷 기반의 채용 프로세스에서 모든 지원자와 평가 참여자에 대한 기록을 보관해야 한다. 지원자를 정의하기 위한 기준으로 기본 자격 요건 충족 여부와 지원자의 관심 및 절차 준수를 포함한다.
- 지원자 풀이 확대되는 상황: 인터넷을 통해 많은 지원자가 몰릴 가능성이 있으므로, 평가와 테스트를 제공하기 전에 적격 지원자를 식별하는 것이 중요하다.
인터넷 기반 채용 절차에서는 모든 지원자 데이터를 기록하고 보관해야 하며, 적격 지원자를 명확히 정의하는 과정이 필요하다.
3. 기술의 평가 적용 (Applications of Technology to Assessment)
이 섹션에서는 기술을 활용하여 평가의 효율성과 효과를 향상시키는 다양한 응용 프로그램과 사례를 설명한다. 인터넷 기반의 사전 선별 도구에서 컴퓨터 적응형 테스트(CAT) 및 시뮬레이션 기반 평가에 이르기까지, 기술은 평가의 범위와 정밀도를 확장하고 있다.
3-1. 인터넷 응용 프로그램 및 스크리닝 (Internet Applications and Screening)
- 온라인 지원 시스템의 성장: 온라인 지원 시스템은 지원자가 채용 공고를 탐색하고, 이력서를 제출하며, 사전 선별 질문지와 지원서를 작성할 수 있도록 한다. 이는 인적 자원 관리자가 데이터에 접근하고 효율적으로 지원자를 선별하는 데 도움을 준다.
- 효과적인 선별 도구: 온라인 도구는 사전 정의된 자격 요건과 가중치를 활용해 지원자를 평가하고, 가장 가능성이 높은 후보자를 선별하여 평가 과정의 효율성을 높인다.
- 리스크 관리: 온라인 응용 프로그램과 스크리닝 도구는 요구사항이 잘못 정의될 경우 자격을 갖춘 지원자를 배제하거나 법적 문제를 초래할 수 있다. 따라서 이러한 도구는 다른 채용 절차와 동일한 엄격한 검증 과정을 거쳐야 한다.
인터넷 기반의 스크리닝 도구는 지원자를 선별하고 평가의 초기 단계를 간소화하는 데 유용하지만, 정확성과 공정성을 보장하기 위해 신중한 설계와 검증이 필요하다.
3-2. 컴퓨터 기반 테스트 (Computer-Based Testing)
- 컴퓨터 기반 테스트의 발전: 컴퓨터 기반 및 웹 기반 테스트는 지식, 능력, 또는 성격적 특성을 측정하는 표준화된 평가 도구로 활용된다. 주요 사례로는 자격증 시험, 대학 입학시험, 고용 선택 테스트 등이 있다.
- 효율성과 보안: 컴퓨터 적응형 테스트(CAT)는 응시자의 이전 응답에 따라 문항 난이도를 조정하여 평가 시간을 단축하고 보안을 강화한다. 또한, 증가하는 인터넷 대역폭과 기술적 발전은 오디오, 비디오, 그래픽 기반 문항 등 더욱 정교한 콘텐츠의 개발을 가능하게 했다.
- 자동화와 스코어링: 에세이 문항의 자동 점수화와 같은 고급 스코어링 알고리즘이 개발되었으며, 응시자의 응답 패턴을 분석하여 정확한 점수를 도출한다.
- 제약 사항: 고품질 문항을 구성하고 지역적 검증을 수행하기 위한 비용이 높으며, 일부 고위험 시험은 비감독 환경에서의 테스트 보안 위험으로 인해 전용 테스트 센터에서 시행될 수밖에 없다.
컴퓨터 기반 테스트는 효율성과 정밀성을 향상시키지만, 개발 및 보안 측면에서 높은 비용이 요구된다.
3-3. 평가 센터와 시뮬레이션 (Assessment Centers and Simulations)
- 전통적인 평가 센터의 한계: 전통적인 평가 센터는 참여자, 평가자, 역할 수행자, 관리자 모두가 한 장소에 모여야 하며, 평가 데이터를 통합하고 피드백 보고서를 작성하는 데 많은 시간과 자원이 필요하다.
- 기술 기반의 효율성: 기술을 활용한 원격 평가 센터는 비디오 및 인터넷을 통해 실시간으로 또는 저장된 영상을 평가자가 검토할 수 있게 하여 물리적 공간과 여행 비용을 줄인다.
- 소프트웨어 지원: 인터넷 기반 플랫폼을 통해 행동 관찰, 평가, 피드백 작성 및 전달을 자동화하고, 원격 통합 토론을 지원한다.
기술은 평가 센터의 효율성과 유연성을 크게 개선하며, 원격 평가와 데이터 통합을 용이하게 한다.
3-4. 고정밀 기술 기반 평가 (High-Fidelity Technology-Based Assessments)
- 고정밀 콘텐츠의 도입: 오디오, 비디오, 애니메이션을 활용하여 평가 자료의 현실감을 높이고, 실제 직무 환경을 더 잘 반영할 수 있도록 한다.
- 참여자의 응답 방식 다양화: 핫스팟(클릭 가능한 화면 영역), 드래그 앤 드롭, 가상 문서 및 스프레드시트를 활용하여 기존의 선택형 응답을 넘어서는 정교한 상호작용을 가능하게 한다.
- 제한 사항: 고해상도 그래픽 콘텐츠는 인터넷 대역폭 및 소프트웨어 호환성 요구를 증가시켜 유지 관리 비용이 상승할 수 있다. 또한, 참가자가 기술에 익숙하지 않은 경우, 평가의 타당성이 영향을 받을 수 있다.
고정밀 기술 기반 평가는 평가 경험의 현실감을 향상시키고 새로운 응답 방식을 도입하지만, 기술적 요구 사항과 비용 관리에 대한 추가적인 고려가 필요하다.
3-5. 추적 및 관리 도구 (Tracking and Administrative Tools)
- ATS(지원자 추적 시스템)의 역할: ATS는 채용 과정에서 열려 있는 직무와 지원자에 대한 정보를 수집, 추적, 보고하는 데 사용된다. 또한 지원자의 프로세스를 조정하고 배경 조사, 건강 검진 등록 등의 하위 시스템을 통합한다.
- 통합 평가 시스템: 일부 ATS는 사전에 선택된 다양한 평가 도구를 통합하여 평가 경험을 보다 매끄럽게 제공할 수 있다.
- 기술의 장점: ATS는 데이터를 효율적으로 관리하고 지원자 프로세스를 최적화하여 HR의 행정 부담을 줄인다.
추적 및 관리 도구는 채용 프로세스의 효율성을 극대화하고 평가 시스템을 다른 관리 도구와 통합하여 조직의 인적 자원 관리를 간소화한다.
3-6. 기술 기반 평가에 대한 연구 (Research on Technology-Based Assessments)
- 조직 이미지와 지원자 반응: 연구에 따르면, 인터넷 기반 스크리닝과 선택 도구의 속도와 사용 편의성에 대한 지원자의 인식은 조직 이미지에 긍정적인 영향을 미친다.
- 평가 효과 비교: 자동화된 평가(예: 대화형 음성 응답)는 면대면 인터뷰나 전화 인터뷰만큼 효과적일 수 있다. 연구는 이러한 방법이 지원자들에게 공정하고 긍정적으로 받아들여질 가능성이 높음을 보여준다.
- 미래 연구의 중요성: 기술 기반 평가의 유효성과 타당성을 보장하기 위해, 특히 평가 조건이 변경될 경우 지속적인 검증과 연구가 필요하다.
기술 기반 평가의 효과는 지원자 경험과 조직 이미지에 긍정적인 영향을 미치며, 지속적인 연구가 이를 강화하는 데 필수적이다.
4. 사례 연구 (Case Studies)
이 섹션에서는 다양한 기술 기반 평가의 성공적인 사례를 다루며, 기술이 평가 프로세스에 가치를 더하고 효율성을 높이는 방법을 제시한다.
4-1. 비감독 적응형 테스트 (Unproctored Adaptive Testing)
- 온라인 테스트의 증가: 온라인 테스트의 확산으로 인해 비감독 환경에서 평가를 시행하는 사례가 늘어나고 있다. 이는 보안 문제(문항 유출)와 응시자 신원 확인 문제를 야기한다.
- 적응형 테스트의 장점: 적응형 테스트는 응시자의 능력 수준에 따라 문항을 제공하여 보안을 강화하고 응답 신뢰도를 높인다. (예: Procter & Gamble의 iCAT(인터넷 적응형 테스트)는 대규모 문항 은행과 알고리즘을 활용하여 보안을 강화하고, 두 번째 감독 시험을 통해 초기 점수를 검증한다.)
- 후속 연구: 20만 명 이상의 지원자를 대상으로 iCAT의 타당성을 검증한 결과, 지원자들은 이 방식이 공정하다고 느꼈으며 전통적인 테스트와 유사한 만족도를 보였다.
비감독 적응형 테스트는 보안 문제를 완화하고 응시자의 능력을 보다 정확히 평가할 수 있는 가능성을 보여준다.
4-2. 직무 후보자의 고정밀 테스트 (High-Fidelity Testing of Job Candidates)
- 사례: 시뮬레이션 제조 작업 평가 플랫폼
이 플랫폼은 인터넷 기반으로 제조 작업을 시뮬레이션하며, 응시자는 화면에서 부품을 끌어다 놓아 제품을 조립하는 작업을 수행한다. 응시자는 작업 규칙을 배우고 이를 준수하며 작업을 완료해야 한다.
정확성 및 품질을 측정: 조립 과정에서의 오류와 시간 효율성을 평가. (예: Kauffman(2008)의 연구에서 고정밀 테스트 점수는 작업 속도와 품질을 포함한 실제 성과와 상관이 높았다(0.26~0.45).)
- 사례: COBRA 테스트
석유 및 화학 공장 운영자를 위한 가상 시뮬레이션 평가로, 4시간 동안 후보자가 정제소를 안전하고 효율적으로 운영하는 방법을 평가한다.
성과 측정: 생산 목표 달성, 에너지 사용 최소화, 품질 유지.
연구 결과: COBRA는 실제 작업 성과와 상관이 높은 것으로 나타남(0.20~0.44).
고정밀 테스트는 실제 작업 환경을 시뮬레이션하여 직무 성과를 정확히 예측하는 데 도움을 준다.
4-3. 이동식 원거리 평가 센터 (Portable, Long-Distance Assessment Centers)
- 기존 평가 센터의 개선: 과거에는 평가자들이 각 센터로 이동해야 했으며, 종이 기반의 데이터 처리로 시간과 비용이 많이 소요되었다.
- 기술 도입: 고화질 비디오카메라, 마이크, 웹 서버를 활용하여 평가자와 참여자가 서로 다른 위치에 있을 수 있도록 함.
원격 제어: 평가자가 카메라의 각도와 볼륨을 조정 가능.
스트리밍 비디오: 실시간 또는 저장된 영상을 통해 참여자를 평가.
- 통합 플랫폼:
참여자 행동 관찰, 성과 차원에 따른 분류, 평가 점수화, 피드백 보고서 작성.
실시간 비디오 회의와 메시징을 통한 원격 통합 회의 지원.
피드백 세션에서 행동 영상 클립을 활용하여 피드백 품질을 향상.
원거리 평가 센터는 비용 효율성을 높이고 평가 과정의 유연성을 제공하며, 기술적 도구로 데이터 통합을 지원한다.
4-4. 사용자 제작 평가 플랫폼 (User-Constructed Assessment Platforms)
- 목적: 기술 기반 평가 설계 비용을 절감하고, 비전문가도 평가 플랫폼을 설계할 수 있도록 지원.
- 사례: Iscopia 소프트웨어
이 플랫폼은 평가 설계자가 프로그래머 없이도 멀티 테스트 프로세스를 설계할 수 있도록 한다.
주요 기능:
기존 평가 도구 통합(인지 및 성격 테스트 등).
결과 보고 및 진행 상황 추적.
인터페이스에서 애니메이션, 아바타, 시뮬레이션 등 시각적 도구 구성 가능.
(예: 작업 시뮬레이션에서 이메일, 캘린더, 문서, 전화 통합을 통해 응시자가 여러 우선순위 간의 결정을 내리도록 함.)
- 주의사항:
유효성과 신뢰성을 유지하기 위한 철저한 검증 필요.
매력적인 시각적 요소는 평가 품질을 저하시키지 않아야 함.
사용자 제작 평가 플랫폼은 비용 효율성과 유연성을 제공하며, 다양한 시뮬레이션 환경을 구축할 수 있는 도구를 제공한다.
5. 기술 기반 평가에서 제기된 일반적인 문제
(Common Issues Raised by Technology-Based Assessment)
기술 기반 평가의 확산과 함께 새로운 문제가 대두되고 있으며, 기존 문제의 중요성도 증가하고 있다. 이 섹션에서는 가장 두드러진 문제들을 다룬다.
5-1. 평가 등가성 (Assessment Equivalence)
- 문제점: 종이 기반 평가를 전자 형식으로 전환할 때, 화면 해상도, 내비게이션, 전송 속도와 같은 기술적 요소가 평가의 효율성과 결과에 영향을 미칠 수 있다.
- 연구 결과: 대부분의 평가에서 전환에 따른 문제는 크지 않으나, 평가 속도가 중요한 요소인 경우 컴퓨터화가 영향을 줄 수 있다.
- 해결 방안: 컴퓨터화된 평가와 비컴퓨터화된 평가 간 결과의 등가성을 검증하는 연구가 필요하며, 이를 위해 측정 전문가의 지침이 요구된다.
평가 등가성을 보장하기 위해, 전자 형식으로의 전환 과정에서 신중한 검증과 연구가 필요하다.
5-2. 적절한 배포 조건 (Appropriate Deployment Conditions)
- 문제점: 인터넷 기반 평가에서 응시자가 평가에 접근하는 환경(시간, 장소)의 변동성과 보안 문제, 신원 확인 문제 등이 존재한다.
- 기술적 해결책:
적응형 테스트와 같은 기술을 통해 보안 문제를 완화.
타이핑 패턴 분석이나 웹캠 기반 감독으로 신원 확인 강화.
고급 암호화 및 보안 네트워크를 활용하여 데이터 유출 방지.
인터넷 기반 평가의 배포 조건은 신원 확인과 보안 위험을 줄이기 위한 기술적 접근법을 필요로 한다.
5-3. 문화적 적응 (Cultural Adaptation)
- 문제점: 인터넷은 평가가 국경과 문화적 경계를 쉽게 넘을 수 있게 하지만, 평가가 특정 문화와 언어에 민감할 수 있다.
- 해결 방안:
평가를 다른 문화권에서 사용할 경우, 해당 문화에 적합한지 검증하는 연구가 필요하다.
측정 전문가와 협력하여 문화 간 적합성을 평가할 것.
평가의 문화적 적합성을 보장하기 위해, 새로운 문화권에 도입하기 전 철저한 연구와 검증이 필요하다.
5-4. 데이터 보안 및 프라이버시 (Data Security and Privacy)
- 데이터 보안의 중요성: 기술 기반 평가에서는 데이터 보안이 프라이버시를 보장하는 핵심 요소이다. 보안 없이는 개인 정보 보호가 불가능하다.
- 일반적인 보안 도구:
비밀번호 및 생체 인증(지문, 손바닥 인식).
역할 기반 접근: 사용자의 역할에 따라 데이터 접근 제한.
변경 기록(로그 파일): 데이터 변경 사항 추적.
데이터 암호화: 인터넷을 통한 데이터 전송 보호.
보안 네트워크 설정: 하드웨어 손실 및 도난 방지.
- 추가 조치:
외부 감사: 평가 시스템이 최신 보안 기술을 사용하는지 확인.
정기적인 유지 보수와 업그레이드.
데이터 보안 및 프라이버시는 기술 기반 평가의 필수 요소로, 최신 기술과 엄격한 절차를 통해 보장되어야 한다.
5-5. 소프트웨어 유지 관리 (Software Maintenance)
- 문제점: 기술 기반 평가에서 사용되는 소프트웨어는 지속적인 유지 관리가 필요하며, 이는 추가 비용을 발생시킨다.
- 소프트웨어 제공 모델:
1) 단일 클라이언트 모델: 개별 조직이 특정 소프트웨어 사본을 사용하며, 맞춤화가 가능하지만 유지 관리 비용이 높다.
2) 공유 클라이언트 모델(SaaS):
여러 조직이 동일한 소프트웨어를 사용하지만, 각 조직의 데이터는 분리 관리된다. 비용은 낮지만, 맞춤화 옵션이 제한적이다.
3) 서비스 수준 계약(SLA): 유지 관리와 지원의 범위를 명확히 정의한 계약이 필요하며, 이는 사용자가 문제 발생 시 기대할 수 있는 지원 수준을 보장한다.
소프트웨어 유지 관리는 지속적인 비용과 기술적 지원을 수반하며, 이를 최소화하기 위해 SaaS 모델과 SLA의 활용이 중요하다.
5-6. 통합 (Integration)
- HR 프로세스 간 통합: 조직은 채용, 성과 관리, 승계 계획과 같은 다양한 HR 프로세스를 단일 플랫폼에서 통합하려는 경향이 있다.
- 소프트웨어 설계의 진보: 서비스 지향 아키텍처(SOA)와 XML 같은 현대적 프로그래밍 방식은 소프트웨어 간 통합을 용이하게 한다.
- 통합의 장점: 인재 관리 시스템은 채용에서 승계까지의 모든 HR 프로세스를 연결하여 효율성과 데이터 활용도를 높인다.
통합 시스템은 HR 프로세스 간의 데이터 흐름을 원활하게 하여 조직의 효율성을 높이고 관리 비용을 절감한다.
6. 미래의 기회와 과제 (Future Opportunities and Challenges)
기술 발전은 평가에 많은 가능성을 열어주며, 미래의 평가 방식에 큰 변화를 가져올 잠재력을 가지고 있다.
6-1. 소셜 네트워킹 기술의 응용 (Applications of Social Networking Technology)
- 제3세대 학습 모델: 학습자는 강사, 콘텐츠, 동료 학습자와 상호작용하며 지식을 습득한다. 파일 공유, 채팅, 토론 게시판, 화상 회의 등의 기술이 사용된다.
- 평가로의 전환 가능성: 소셜 네트워크 기술은 가상의 조직적 사회 네트워크를 구성하여 참가자 간 상호작용을 기반으로 한 행동 평가를 가능하게 할 수 있다. (예: 가상 세계(Second Life)를 활용한 시뮬레이션 평가)
소셜 네트워크 기술은 평가 환경의 상호작용성을 높이고, 팀워크와 행동 평가를 지원할 가능성이 있다.
6-2. 가상현실을 통합한 평가 (Assessments Incorporating Virtual Reality)
- 현재 상태: 가상현실(VR)은 주로 외과 의사, 조종사 등 기술 훈련 분야에 사용되고 있으며, 이는 평가로 확장될 가능성이 있다.
- 평가 응용 가능성: VR 기술은 복잡한 기술을 평가하는 시뮬레이션을 생성할 수 있다. 예를 들어, 응시자가 3D 환경에서 실제 작업을 수행하도록 하여 더 정밀한 평가가 가능하다.
- 도전 과제: 평가에서는 표준화와 통제 필요성이 크기 때문에, 훈련 도구의 직접적 전환은 제한될 수 있다.
가상현실은 복잡한 기술 평가를 위한 새로운 가능성을 제공하지만, 표준화와 통제를 위한 추가 연구가 필요하다.
6-3. 미래 과제 (Future Challenges)
- 미래의 변화:
가상 환경에서 평가가 이루어질 가능성.
모바일 기기를 통해 평가에 접근하는 사례 증가.
생체 인증(지문, 타이핑 패턴 등)이 전통적인 감독을 대체할 가능성.
평가 콘텐츠의 오픈 소스화.
- 지속 가능한 기술 발전: 새로운 기술이 스타일적 변화뿐 아니라 측정 신뢰성, 타당성, 정밀도를 높이는 데 기여해야 지속 가능하다.
미래 평가의 성공은 기술의 적응 가능성과 측정 가치 향상에 달려 있으며, 평가 설계에서 사용자 몰입도가 핵심 요소가 되어야 한다.
나의 어린 시절 일요일 낮 시간을 채워주던 "원더키디 2020"을 보면 하늘을 날아다니고, 기계와 인간이 다투고 있다. 1989년 제작 당시의 미래는 그런 모습이었나 보다.
지금이야 모바일로 진행하고 있지만, 2015년 LG인화원으로 조직 이동을 했을 때만 해도 교육 시작 전 OMR 카드를 활용해 평가를 보고 30분 사이 불합격자들을 현업으로 돌려보냈었고, 교육 종료 시 만족도 의견조사도 수기로 받았던 기억이 있다. 조금 더 익숙한 시험의 경우를 떠올려보면 토플이나 GRE와 같은 시험은 과거의 지필고사에서 IBT 방식으로 전환되었으나 토익과 텝스는 여전히 모두가 같은 시간에 지필고사 형태를 유지한 채 진행되고 있다.
사실 15년 전 쓰인 책에서 다뤄진 기술에 대한 이야기를 통해 새로운 내용을 배울 수 있을 리 없다. 하지만 관점을 달리해 현재의 시선으로 15년 전 말하는 진단과 평가의 미래 모습 중 얼마나 현실 속에서 활용하고 있는지를 생각해 보는 것은 의미가 있을 수 있다. 게다가 여전히 15년 전 방식을 활용하고 있는 부분도 있는데, 그에 대한 합당한 이유가 있는지 생각해 볼 필요가 있다. 앞으로 15년 후를 말하는 것이 사실상 무의미 하지만 생성형 AI를 통해 미래 가능성을 짐작해 봤을 때, 진단의 현재이자 미래는 어떤 방향을 지향하는 것이 좋을지, 그리고 그 방향 안에서 바뀌지 않아야 할 본질은 무엇인지 고민이 필요하다.