SPSS로 배우는 통계 - 3. 신뢰도 분석
어떤 조사나 검사를 할 때 측정의 가치를 평가할 때 신뢰도와 타당도를 계산합니다.
측정의 신뢰도 (Reliability)의 개요
신뢰도라는 개념은 1904년 찰스 스피어맨이 처음 소개했고, 측정도구가 동일한 대상에 대해 여러 번 반복 시행해도 동일한 결과를 얻을 수 있는 정도를 의미합니다. 신뢰도는 측정의 결과가 일관성을 가진다는 의미입니다.
타당도(Validity)는 측정한 데이터가 연구하는 바와 일치하는 정도를 나타냅니다. 신뢰도가 높지만 타당도가 낮은 데이터는 널려있지만, 신뢰도가 낮지만 타당도가 높은 데이터는 없습니다. 신뢰도는 타당도의 필요조건입니다.
믿을 수 있는 조사 결과는 측정 도구의 신뢰도와 타당도를 확보한 것입니다. 신뢰가 높다는 것은 측정 도구로 인한 측정 오차가 거의 없고 일관된 결과를 얻는다는 의미입니다. 예를 들어, 신뢰도가 높지만 타당도가 낮다는 의미는 사격으로 보면 탄착군이 좁고 모여있지만 원하는 표적지가 아닌 곳에 총을 쏜 것입니다.
여기서는 신뢰도를 위주로 정리합니다.
검사-재검사 신뢰도(Test-Retest Reliability)
동일한 검사를 일정한 시간을 두고 반복적으로 시행하여 일관된 결과를 얻어내는 방법입니다. 신뢰도의 정의에 부합하는 가장 일반적인 신뢰도 확보 방법입니다. 동일한 검사를 두 번 실시하면 검사 결과의 차이는 측정오차에 의한 것이라 가정할 수 있습니다.
검사-재검사 신뢰도의 문제점은 시간에 따른 영향을 받을 수 있습니다. 예를 들어, 동일한 집단에 너무 짧은 간격으로 측정을 할 경우 기억 및 학습 효과가 발생하여 신뢰도를 과잉 추정할 수 있습니다. 상대적으로 너무 긴 간격으로 측정할 경우 성숙 효과가 발생합니다. 성숙 효과는 시간이 경과하여 자연스럽게 변화되는 요인들이 많다는 것입니다. 따라서, 가장 적당한 시간 간격은 연습 효과를 제거하고 성숙 효과를 제거할 수 있는 간격입니다.
예를 들면, IQ 검사를 처음 시도하고 며칠 후에 다시 시도한다면, 연습 효과와 기억효과로 인해 IQ 검사 결과는 올라갈 것입니다. 멘사에서 IQ 검사 재응시 기간을 6개월에서 1년으로 늘린 사례가 있습니다.
동형 검사 신뢰도(Alternate Forms Reliability)
두 개의 측정 도구로 대상 집단에서 표본을 뽑아 동시에 조사하여 두 점수 간의 일치하는 정도로 신뢰도를 검증합니다. 두 개의 검사가 동일한 것을 측정하고 있다면 검사 결과의 차이는 측정 오차에 의한 것이라 가정할 수 있습니다.
동형 검사의 문제점은 두 개의 측정 도구를 개발하는 데 상당한 비용과 시간이 소요되고, 이론적으로 두 개의 측정도구는 같다고 가정하지만, 실제로는 동일하게 만드는 것이 쉽지 않습니다. 두 개의 측정도구가 같다는 것을 설득하기란 정말 쉽지 않습니다.
반분 신뢰도 (Split-half Reliability)
전체 검사의 문항을 절반으로 나누어 두 개의 점수를 만든 후 그 둘의 충점 간의 일치하는 정도로 신뢰도를 검증합니다. 반분 신뢰도는 동형 검사 신뢰도와 비슷합니다. 하나의 측정 도구를 둘로 나누는 것이나 두 개를 만드는 것이나 비슷합니다.
반분 신뢰도의 문제점은 절반으로 나누는 것이 동형인가라는 문제가 있고, 전체 문항을 반으로 나누는 방식에 따라 신뢰도 계수가 달라질 수 있습니다. 일반적으로 홀수와 짝수로 나눕니다.
내적 일관성 신뢰도 (Internal Consistnecy Reliability)
개별 문항을 간의 내적 일관성의 정도를 토대로 신뢰를 검증합니다. 내적 일관성은 개별 문항에 대한 신뢰도를 추정합니다. 내적 일관성 신뢰도는 문항을 어떻게 나누느냐에 따라 신뢰도가 달라지는 반분 신뢰도의 한계를 극복하기 위해 개발된 것으로 반분 검사 신뢰도 점수를 평균한 것입니다.
크론바흐 알파계수(Cronbach Alpha Coefficient)
크론바흐 알파계수는 내적 일관성 신뢰도를 추정하는 가장 대중적인 방법입니다. 0과 1 사이의 값을 가지고 값이 높을수록 신뢰가 높습니다. 크론바흐 알파계수를 계산하는 공식은 다음과 같습니다.
크론바흐 알파계수는 각 문항의 분항의 합계를 총점의 분산으로 나눈 값을 뺀 것입니다. 그리고 앞의 보정 계수는 전체 문항의 수를 전체 문항에서 1을 뺀 수로 나누어줍니다.
SPSS에서 신뢰도 분석하기
1) 메뉴바에서 "분석 >> 척도 분석 >> 신뢰도 분석"을 선택합니다.
2) 신뢰도 분석 창에서 직무몰입 변수를 항목으로 이동합니다. 그리고 통계량 버튼을 선택합니다.
통계창의 결과 데이터를 분석합니다.
신뢰도 통계량 (Reliability Statistics) 표에서 전체 7개 문항에 대한 신뢰도를 나타내는 크롬바흐 알파계수는 0.712입니다. 바람직한 크기입니다. 항목 총계 통계량 표의 맨 왼쪽 열은 "항목이 삭제된 경우 크롬바흐 알파 계수"를 나타냅니다. 직무몰입7을 삭제할 경우 크롬바흐 알파 계수는 0.762로 증가합니다.
7번 설문 항목을 제거한 후 재분석
1) 메뉴바에서 신뢰도 분석 메뉴를 선택하고 직무 몰입7을 제외하고 확인을 선택합니다.
2) 통계 창의 결과 데이터를 분석합니다.
신뢰도 통계량 (Reliability Statistics) 표에서 전체 6개 문항에 대한 신뢰도를 나타내는 크롬바흐 알파계수는 0.762입니다. 바람직한 크기입니다. 항목 총계 통계량 표의 맨 왼쪽 열은 "항목이 삭제된 경우 크롬바흐 알파 계수"를 나타냅니다. 직무몰입 6를 삭제할 경우 크롬바흐 알파 계수는 0.844로 증가합니다.
6번 항목을 제거 후 재분석
직무몰입7과 직무몰입6을 제거한 상태이고 5개 문항만을 이용할 경우 크론바흐 알파계수는 0.844입니다. 다른 항목을 더 삭제하더라도 신뢰도는 더 이상 증가하지 않습니다. 여기서 멈추는 것이 가장 좋습니다.
테스트 예제
SPSS에서 신뢰도 분석 결과 이해하기 - 과제 2-3
최초 크론바흐 알파 계수가 5문항 0.436으로 너무 낮으므로 직무만족3을 제거하면 크론바흐 알파 계수는 0.770으로 증가하고, 다시 직무만족4를 제거하면 매우 높은 신뢰도인 0.953으로 증가합니다. 따라서, 3개 문항에 크론바흐 알파계수를 0.953으로 유지하는 것이 바람직합니다.
