타당성(Validity)이란?

 

타당성 

 

(1) 개념 

타당성이란 측정하고자 하는 개념이나 속성을 정확히 측정하였는가를 말한다. 즉 특정한 개념이나 속성을 측정하기 위하여 개발한 측정도구가 그 속성을 정확히 반영할 수 있는가의 문제이다. 아무리 측정값들의 신뢰도가 높게 나타났다 할지라도 측정된 값 자체가 다른 속성이나 다른 개념을 측정한 것이라면 아무런 쓸모가 없다.

 

예를 들어, 한국대학생들의 지능검사를 영어로 된 검사지로 조사하였다고 하자. 이 때 평가된 점수가 과연 학생들의 지능을 측정한 결과라고 할 수 있을까? 이 경우는 타당성이 없는 개념의 측정결과일 가능성이 높다. 왜냐 하면 영어로 된 검사지를 사용함으로써 지능보다는 학생들의 영어실력에 의해서 지능점수가 좌우될 소지가 충분히 있기 때문이다. 따라서 이 경우에는 지능이 아닌 영어실력이라는 개념을 측정한 것이 될 수 있다.

 

타당성은 측정도구 자체가 측정하고자 하는 개념이나 속성을 정확히 반영할 수 있어야 한다는 것이며, 이는 측정하려고 하는 개념을 어떻게 조작적 정의화하느냐에 상당히 영향을 받는다. 어떠한 개념이나 속성을 하나의 조작적 정의로 표현하고, 이것으로 측정할 수도 있으나 하나의 조작적 정의에 의한 측정결과만으로 해당 개념을 정확히 측정하였는지는 판단하기가 어렵다. 따라서 몇 가지의 조작적 정의를 이용하여 측정을 하고, 각 측정값간의 상관관계를 조사하여 측정의 타당성을 평가하는 방법을 취하여야 한다. 

 

따라서 타당성을 평가하기 위해서는 동일한 개념의 측정을 위해 매우 서로 다른 조작적 정의(항목)를 이용하여 측정한 값들간의 상관도가 매우 높아야 할 것이다. 이러한 원리를 이용하여 타당성을 평가하는 방법으로는 다속성다측정방법(multi-trait multi-method matrix)이 있다. 타당성은 측정하고자 하는 것을 정확히 측정하였는가에 대한 문제, 즉 정확성과 관련이 되는 것이므로 체계적인 오차와 비체계적인 오차에 의해서 영향을 받는다고 볼 수 있으나 비체계적인 오차는 신뢰성과 관련이 있는 것이므로 이를 분리하여 보통 체계적인 오차에만 관심을 두게 된다.

 

(2) 타당성의 종류

타당성은 그 평가방법에 따라 ① 내용타당성(content validity), ② 기준에의한타당성(criterion-related validity) 및 ③ 개념타당성(construct validity)의 개념으로 나누어 볼 수 있다. 기준에 의한 타당성에는 예측타당성(predictive validity)이 있으며, 개념타당성으로는 집중타당성(convergent validity), 판별타당성(discriminant validity) 및 이해타당성(nomological validity)이 있다.

 

(가) 내용타당성

측정도구 자체가 측정하고자 하는 속성이나 개념을 측정할 수 있도록 되어 있는가를 평가하는 것이다. 내용타당성(content validity 또는 face validity)은 공식적 또는 비공식적으로 주관적인 판단에 의해서 평가하게 된다. 예를 들어, 소비자의 상표인지도를 측정하기 위해서 두 가지 측정도구를 개발하였다고 하자. 하나는 그 상표를 좋아하느냐를 묻는 항목이고, 다른 하나는 그 상표를 알고 있느냐를 묻는 항목이라고 할 때, 어느 정도 상식을 갖춘 사람이면 후자의 경우가 상표인지도의 측정도구로 적합하다고 판단을 내리게 될 것이다. 이처럼 주관적으로 전문지식에 근거하여 판단한 타당성이 바로 내용타당성이다. 내용타당성은 측정도구가 갖추어야 할 최소한의 타당성이 될 것이다. 따라서 일단 내용타당성이 없다고 판단되면 그 측정도구는 채택되지 못한다.

 

(나) 기준에의한타당성

하나의 속성이나 개념의 상태에 대한 측정이 미래 시점에 있어서의 다른 속성이나 개념의 상태변화를 예측할 수 있는 정도를 말한다. 대표적인 기준에 의한 타당성(criterion-related validity)의 개념으로 예측타당성(predictive validity)이 있다. 예를 들어, 입학시험은 입학당시의 지적능력을 측정하는 것이지만 이의 평가는 입학 후의 수학능력을 예측하기 위하여 실시되는 것이라고 볼 수 있다. 이 때 입학시험성적이 입학 후의 학업성적과 높은 상관관계를 갖는다면 입학시험이라는 측정은 예측타당성이 높다고 평가된다.

 

(다) 개념타당성

측정도구가 실제로 무엇을 측정하였는가, 또는 조사자가 측정하고자 하는 추상적인 개념이 실제로 측정도구에 의해서 적절하게 측정되었는가에 관한 문제로서, 이론적 연구를 하는 데 있어서 가장 중요한 타당성이다. 측정하고자 하는 개념이 추상적일수록 측정의 개념타당성(construct validity)을 갖기는 더욱 어려워진다. 예를 들어, 판매원의 직무만족, 역할갈등이나 소비자의 구매에 대한 불만과 같은 개념을 측정할 때 개념타당성의 문제가 대두된다. 이러한 개념타당성은 측정에 의해서 부여되는 숫자체계, 즉 측정값 자체보다는 측정하고자 하는 속성에 초점을 둔 측정의 타당성이다. 따라서 개념타당성은 논리적인 분석과 이론적인 체계하에서 개념간의 관계를 밝히는 데 중점을 두고 평가되며 이론의 구축에 매우 중요하게 고려되어야 한다.

이 개념타당성은 크게 집중타당성, 판별타당성, 이해타당성으로 구성되어 있다.

 

① 집중타당성(convergent validity) - 동일한 개념을 측정하기 위하여

 

최대한으로 서로 다른 두 가지 측정방식을 개발하고 이에 의하여 얻어진 측정치들 간에 높은 상관관계가 존재해야 한다는 것이다. 예를 들어, 소비자의 상표선호도를 측정하기 위해서 두 가지 서로 다른 측정도구(항목)를 개발하였다고 하자. 하나는 상표의 경쟁상표와 해당 상표와의 월간 구매비율을 측정하는 방법이고, 또 다른 방법으로는 단순히 몇 가지의 상표를 나열하고 가장 좋아하는 상표를 선택하라고 하는 방법이 있다. 두 방식에 의한 선호도측정치들에 서로 높은 상관관계가 나타났다면 두 측정도구는 측정하고자 하는 상표선호도라는 개념을 측정하였다고 판단할 수 있다.

 

② 판별타당성(discriminant validity) - 서로 다른 개념을 측정했을 때

 

얻어진 측정치들 간에는 상관관계가 낮게 형성되어야 한다는 것이다. 이 타당성의 평가는 다음에 다시 언급되겠지만, 서로 다른 개념들을 동일한 측정방법을 사용하여 측정한 경우와 서로 다른 측정방법을 이용하여 측정한 경우로 나누어 볼 수 있다. 예를 들어, 상표의 인지도와 상품의 선호도라는 서로 다른 개념을 각각의 제품들에 대하여 측정했을 때 측정치들의 상관계수가 낮게 나왔다면, 그 측정방법은 판별타당성이 있다고 할 수 있다. 이 타당성평가는 검증타당성과 함께 조사하는 것이 일반적이다.

 

③ 이해타당성(nomological validity)

 

특정개념을 어떻게 이해하고 있는가에 관한 것이다. 즉 이해타당성을 높이기 위하여 조사자는 관심이 있는 특정개념과 관련이 되는 개념들을 체계적으로 연결시키는 이론적 구성도를 작성하여 관련되는 개념들로 구성된 모델에 측정방법을 연결시키는 노력해야 한다. 또한 그 모델을 통하여 계속적으로 모델을 평가하고 해석하며 관련된 다른 모델을 추론해 나가야 한다. A라는 개념이 B라는 개념과 높은 상관관계를 가진다고 할 때 개념 A만 측정하기보다는 B와 함께 측정할 수 있는 방법이 높은 타당성을 가지게 된다. 예를 들어, 특정상품의 선호도가 높으면 실제 구매빈도가 높다는 이론과 구매빈도는 상품의 선호도뿐만 아니라 쉽게 구매할 수 있는 정도에도 영향을 미친다는 이론이 있다고 하자. 이 때 상품의 선호도만을 측정하는 것보다 쉽게 구매할 수 있는 정도를 같이 측정하도록 한 이론이 더 구매빈도를 잘 설명한다고 하면, 두 가지 개념을 체계적으로 이용한 이론이나 측정방법의 이해타당성이 높은 것이다.