Research Article
설문조사에서 불성실 응답의 탐지방법과 제거의 효과
1 서울대학교, 2 서울대
발행: 2020년 1월 · 49권 2호 · pp. 331-364
DOI: https://doi.org/10.17287/kmr.2020.49.2.331
본문 보기
초록
본 연구는 설문조사에서 발생하는 불성실 응답(careless responding)을 탐지하는 방법과 이를 제거함으로써 얻을 수 있는 효과에 대해 논의한다. 우선, 본 연구는 설문조사에서 발생하는 다양한 불성실 응답의 개념과 유형을 정리하여 설명하였다. 이어서, 최근 활발히 연구가 진행되고 있는 불성실 응답의 다양한 탐지방법들을 직접적, 비개입적, 통계적 방법으로 나누어 소개하였다. 특히, 향후 연구자들이 자신의 연구 맥락에 맞추어 이를 활용할 수 있도록 각 방법이 지닌 의미와 장단점, 그리고 탐지 기준을 비교하여 안내하였다. 나아가 본 연구에서는 소개된 다수의 불성실 응답 탐지방법 및 제거의 효과를 확인하기 위해, 국내 대기업 구성원 3,030명을 대상으로 한 설문조사 결과를 활용하여 별도의 실증분석을 실시하였다. 여기에는 총 다섯 가지 불성실 응답 탐지방법이 적용되었으며, 각 방법에 의하여 탐지된 불성실 응답을 제거하기 전 · 후의 통계적 결과를 비교하는 방식으로 효과를 검증하였다. 실증연구를 통해 확인한 주요 결론은 다음과 같다. 첫째, 탐지에 활용된 방법에 따라, 불성실 응답으로 분류되는 응답자의 숫자와 비율이 달라졌다. 개별 탐지방법에 따라 약 0.5%~14%의 답변이 불성실 응답으로 분류되는 것으로 나타났다. 둘째, 불성실 응답의 제거가 통계적 추론 결과에 미치는 영향을 확인한 결과, 불성실 응답의 존재가 상관관계, 요인분석, 회귀분석 결과에 미치는 영향은 기존 문헌의 결과와 유사한 수준으로, 연구 가설의 결과를 왜곡시킬 정도로 크지 않은 것으로 나타났다. 셋째, 2개 이상의 탐지방법을 조합하는 다중 허들방식(multi-hurdle)을 적용하여 불성실 응답을 탐지한 예시를 보여주었다. 마지막으로 본 연구에서는 문헌고찰과 실증분석 결과를 바탕으로, 연구자들이 설문조사에서 활용할 수 있는 불성실 응답 탐지방법과 향후 관련 연구방향을 제시하였다.
