설문 응답률이 낮은 조사 결과는 믿을 수 없나요?
설문 응답률이 낮다는 사실만으로 결과를 버릴 수는 없습니다. 무응답이 결과를 비트는 정도는 응답하지 않은 사람이 조사 주제에서 응답자와 얼마나 다른가에 달려 있고, 여러 연구에서 응답률과 편향의 크기가 일정하게 비례하지 않았습니다. 다만 응답률은 편향 위험을 가늠하는 첫 단서이므로 계산 기준을 밝히고, 응답자와 무응답자의 차이를 따로 점검해 보세요.
설문 응답률은 어떤 기준으로 계산하나요?
미국여론조사학회(AAPOR)는 1998년부터 「표준 정의(Standard Definitions)」를 펴내 응답률 계산법을 통일해 왔고, 2023년에 10판을 냈습니다. 표준 정의는 표본의 모든 사례를 완료 응답, 부분 응답, 거절·중단, 접촉 실패, 자격 불분명 등으로 분류한 뒤 여섯 가지 응답률을 계산하게 합니다. 같은 조사라도 어떤 공식을 쓰느냐에 따라 응답률이 달라지므로, 숫자 옆에 공식 이름을 함께 적는 것이 기본입니다.
AAPOR 표준 정의의 응답률 종류
| 지표 | 분자 | 분모의 특징 |
|---|---|---|
| RR1(최소 응답률) | 완료 응답 | 자격이 불분명한 사례를 모두 포함 |
| RR2 | 완료 응답과 부분 응답 | RR1과 같은 분모 |
| RR3 | 완료 응답 | 자격 불분명 사례 중 자격이 있다고 추정한 비율(e)만 포함 |
| RR4 | 완료 응답과 부분 응답 | RR3과 같은 분모 |
| RR5, RR6 | 완료 응답(RR6은 부분 응답 포함) | 자격 불분명 사례를 제외하며 RR6이 최대 응답률 |
표준 정의는 RR3를 보고에 널리 쓰이는 응답률로 소개하면서, 추정 비율 e를 응답률을 높이려는 목적으로 고르면 안 되고 그 근거를 명시해야 한다고 밝히고 있습니다. 응답률 외에 협조율, 거절률, 접촉률도 함께 정의되어 있어 무응답이 연락이 안 된 탓인지 거절한 탓인지 나누어 볼 수 있습니다.
설문 응답률이 낮으면 무응답 편향이 커지나요?
항상 그렇지는 않습니다. AAPOR 표준 정의는 응답률이 낮을수록 표본의 타당성에 의문이 커진다는 가정이 맞을 수도 틀릴 수도 있다고 짚고, 응답률 정보만으로는 무응답 오차가 얼마나 있는지, 있기는 한지도 판단할 수 없다고 밝힙니다. Groves(2006)는 무응답이 편향을 만들 수도 있지만 늘 그런 것은 아니며, 무응답률과 편향 사이의 연결이 없는 사례가 확인되었다고 설명했습니다. 동시에 편향을 추정한 연구들을 종합하면 편향이 있는 경우가 흔했다고도 밝혔습니다.
Groves와 Peytcheva(2008)는 무응답 편향의 크기를 추정한 방법론 연구 59건을 메타분석했습니다. 분석 대상 연구들은 표본 틀의 변수, 표본과 연결한 행정 기록, 무응답자 추적 조사 같은 설계를 썼고, 저자들은 조사 설계 특성과 표본의 성격, 계산하는 통계치의 속성으로 응답률과 편향의 관계가 나타나는 조건을 살폈습니다. 같은 조사 안에서도 통계치에 따라 편향 정도가 다를 수 있다는 점을 전제로 한 분석입니다.
응답률이 크게 다른 두 조사는 결과도 달랐나요?
Keeter 외(2000)는 같은 설문지로 노력 수준만 다르게 한 미국 전국 전화조사 두 건을 비교했습니다. 공공 여론조사를 대상으로 한 연구여서 고객 만족 설문과 조건은 다르지만, 응답률 차이가 결과 차이로 곧바로 이어지는지 보여 주는 자료입니다.
Keeter 외(2000)의 두 전화조사 비교
| 구분 | 표준 조사 | 엄격 조사 |
|---|---|---|
| 조사 기간 | 5일 | 8주 |
| 응답자 선정 | 전화 당시 집에 있던 성인 | 가구 내 성인 전체 중 무작위 선정 |
| 응답률(AAPOR 기준) | 36.0% | 60.6% |
두 조사의 91개 비교에서 차이가 9%p를 넘은 항목은 없었고 평균 차이는 약 2%p였습니다. 통계적으로 의미 있는 차이는 대부분 인구통계 문항에서 나왔습니다. 응답률보다 누가 빠졌는지가 결과를 좌우할 수 있음을 보여 줍니다.
확률 표본이 아닌 설문에도 응답률을 쓸 수 있나요?
AAPOR는 표본조사의 품질 전체를 보여 주는 단일 숫자는 없다고 강조합니다. 온라인 모집 패널처럼 확률 표본이 아닌 경우에는 초대받은 사람 가운데 응답한 비율을 응답률이라 부르지 말고 참여율로 구분하라고 권하며, 이 비율이 높다고 편향 위험이 줄어든다는 뜻은 아니라고 밝힙니다. 참여율은 패널 관리 방식에 따라 달라지므로 패널 사이의 비교 지표로도 쓰임새가 적다고 봅니다.
서비스 이용자 설문에서는 응답률과 함께 무엇을 봐야 하나요?
한국서비스연구소는 인터뷰, 설문, 현장 관찰을 결합해 이용 과정을 조사하고, 이용자 유형과 환경에 따른 경험 차이를 비교합니다. 연령, 장애, 언어, 디지털 활용 능력에 따른 이용 차이를 살피는 포용성도 핵심 가치로 둡니다. 이 관점에서는 설문에 답하지 않은 이용자가 어떤 채널과 시간대를 이용했는지 운영 데이터와 맞춰 보고, 빠진 집단은 관찰이나 인터뷰로 보완할 수 있습니다. 조사 방법의 조합은 연구·평가 방법과 이용자 경험 연구에서 확인해 보세요. 설문 대신 기록과 관찰로 확인할 항목은 대기 시간, 실제 시간과 체감 시간 중 무엇을 재야 하나요?와 미스터리 쇼핑(암행 평가)은 어떻게 진행하나요?에서 이어 볼 수 있습니다.
설문 응답률 자주 묻는 질문
설문 응답률은 몇 퍼센트 이상이어야 믿을 수 있나요?
AAPOR 표준 정의는 합격선이 되는 응답률을 제시하지 않습니다. 응답률만으로는 무응답 오차의 크기를 판단할 수 없다는 입장이므로, 응답자와 무응답자의 차이를 함께 점검해야 합니다.
설문 응답률과 협조율은 어떻게 다른가요?
응답률은 조사 대상이 될 수 있는 전체 사례 가운데 응답한 비율이고, 협조율은 실제로 접촉한 대상 가운데 응답한 비율입니다. 협조율이 높고 응답률이 낮다면 연락이 닿지 않은 사례가 많다는 신호일 수 있습니다.
응답률이 낮을 때 가중치를 주면 해결되나요?
Groves(2006)는 사후 보정에 보조 변수가 필요하며 그 효과는 설계와 보조 변수의 질에 달려 있다고 설명합니다. 무응답자의 특성을 알려 주는 정보가 없다면 가중치로 바로잡을 수 있는 범위가 좁습니다.
그렇다면 응답률을 높이려는 노력은 의미가 없나요?
의미가 있습니다. Keeter 외(2000)에서 두 조사의 차이는 대부분 인구통계 문항에서 나왔으므로, 응답률이 낮으면 응답자 구성이 달라질 수 있습니다. AAPOR도 응답률 계산을 무응답 오차를 이해하는 첫 단계로 봅니다.
출처
- AAPOR, 「Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys」 10th edition, 2023. https://aapor.org/wp-content/uploads/2023/05/Standards-Definitions-10th-edition.pdf
- Robert M. Groves, 「Nonresponse Rates and Nonresponse Bias in Household Surveys」, Public Opinion Quarterly 70(5), 2006. https://doi.org/10.1093/poq/nfl033
- Robert M. Groves·Emilia Peytcheva, 「The Impact of Nonresponse Rates on Nonresponse Bias: A Meta-Analysis」, Public Opinion Quarterly 72(2), 2008. https://doi.org/10.1093/poq/nfn011
- Scott Keeter 외, 「Consequences of Reducing Nonresponse in a National Telephone Survey」, Public Opinion Quarterly 64(2), 2000. https://doi.org/10.1086/317759