2026-09-07 · 옥성재 (부소장)

여론조사 응답률 3.9%는 어떻게 읽나요? ARS와 전화면접이 11.1%p 갈리는 이유와 무응답 편향·가중값 해석 4단계

#통계해석#여론조사응답률#무응답편향#가중값배율#ars조사#전화면접조사#표본오차#생활데이터#통계해석4단계

여론조사 응답률 3.9%는 어떻게 읽나요?

결론부터 말하면, 응답률은 조사의 정확도를 직접 재는 숫자가 아니라 누가 빠졌는지를 의심하게 만드는 신호입니다. 2026년 8월 넷째 주 같은 기간에 실시된 리얼미터(Realmeter) ARS 조사는 응답률 3.9%에 대통령 긍정평가 38.9%를, NBS 전국지표조사 전화면접은 응답률 15.4%에 긍정평가 50%를 내놓았습니다. 격차는 11.1%p인데, 두 조사의 표본오차는 각각 ±2.0%p와 ±3.1%p에 불과합니다. 표본오차로 설명이 안 되는 이 차이는 표본의 크기가 아니라 응답한 사람과 응답하지 않은 사람이 다르다는 사실, 즉 무응답 편향에서 나옵니다. 응답률·접촉률·조사 방식·가중값 배율 네 가지를 함께 읽어야 숫자의 의미가 드러납니다.

목차

응답률 3.9%와 15.4%가 같은 주에 나온 날

지난 8월 말, 연구소에서 지역 생활만족도 조사 결과를 정리하던 중이었습니다. 한 지자체 담당자가 두 장의 여론조사 보도자료를 들고 와서 물었습니다. "같은 주에 조사했는데 왜 한쪽은 38.9%고 다른 쪽은 50%입니까. 어느 쪽이 맞는 겁니까."

두 자료를 나란히 놓고 조사 개요부터 읽었습니다. 리얼미터 조사는 8월 24~28일 닷새 동안 무선 RDD 자동응답(ARS) 방식으로 2,509명을 조사했고 응답률은 3.9%였습니다. NBS 전국지표조사는 8월 24~26일 사흘 동안 이동통신 3사 가상번호로 전화면접(CATI)을 진행해 1,001명을 조사했고 응답률 15.4%, 접촉률 35.5%를 기록했습니다.

담당자가 처음 던진 질문은 "표본이 2,509명이면 1,001명보다 정확한 것 아니냐"였습니다. 표본오차만 보면 그렇습니다. ±2.0%p 대 ±3.1%p니까요. 그런데 두 조사의 차이는 11.1%p입니다. 두 표본오차를 합쳐도 5.1%p라서, 표본이 우연히 튀었다는 설명으로는 절반도 메워지지 않습니다.

그래서 저는 표본 수 옆에 응답률을 적고, 그 아래에 조사 방식을 적었습니다. ARS 3.9%, 전화면접 15.4%. 기계음이 묻고 버튼으로 답하는 조사와 면접원이 묻고 말로 답하는 조사. 여기서부터 이야기가 달라집니다. 응답률이 낮다는 건 100명에게 전화를 걸어 4명이 끝까지 답했다는 뜻이고, 그 4명이 나머지 96명과 같은 사람들이라는 보장은 어디에도 없습니다.

응답률이란 무엇인가: 접촉률·협조율과 구분하기

응답률은 전체 시도 건수 가운데 조사가 끝까지 완료된 비율이고, 접촉률과 협조율은 그 과정을 두 단계로 쪼갠 지표입니다.

여론조사 개요에는 보통 응답률 하나만 크게 적히지만, 실제로는 세 개의 숫자가 층을 이룹니다. 전화를 걸었는데 아예 받지 않은 경우, 받았지만 "조사 안 합니다" 하고 끊은 경우, 받아서 몇 문항 답하다 중간에 끊은 경우, 끝까지 완료한 경우가 모두 다르게 집계됩니다.

세 지표의 관계

지표정의NBS 8월 4주 사례
접촉률전화를 건 번호 중 사람과 연결된 비율35.5%
협조율연결된 사람 중 조사에 끝까지 응한 비율약 43% (15.4÷35.5)
응답률전체 시도 중 완료된 비율 (접촉률×협조율에 근사)15.4%

이 표에서 보이는 것이 있습니다. 접촉률 35.5%는 100명 중 64명은 전화 자체를 받지 않았다는 뜻입니다. 낮 시간 통화가 어려운 교대근무자, 모르는 번호를 받지 않는 젊은층, 스팸 차단 앱 사용자가 이 64명 안에 몰려 있을 가능성이 큽니다. 그리고 연결된 36명 가운데 약 43%만 끝까지 답했으니, 정치나 조사 주제에 관심이 적은 사람은 여기서 한번 더 걸러집니다.

응답률은 조사 품질의 전부가 아닙니다. 다만 두 번의 거름망이 어떤 사람을 걸러냈는지 짐작하게 해주는 첫 단서입니다. 응답률만 보고 "3.9%니까 못 믿는다"고 단정하는 것도, "1,000명 넘게 조사했으니 괜찮다"고 넘기는 것도 절반만 맞는 읽기입니다.

무응답 편향은 어디서 생기고 얼마나 큰가

무응답 편향은 응답률이 낮아서가 아니라, 응답한 사람과 응답하지 않은 사람의 성향이 다를 때 생깁니다. 이 둘이 같으면 응답률 3%라도 편향은 없고, 다르면 응답률 50%라도 편향이 남습니다.

이 점을 가장 오래 추적한 곳이 미국 퓨리서치센터(Pew Research Center)입니다. 2017년 방법론 보고서에 따르면 미국 전화조사 응답률은 1997년 36%에서 2016년 9%로 떨어졌습니다. 그런데 응답률 60% 이상인 대형 정부조사를 기준점으로 두고 비교했을 때, 정당 지지 같은 정치 항목의 평균 차이는 1.4~1.6%p, 인구·건강 항목 13~14개의 평균 차이는 2.7%p에 그쳤습니다. 응답률이 4분의 1로 줄었는데도 대부분의 지표는 크게 흔들리지 않은 셈입니다.

문제는 특정 항목에서 터집니다. 같은 보고서에서 "이웃과 함께 지역 문제를 해결한 적이 있다"는 응답은 기준조사 8%, 전화조사 46%로 무려 38%p 벌어졌습니다. 공직자에게 연락한 경험은 10% 대 25%, 유권자 등록은 63% 대 70%였습니다. 조사에 응하는 사람은 원래 사회 참여 성향이 강한 사람이고, 그 성향과 관련된 질문일수록 편향이 커진다는 뜻입니다. 정치 여론조사에서 정치 고관여층이 과다 대표되는 현상이 정확히 이 구조입니다.

국가통계도 예외가 아닙니다

여론조사만의 문제가 아닙니다. 한국경제 보도에 따르면 통계청 가계동향조사의 단위 무응답률은 2023년 6월 기준 44.9%로, 전년 동월 37.7%에서 7.2%p 올라 처음 40%를 넘겼습니다. "얼마 버세요"라는 질문에 두 가구 중 한 가구가 답하지 않는 것입니다. 2021년 실태분석에서는 수도권 표본 가구 하나가 설계상 4,600가구를 대표해야 하는데 응답이 저조해 실제로는 7,600가구를 대표하게 된 것으로 나타났습니다. 고소득 맞벌이 가구가 조사에 덜 응한다면 평균 소득은 실제보다 낮게, 소득 격차는 실제보다 좁게 잡힐 수있습니다. 무응답 편향은 소비지출 통계와 소득분배 지표에도 같은 방식으로 스며듭니다.

ARS와 전화면접이 11.1%p 갈리는 이유

ARS는 응답에 적극적인 사람만 남기고, 전화면접은 면접원이 붙잡아두는 만큼 저관여층까지 표본에 들어옵니다. 방식 차이가 곧 표본 구성 차이입니다.

굿모닝 인천의 주간 데이터 분석은 8월 4주 리얼미터 ARS 긍정 38.9%·부정 58.7%와 NBS 전화면접 긍정 50%·부정 43%를 나란히 놓고, ARS는 "정치 고관여층의 응답이 적극적으로 반영"되고 전화면접은 "저관여층까지 폭넓게 포착"한다고 정리했습니다. 같은 주 한국갤럽(Gallup Korea) 전화면접은 긍정 42%·부정 50%로 둘 사이에 놓였습니다.

기계음이 질문을 읽어주는 ARS는 관심 없는 사람이 3초 안에 끊습니다. 끝까지 버튼을 누르는 사람은 평소 정치 뉴스를 챙겨 보고 의견이 뚜렷한 사람입니다. 반면 면접원이 "잠깐만 시간 내주시면"이라고 말을 걸면, 별 생각 없던 사람도 예의상 몇 분을 내줍니다. 그 사람들이 "잘 모르겠다"거나 온건한 답을 하면서 양극단이 희석됩니다. 어느 쪽이 진짜 민심이냐는 질문보다, 어느 쪽 표본에 누가 더 많이 들어갔느냐를 묻는 편이 정확합니다.

6·3 지방선거 직전 세 지역 비교

세계일보가 정리한 5월 조사는 방식 차이가 선거 예측을 어떻게 갈라놓는지 보여줍니다.

지역전화면접 (기관·표본)ARS (기관·표본)격차 변화
서울시장45% 대 34% (케이스탯, 807명)41.7% 대 41.6% (에이스리서치, 1,002명)11%p → 0.1%p
부산시장45% 대 34% (한국리서치, 800명)46% 대 40.4% (리얼미터, 800명)11%p → 5.6%p
경남지사44% 대 34% (메트릭스, 800명)43.5% 대 43.2% (리얼미터, 800명)10%p → 0.3%p

세 지역 모두 전화면접에서는 두 자릿수 격차, ARS에서는 접전이었습니다. 조사일은 거의 같고 표본 수도 비슷합니다. 전화면접 업체는 "다수의 전화면접 결과와 다른 ARS 결과가 나온다면 특정 성향이 과표집됐을 가능성"을 지적했고, ARS 업체는 "상대를 악으로 규정하는 선거에서는 응답자를 편안하게 해주는 ARS가 더 맞는다"고 맞섰습니다. 독자 입장에서 중요한 건 승부 판정이 아니라, 기사 제목의 숫자 하나가 조사 방식이라는 변수 위에 얹혀 있다는 사실을 놓치지 않는 것입니다. 한국언론진흥재단 분석에 따르면 여론조사 보도 기사 90%에 육박하는 비율이 ARS인지 전화면접인지조차 언급하지 않았습니다.

가중값 배율 0.7~1.5 규정과 2명이 18명 되는 순간

가중값은 응답자 구성을 실제 인구 구성에 맞춰 늘리고 줄이는 보정이며, 배율이 커질수록 소수 응답자 한 명의 답이 통째로 증폭됩니다.

응답률이 낮아도 조사 결과가 크게 빗나가지 않는 이유가 바로 가중값입니다. 20대 여성이 인구 비율보다 적게 응답했다면 그들의 답을 조금 더 세게 세고, 60대 남성이 많이 응답했다면 조금 약하게 셉니다. 중앙선거여론조사심의위원회는 성별·연령별·지역별 셀가중 또는 림가중만 허용하고, 행정안전부 주민등록인구통계를 기준으로 삼도록 정해두었습니다.

핵심은 배율의 한도입니다. 오마이뉴스가 분석한 76건의 선거여론조사에 따르면 선거여론조사기준은 성별·연령별·지역별 가중값 배율을 0.7~1.5 범위로 정하고 있습니다. 응답자 한 명을 0.7명으로 줄이거나 1.5명으로 늘리는 것까지만 허용한다는 뜻입니다. 76건 모두 이 공표 기준은 충족했습니다. 그런데 세부 집단으로 내려가면 21건이 기준을 넘었습니다. 500명 조사에서 9건, 800명 조사 8건, 1,000명 조사 4건입니다.

배율 9.0이 뜻하는 것

가장 극단적인 사례는 평택의 한 조사였습니다. 북부권 18~29세 여성 실제 응답자가 2명이었는데 가중 후 18명으로 잡혀 배율이 9.0이었습니다. 부산 북구갑 조사에서도 20대 여성 2명이 14명(배율 7.0), 다른 조사에서는 13명(배율 6.5)으로 늘었습니다. 두 사람이 우연히 같은 후보를 찍었다면 그 지역 20대 여성 지지율은 100%로 기록되고, 그 값이 18명분의 무게로 전체 수치에 섞여 들어갑니다.

기사 제목이 "20대 여성, A후보 지지 압도적"이라면 그 아래 조사 개요에서 해당 셀의 실제 응답자 수를 확인해야 합니다. 응답률이 낮을수록 소수 셀은 더 비고, 빈 셀을 채우는 배율은 더 커집니다. 응답률과 가중값 배율은 이렇게 한 쌍으로 움직입니다.

  • 전체 표본 1,000명이라도 20대 여성 셀은 50~70명 수준이고, 지역까지 쪼개면 한 자릿수가 됩니다
  • 심의위원회 홈페이지의 등록 자료에는 셀별 실제 응답자 수와 가중 후 수가 모두 공개됩니다
  • 세부 집단 수치를 인용할 때는 표본오차가 전체 ±3.1%p가 아니라 그 셀 기준으로 ±10%p를 넘을 수 있다는 점을 함께 적어야 합니다

응답률과 통계 해석 4단계 절차

응답률·방식·가중값·원자료 순으로 확인하면 초보자도 조사 결과 두 개가 갈릴 때 어느 변수 때문인지 스스로 짚을 수 있습니다.

앞서 지자체 담당자와 함께 밟았던 순서를 그대로 옮깁니다.

1단계: 조사 개요에서 응답률과 접촉률을 찾는다

기사 본문 맨 아래나 심의위원회 등록 자료를 봅니다. 응답율만 있고 접촉률이 없으면 방식부터 의심합니다. ARS 3~6%, 전화면접 10~20%가 최근 흔한 범위이므로, 이 범위를 크게 벗어나면 조사 설계가 특이하다는 신호입니다.

2단계: 조사 방식과 표집 틀을 적는다

ARS인지 전화면접인지, 유선이 섞였는지, 가상번호인지 RDD인지를 적습니다. 같은 기관이 같은 방식으로 이어온 시계열 안에서 변화를 읽는 것이 방식이 다른 두 조사를 직접 비교하는 것보다 안전합니다. 리얼미터 지지율이 지난주보다 1.3%p 떨어졌다는 정보는, 리얼미터와 NBS가 11.1%p 다르다는 정보보다 해석이 훨씬 단순합니다.

3단계: 가중값 배율과 셀별 응답자 수를 확인한다

특정 연령·성별·지역 수치를 인용하려면 그 셀의 실제 응답자 수를 봅니다. 두 자릿수 미만이면 인용을 보류합니다. 배율 1.5를 넘는 셀이 있으면 그 집단 수치는 방향만 참고합니다.

4단계: 원자료와 벤치마크에 대조한다

여론조사라면 심의위원회 등록 원자료를, 생활통계라면 KOSIS 국가통계포털에서 같은 항목의 응답률과 무응답 대체 방법을 확인합니다. 퓨리서치가 응답률 60% 이상 정부조사를 기준점으로 삼았듯, 자기 조사의 인구 구성이 주민등록통계나 인구총조사와 얼마나 어긋나는지 대조하는 것이 마지막 검증입니다.

이 네 단계를 거치고 나면 "38.9%와 50% 중 어느 쪽이 맞느냐"는 질문이 "각각 어떤 사람들의 답이냐"로 바뀝니다. 그 만큼 숫자를 오독할 여지가 줄어듭니다.

FAQ

응답률이 낮으면 무조건 믿을 수 없는 조사인가요? 아닙니다. 퓨리서치센터의 2017년 분석에서 응답률 9%짜리 전화조사도 정당 지지 같은 항목에서는 응답률 60% 이상 정부조사와 1.4\~1.6%p 차이에 그쳤습니다. 다만 사회 참여, 정치 관심처럼 "조사에 응하는 성향" 자체와 관련된 항목에서는 38%p까지 벌어졌습니다. 응답률보다 질문 항목이 응답 성향과 얼마나 얽혀 있는지를 먼저 봐야 합니다.
ARS와 전화면접 중 어느 쪽이 더 정확한가요? 정답이 정해져 있지 않습니다. 2026년 8월 4주 기준 ARS 응답률은 3.9%, 전화면접은 15.4%였고 대통령 긍정평가는 11.1%p 갈렸습니다. ARS는 의견이 뚜렷한 고관여층이, 전화면접은 저관여층이 더 많이 담깁니다. 같은 방식 안에서의 추세 변화를 읽는 것이 방식이 다른 두 조사를 직접 비교하는 것보다 안전합니다.
가중값 배율은 어디까지 허용되나요? 선거여론조사기준은 성별·연령별·지역별 가중값 배율을 0.7\~1.5 범위로 정하고 있습니다. 공표 기준은 이 범위로 관리되지만, 지역을 더 쪼갠 세부 셀에서는 실제 응답자 2명이 18명으로 늘어나는 배율 9.0 사례도 확인됐습니다. 세부 집단 수치를 인용할 때는 해당 셀의 실제 응답자 수를 반드시 확인해야 합니다.
가계동향조사 같은 국가통계에도 무응답 편향이 있나요? 있습니다. 가계동향조사 단위 무응답률은 2023년 6월 기준 44.9%로 처음 40%를 넘겼고, 수도권에서는 표본 한 가구가 설계상 4,600가구 대신 실제로는 7,600가구를 대표하게 됐습니다. 고소득 맞벌이 가구가 덜 응답하면 평균 소득과 분배 지표가 함께 왜곡될 수 있습니다.
응답률 확인에 시간이 얼마나 걸리나요? 여론조사는 중앙선거여론조사심의위원회 홈페이지에서 조사명으로 검색하면 응답률·접촉률·셀별 응답자 수·가중값이 한 화면에 나오므로 5분 안에 확인 할 수 있습니다. 기사에는 응답률만 적히는 경우가 많아 등록 자료를 직접 보는 습관이 필요합니다.

같이 읽으면 좋은 것들