Top

통계의 함정 [통계의 역설로 본 환상과 거짓]

  • 원서명Probably Overthinking It: How to Use Data to Answer Questions, Avoid Statistical Traps, and Make Better Decisions (ISBN 9780226822587)
  • 지은이앨런 B. 다우니(Allen B. Downey)
  • 옮긴이김상현
  • ISBN : 9791161758343
  • 28,000원
  • 2024년 04월 26일 펴냄
  • 페이퍼백 | 328쪽 | 152*228mm
  • 시리즈 : 데이터 과학

책 소개

요약

여론 조사, 주식 시장, 지진 예측, 일기예보, 공중보건, 스포츠 등 어디나 존재하는 통계는 우리의 이해를 돕기도 하지만 속이거나 혼란을 부추기기도 한다. 수학의 대표적 역설에 깃든 통계의 오해를 알기 쉽게 파헤치는 가운데 바른 통계 분석과 이해의 지혜를 일러준다.
그릇된 통계 분석과 해석은 단순한 오해를 넘어 부정확한 의료 진단, 대규모 지진 예측 실패, 사회 불평등 악화, 엉터리 정책 결정 등으로 이어질 수 있다. 통계 숫자를 보는 방식에는 맞거나 틀린 것들이 있다. 이 책은 어느 쪽이 맞고 틀린지 독자들이 파악할 수 있도록 명쾌하게 알려준다.

추천의 글

“빈번하게 만나는 통계적 오류와 역설을 대단히 흥미롭게 폭로하고 파헤친다. 그림들로 보여주는 사례와 증거들은 설득력이 매우 높고 문장은 더없이 명징하다. 이 책이 들려주는 통계적 교훈과 통찰이 적용되지 않는 인간 활동의 영역은 거의 없다.”

─새뮤얼 H. 프레스턴(Samuel H. Preston),
『Demography: Measuring and Modeling Population Processes』(Wiley-Blackwell, 2000)의 공저자

“통계학에 대한 저자의 애정이 책 전반에서 빛을 발한다. 우리 시대의 심각하고 논쟁적인 사안들의 진실을 규명하는 일에서 통계적 방법론이 얼마나 중요한지에 대한 그의 사회적 양심과 신념 또한 마찬가지다.”

─오브리 클레이튼(Aubrey Clayton),
『Bernoulli’s Fallacy: Statistical Illogic and the Crisis of Modern Science』(Columbia University Press, 2021)의 저자

“마크 트웨인은 ‘사실은 완고하지만 통계는 유연하다.’라고 말한 적이 있다. 저자는 어떻게 그런 일이 벌어지는지, 심지어 사실을 모호하게 숨기려 애쓰지 않는 사람들에게도 벌어지는지 잘 이해하고 있다. 1971년 임산부의 흡연이 태아에게 유익할지 모른다는 데이터를 발견한 사람은 양심적인 연구자였지만 데이터를 잘못 해석하는 바람에 정부의 금연 대책을 10년 지연시키는 결과를 낳았다. 저자는 명징하고 설득력 있는 분석으로 왜 데이터가 다른 많은 경우들과 마찬가지로 오해되는지 설명한다. 교육적 가치가 높은 책이다."

─플로이드 노리스(Floyd Norris),
존스 홉킨스 대학교 교수, 전 「뉴욕타임스」 금융 담당 팀장

“통계가 어디까지 매혹적이고 흥미로울 수 있는지 보여주는 책이다. 독자들은 고등 수학자일 필요도 없다. 그저 세상에 대한 호기심만 있으면 책을 즐기기에 충분하다.”

─라빈 쿠마르(Ravin Kumar),
구글(Google)의 데이터 과학자

이 책의 구성

이 책에서 다루는 몇몇 사례들은 기존에 출간된 연구 내용이고, 다른 경우는 데이터에 대한 내 나름의 관찰과 탐구 내용이다. 이전 연구 결과를 그대로 보고하거나 수치를 베끼기보다는 해당 분석을 따라해 보고, 스스로 수치를 만들었다. 어떤 경우는 오리지널 작업이 검증을 통과하지 못했고, 그런 사례는 이 책에서 제외했다. 일부 사례의 경우, 나는 더 최근 데이터를 가지고 같은 분석을 수행할 수 있었다. 이런 업데이트는 미처 예상하지 못한 깨우침도 주었다. 예컨대 ‘출생 시 저체중의 역설’은 1970년대에 처음 관찰됐고 1990년대까지 지속됐지만 최근 데이터에서는 사라졌다.
이 책에 소개된 모든 작업은 재현 가능한 과학 분야의 툴과 방법론에 근거하고 있다. 나는 주피터(Jupyter) 노트북을 사용해 글과 컴퓨터 코드와 결과들을 한 문서로 통합했다. 이 문서들은 버전 관리 시스템으로 정리함으로써 일관성과 정확성을 확보했다. 최종적으로 나는 넘파이(NumPy), 사이파이(SciPy), 판다스(pandas) 등과 같이 신뢰할 수 있는 오픈소스 라이브러리를 이용해 약 6000줄의 파이썬 코드를 작성했다. 물론 내 코드에 버그가 있을 수도 있지만, 결과들에 심각하게 영향을 미치는 오류의 위험을 최소화하기 위해 테스트를 거쳤다. 나의 주피터 노트북은 온라인에 공개돼 있기 때문에 누구라도 내가 실행한 분석을 손쉽게 재현해 볼 수 있다.

저자/역자 소개

지은이의 말

우리는 질문에 답하고 논쟁을 해소하는 데 데이터를 이용할 수 있다. 더 나은 결정을 내리는 데도 데이터를 이용할 수 있지만 늘 쉽지만은 않은 일이다. 그중 한 문제는 확률에 대한 우리의 직관이 때로 위험할 정도로 사실을 호도한다는 점이다. 예를 들면, 2021년 10월, 한 유명 팟캐스트의 출연자는 “영국에서 COVID-19로 인한 사망자의 70% 이상이 백신 접종을 받은 사람들”이라고 우려 섞인 목소리로 주장했다. 그의 주장은 정확했다. 그 숫자는 영국 공중보건국(Public Health England)이 신뢰할 만한 전국 통계를 바탕으로 발표한 보고서에서 나온 것이었다. 하지만 백신이 소용없거나 실제로는 해롭다는 그의 암시는 잘못된 것이다.
9장에서 볼 수 있듯이, 우리는 동일한 보고서의 데이터를 바탕으로 백신의 효율성을 계산해 몇 명의 목숨을 구했는지 추산할 수 있다. 그에 따르면 백신은 사망을 예방하는 데 80% 넘게 효과적이었고, 4주의 기간 동안 4800만 명의 인구 가운데 7000명 이상의 목숨을 구했다. 만약 한 달에 7000명의 목숨을 구할 기회가 우리에게 주어진다면, 그 기회를 잡아야 할 것이다.
이 팟캐스트의 출연자가 저지른 실수는 ‘기저율 오류(base rate fallacy)’라고 불리는데 누구나 쉽게 저지를 수 있는 실수다. 이 책에서 우리는 확률에 근거한 의사 결정이 건강이나 자유, 혹은 생명을 좌우할 수 있는 의료, 사법 체계, 그리고 다른 관련 분야의 사례들을 보게 될 것이다.

지은이 소개

앨런 B. 다우니(Allen B. Downey)

올린 공과대학교(Olin College of Engineering) 컴퓨터공학과의 명예교수이자 온라인 교육 회사인 브릴리언트(Brilliant)의 커리큘럼 디자이너이다. 『씽크 파이썬』(길벗, 2017), 『파이썬을 활용한 베이지안 통계』(한빛미디어, 2023), 『Think Stats』(한빛미디어, 2013) 등 다수의 저서가 있다. 통계학과 데이터 과학, 그리고 관련 주제들로 자신의 블로그 <Probably Overthinking It>에 흥미로운 글들을 올리고 있다.

옮긴이의 말

“세상에는 세 가지 종류의 거짓말이 있다. 거짓말, 새빨간 거짓말, 그리고 통계다.” 마크 트웨인을 통해 유명해진 벤저민 디즈레일리의 이 말은 통계가 현실에서 얼마나 자주 오용되거나 남용되는지 잘 드러낸다. 통계의 배후에 도사린 정치적 의도를 경계해야 하며, 따라서 통계 자료를 볼 때는 겉으로 드러난 결과와 해석에만 무작정 휩쓸리지 말고 꼼꼼하고 엄정하게 ‘팩트 체크’를 해볼 필요가 있다는 경고로도 해석된다.
최근 몇 년간 세상을 휩쓴 COVID-19(코로나바이러스감염증-19)와 그를 둘러싼 통계 논쟁은 ‘거짓말, 새빨간 거짓말, 그리고 통계’의 냉소적 경고를 새삼 상기시켰다. 팬데믹 기간 거짓 정보의 발원지 중 하나로 악명 높았던, 그러나 구독자가 워낙 많아 사회적 영향력 또한 매우 컸던 한 팟캐스트를 통해 나온 “영국에서 60세 이하의 백신 접종자는 같은 연령대의 비접종자보다 두 배 더 높은 사망률을 보인다”라는 주장은 일파만파의 글로벌 논쟁으로 비화했다. 그 주장을 펼친 장본인은 당시 「뉴욕타임스」 기자였고, 더욱이 근거가 영국의 국립통계청이 내놓은 공식 자료여서 더욱 큰 파장을 불러일으켰다. 언뜻 보기에 아무런 왜곡도 없어 보이는 공식 자료에 근거한 그 주장은 백신 접종 거부자들, 그리고 팬데믹 음모론자들에게 엄청난 무기가 됐다.
국립통계청의 공식 데이터를 정확히 반영한 것처럼 보이는 그 자료와 그래프는 그러나 두 가지 치명적인 문제를 안고 있었다. 첫째, 백신이 도리어 사망률을 높인다고 주장한 기자는 통계 자료를 제대로 해석할 아무런 지식과 전문성을 갖고 있지 않았다. 둘째, 자신의 주장과 부합하는 연령대와 시간 간격만 선택하고 그렇지 않은 데이터는 무시했다. 그래서 실상은 백신의 효과를 입증하는 자료로 나온 통계청의 자료를 그 반대의 목적으로 왜곡한 것이었다. 개별 연령대나 성별로 나눠 해당 데이터를 보면 감소 추세 ― 혹은 증가 추세 ― 를 보이는데, 전연령대와 성별을 한데 묶어 데이터를 보면 거꾸로 증가 추세 ― 혹은 감소 추세 ― 를 보이는 소위 ‘심슨의 역설’이 이 언론인의 백신 위험론에 작용했다.
이 책의 10장 ‘펭귄, 염세주의자 그리고 역설’은 팬데믹 상황을 더욱 악화하는 데 일조한 위 주장의 허점들을 쉽게 명쾌하게 드러낸다. 남극 펭귄에 대한 측정값의 수수께끼와, 과연 우리는 나이가 들수록 예외 없이 염세주의자가 되느냐는 질문을 풀어가는 일은 그 허점을 명확하게 보여주기 위한 두 가지 관련 사례이다.
저자 앨런은 어려운 ― 혹은 어려워 보이는 ― 통계를 쉽게 풀어내는 데 발군이다. 이 책은 그의 그런 재능을 유감없이 발휘한 증거물이다. 통계를 제대로 이해하면 정치, 경제, 사회, 심지어 우리의 마음까지 좀더 잘 이해할 수 있겠다는 생각이 들게 할 만큼, 그가 제시하는 사례들은 우리 주변에서 흔히 찾아볼 수 있는 내용들이다. 달리기 대회에서 왜 나를 추월하는 사람들은 전부 나보다 엄청 더 빠른 것 같고, 내가 추월하는 사람들은 훨씬 더 느린 것처럼 여겨질까? 왜 지진이나 자연 재난을 예측하기는 어려울까? 왜 똑같은 유형의 암 진단을 받았는데도 생존 기간은 다를까? 왜 ‘나는 평균이야’, 혹은 ‘나는 정상이야’라는 말은 틀릴까? 왜 운전할 때, 나보다 더 느리게 운전하는 사람은 다 바보처럼 여겨지고 더 빨리 운전하는 사람은 미쳤다고 여기게 될까?
한국 사회는 요즘 너무 낮은 출산율로 고민이 깊다. ‘인구 절벽’이라는 말이 유행어처럼 회자될 정도다. 이 책의 3장 ‘전통을 거부하고 세계를 구하라’는 그런 면에서 시의성이 각별한 대목이다. 특히 정책 입안자들에게 일독을 권하고 싶은 장이기도 하다. 저자는 중국의 ‘한 가정 한 자녀’ 출산 정책이 어떤 영향을 몰고 왔는지 통계학의 시각에서 분석하는 한편, 적절한 출산 정책이 감안해야 할 여러 변수도 제시하고 있다. 좀더 눈 밝은 통계적 시각으로 사안을 바라본다면 인구 절벽의 위기에서 벗어날 수 있는 좀더 획기적인 정책과 아이디어가 나올 수 있을지도 모른다.
번역은 다른 한편 좋은 배움의 기회이기도 하다. 내게는 이 책이 특히 더 그런 역할을 많이 했다는 생각이다. 그 다음 내용을 알고 싶어 조바심이 자주 일었다. 그래서 더욱 즐겁게 번역할 수 있었다. 이 책과 만나는 독자 여러분도 모쪼록 그런 즐거움을 느끼실 수 있기를 기대한다.

옮긴이 소개

김상현

캐나다에서 정보공개 및 프라이버시 전문가로 일하고 있다. 토론토 대학교, 앨버타 대학교, 요크 대학교에서 개인정보보호와 프라이버시 법규, 사이버보안을 공부했다. 캐나다 온타리오 주 정부와 앨버타 주 정부, 브리티시 컬럼비아(BC) 주의 의료서비스 기관 FNHA, 밴쿠버 아일랜드의 수도권청(Capital Regional District) 등을 거쳐 지금은 캘리언 그룹(Calian Group)의 프라이버시 관리자로 일하고 있다. 저서로 『디지털의 흔적을 찾아서』(방송통신위원회, 2020), 『유럽연합의 개인정보보호법, GDPR』(커뮤니케이션북스, 2018), 『디지털 프라이버시』(커뮤니케이션북스, 2018), 『인터넷의 거품을 걷어라』(미래M&B, 2000)가 있고, 번역서로는 에이콘출판사에서 출간한 『해커의 심리』(2024), 『어둠 속의 추적자들』(2023), 『공익을 위한 데이터』(2023), 『인류의 종말은 사이버로부터 온다』(2022), 『프라이버시 중심 디자인은 어떻게 하는가』(2021), 『마크 저커버그의 배신』(2020), 『에브리데이 크립토그래피 2/e』(2019), 『보이지 않게, 아무도 몰래, 흔적도 없이』(2017), 『보안의 미학』(2015), 『똑똑한 정보 밥상』(2012), 『불편한 인터넷』(2012), 『디지털 휴머니즘』(2011) 등이 있다.

목차

목차
  • 1장. 당신은 정상인가? 힌트: 아니오
    • 존재…팔 길이
    • 왜?
    • 분포도 비교
    • 얼마나 가우스적인가?
    • ‘평균 남성’의 신화
    • 빅 파이브
    • 우리는 모두 똑같이 비정상이다
    • 하지만 누군가는 다른 이들보다 더 평등하다
    • 출처와 관련 문헌

  • 2장. 릴레이 경주와 회전문
    • 강좌 크기
    • 데이터의 편향성 제거
    • 내 기차는 어디에?
    • 당신은 인기가 있는가? 힌트: 아니오
    • 슈퍼 전파자 찾기
    • 도로에서 느끼는 분노
    • 그냥 한 번 방문하는 경우
    • 재범률
    • 검사의 역설은 어디에나 널렸다
    • 출처와 관련 문헌

  • 3장. 전통을 거부하고 세계를 구하라
    • 가족의 규모
    • 대공황과 베이비 붐
    • 더 최근에는
    • 프레스턴의 역설
    • 한 자녀를 덜 낳으면
    • 장기적으로는
    • 현실은
    • 현재
    • 출처와 관련 문헌

  • 4장. 극한치의 사람들, 아웃라이어들 그리고 역대 최고들(GOATs)
    • 예외
    • 출생 체중은 가우스적이다
    • 체중 증량 시뮬레이션
    • 달리는 속도
    • 체스 순위
    • 역대 최고
    • 우리는 무엇을 해야 할까?
    • 출처와 관련 문헌

  • 5장. 새것보다 나은
    • 전구
    • 지금이라도 곧
    • 암 환자의 생존 기간
    • 출생 시 기대 수명
    • 아동 사망률
    • 불멸의 스웨덴인
    • 출처와 관련 문헌

  • 6장. 속단하기
    • 수학과 구술 능력
    • 엘리트 대학교
    • 덜 우수할수록 더 커지는 상관관계
    • 세컨티에이 대학교
    • 병원 데이터에 나타난 벅슨의 역설
    • 벅슨과 COVID-19
    • 벅슨과 심리학
    • 벅슨과 우리
    • 출처와 관련 문헌

  • 7장. 인과, 충돌 그리고 혼란
    • 300만 명의 유아 데이터가 틀릴 수 없다
    • 다른 그룹들
    • 역설의 끝
    • 쌍둥이의 역설
    • 비만의 역설
    • 벅슨의 토스터
    • 인과 관계의 다이어그램
    • 출처와 관련 문헌

  • 8장. 재난의 긴 꼬리
    • 재난의 분포
    • 지진
    • 태양 플레어
    • 달 분화구
    • 소행성
    • 긴 꼬리 분포도의 기원
    • 주식 시장의 붕괴
    • 블랙 스완과 그레이 스완
    • 긴 꼬리 분포도의 세계
    • 출처와 관련 문헌

  • 9장. 공정과 오류
    • 의료 검사
    • 더 높은 유병률
    • 더 높은 특이도
    • 나쁜 의학
    • 음주 운전
    • 백신의 유효성
    • 범죄 예측
    • 그룹 비교
    • 공정성은 정의하기 어렵다
    • 공정성은 성취하기 어렵다
    • 기저율의 모든 것
    • 출처와 관련 문헌

  • 10장. 펭귄, 염세주의자 그리고 역설
    • 늙은 낙관주의자, 젊은 비관주의자
    • 실질 임금
    • 펭귄들
    • 심슨의 처방
    • 백신은 효과가 있는가? 힌트: 그렇다
    • 실체 폭로 재론
    • 공개 데이터, 공개 토론
    • 출처와 관련 문헌

  • 11장. 마음 바꾸기
    • 나이든 인종차별주의자들?
    • 젊은 페미니스트들
    • 동성애 공포증의 괄목할 만한 감소
    • 1990년에 무슨 일이 있었나?
    • 집단 효과인가, 아니면 시대 효과인가?
    • 오버튼 창
    • 출처와 관련 문헌

  • 12장. 오버튼 창을 좇아서
    • 늙은 보수주의자, 젊은 자유주의자?
    • ‘보수주의적’이라는 것은 무슨 뜻인가?
    • 어떻게 이럴 수 있을까?
    • 중심은 정지해 있지 않다
    • 모든 것은 상대적이다
    • 우리는 더 양극화했는가?
    • 오버튼을 좇아서
    • 출처와 관련 문헌
    • 부록: 15개의 질문

  • 에필로그

관련 블로그 글

알아야만 피할 수 있는 숫자의 속임수, <통계의 함정>

여론 조사, 주식 시장, 지진 예측, 일기예보, 공중보건, 스포츠통계는 어디에나 존재한다.

하지만 통계는 우리의 이해를 도울 뿐 아니라, 속이거나 혼란을 부추기기도 한다.

 


 

2021 10, 한 유명 팟캐스트의 출연자가 영국에서 COVID-19로 인한 사망자의 70% 이상

백신 접종을 받은 사람들이라고 주장했다.


그 주장은 영국 공중보건국(Public Health England)이 발표한 보고서에 따른 것으로, 숫자는 틀림없이 정확했다.

하지만 그게 백신이 소용없거나 실제로는 해롭다는 의미와 동일할까?

 


 

동일한 보고서의 데이터를 바탕으로 백신의 효율성을 계산하면

몇 명이 목숨을 잃었는지 뿐만 아니라 몇 명이 목숨을 구했는지도 추산할 수 있다.

 

이 계산에 따르면 백신은 사망을 예방하는 데 80% 넘게 효과적이었고,

4주의 기간 동안 4800만 명의 인구 가운데 7000명 이상의 목숨을 구했다.

 

만약 한 달에 7000명의 목숨을 구할 기회가 우리에게 주어진다면, 그 기회를 잡아야 할 것이다.

 

 

 

위 사례에서 팟캐스트 출연자는기저율 오류(base rate fallacy)라는 흔한 실수를 저질렀다.

우리는 정확한 의사결정을 위해 숫자에 의존한다.

따라서 통계를 잘못 분석하면 단순한 오해를 넘어 심각한 결과를 초래할 수 있다.

 

『통계의 함정』은 수학의 대표적 역설에 깃든 통계의 오해를 알기 쉽게 파헤치는 가운데

통계를 바르게 분석하고 이해하기 위한 지혜를 일러준다.

 

저자와 함께 다양한 실제 사례를 통해 역설을 알아가다 보면,

아무리 복잡한 통계라도 명확하고 올바르게 바라보는 시선을 손에 넣을 수 있을 것이다.

 

 

 

 *

 

 

 

“빈번하게 만나는 통계적 오류와 역설을 대단히 흥미롭게 폭로하고 파헤친다.

그림들로 보여주는 사례와 증거들은 설득력이 매우 높고 문장은 더없이 명징하다.

이 책이 들려주는 통계적 교훈과 통찰이 적용되지 않는 인간 활동의 영역은 거의 없다.”


─새뮤얼 H. 프레스턴(Samuel H. Preston),

Demography: Measuring and Modeling Population Processes(Wiley-Blackwell, 2000)의 공저자

 


“통계학에 대한 저자의 애정이 책 전반에서 빛을 발한다.

우리 시대의 심각하고 논쟁적인 사안들의 진실을 규명하는 일에서 통계적 방법론이 얼마나 중요한지에 대한

그의 사회적 양심과 신념 또한 마찬가지다.”

 

─오브리 클레이튼(Aubrey Clayton),

Bernoulli’s Fallacy: Statistical Illogic and the Crisis of Modern Science(Columbia University Press, 2021)의 저자

 


“통계가 어디까지 매혹적이고 흥미로울 수 있는지 보여주는 책이다.

독자들은 고등 수학자일 필요도 없다.

그저 세상에 대한 호기심만 있으면 책을 즐기기에 충분하다.

 

─라빈 쿠마르(Ravin Kumar),

구글(Google)의 데이터 과학자


Editor. 김은비(ebkim@acornpub.co.kr)
<통계의 함정>은 에이콘샵과 아래 인터넷 서점에서 만나실 수 있습니다.
CC

크리에이티브 커먼즈 라이센스 이 저작물은 크리에이티브 커먼즈 코리아 저작자표시 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

도서 오류 신고

도서 오류 신고

에이콘출판사에 관심을 가져 주셔서 고맙습니다. 도서의 오탈자 정보를 알려주시면 다음 개정판 인쇄 시 반영하겠습니다.

오탈자 정보는 다음과 같이 입력해 주시면 됩니다.

(예시) p.100 아래에서 3행 : '몇일'동안 -> 며칠동안