미래예측 경제상식, 빅데이터와 통계학을 이용한 네이트실버의 미래예측기법 <신호와 소음> 더퀘스트출판

미래예측 경제상식, 빅데이터와 통계학을 이용한 네이트실버의 미래예측기법 <신호와 소음> 더퀘스트출판

 

▲ <더퀘스트> 출판사는 미래예측에 관한 경제상식 분야 네이트 실버의 책 <신호와 소음>을 출판하면서 제작과정에 꽤 신경을 쓴 것으로 보인다. <신호와 소음> 책 표지에 이 책과 관련이 있는 주요키워드들이 음각으로 새겨져 있다. 금융위기, 메이저리그. 베이즈정리, 주식시장, 지구온난화 등.......먼 발치에서 이 책 표지를 보거나 다른 각도에서 보면 책표지에 음각되어 있는 키워드들은 보이질 않는다.. 이것은 마치 세상의 온갖 현상과 사건 가운데 과연 무엇이 우리가 미래예측을 위해 채택해야할 신호이고 어떤 것이 버려야 할 소음인지를 밝혀내야 한다는 교훈을 책표지를 통해서 시사하고 있는 것 같다. 가려지 있는 드러나 있지 않은 미래에 일어날 일들에 대한 신호를 찾아라...이것이 이 책을 통해 저자가 우리에게 요청하고 있는 것이다.  

 

데이터, 데이터리즈닝의 중요성

데이터를 잘 사용하는 회사는 이와 다르다, 이런 회사에선 데이터를 활용해 결과를 확인하는데 그치지 않는다. 매출이 오르면 소비자들이 무엇에 반응했는지 분석하고 매출이 떨어지면 소비자들 무엇에 관심이 떨어졌는지를 분석한다. 아처럼 데이터 분석이 제대로 체화된 회사는 지표변화의 이유를 우선 알고 싶어한다. 매출이 떨어졌다는 결과를 확인하는 것도 필요하지만 그 원인을 파악해야 아ㅍ으로 무엇을 개선해야 할지 결정할 수 있기 때문이다. 데이터는 결과를 통배해주는 사신이 아니라 원인을 알려주는 도구다. 

가장 중요한 것은 데이터를 통한 리즈닝이다.  우리가 살고 있는 빅데이터시대에 신호와 소음의 의미는 각별하다. 열린 자세로 신호들을 바라보고 모든 행위는 증거에 따라 지속적으로 재평가해야한다는 것이 이 책의 메시지이다.

 

[경제상식] 빅데이터를 이용한 미래예측기법 <신호와 소음>의 저자 네이트 실버는 누구인가?

미국은 물론 전 세계가 주목하는 통계학과 미래예측의 수퍼스타..패스트컴퍼니 선정 "가장 창조적인 인물 1위" 타임스 선정 "전 세계에서 가장 영향력 있는 100인"에 선정

 

 

시카고 대학에서 경제학을 전공..2002년 회계컨설팅회사인 KPMG에 입사후 엉뚱한 일을 벌이기 시작했다. 자신이 좋아하는 메이저리그 야구선수의 성적을 예측하는 시스템인 페코타를 개발한 것이다. 놀라운 적중률로 명성을 얻은 실버는 통계확률기법을 카지노에서 전략적으로 이용해 단번에 1만5천달러를 땄다.

이후 포커판에서 그는 수십만달러를 긁어모았고 통계학과 예측의 노하우를 활용해 정치예측블로그 파이브서티에이트를 개발했다. <뉴욕타임즈>의 자매블로그가 된 파이브서티에이트는 2008년 대선에서 미국 50개 주 중 49개 주의 선거결과를 정확히 예측했고 총선에서도 상원당선자 35명 전원을 정확히 맞혔다.

실버는 유명세를 탔고 많은 사람들이 그의 예측을 주목하기 시작했다. 오바마와 롬니가 박빙으로 승부를 벌이는 중에도 많은 여론조사기관이 롬니의 승리를 예측했다. 그러나 네이트실버는 오바마의 승리를 점쳤고 결과는 50개 주의 결과를 모두 맞힌 그의 승리로 끝났다.

그가 대선 직전 자신의 통계학과 예측철학을 담아 출간한 <신호와 소음> 역시 뉴욕타임스 15주 연속 베스트셀러에 오르고 아마존 논픽션부문 올해의 책에 선정되는 등 수퍼베스트셀러가 되었다.

 

 

[경제상식] 미래예측기법에 관한 <신호와 소음)에 대한 전문가들의 평가

빅데이터시대 넘치는 정보의 홍수속에서 움직이는 과녁을 맞히는 예측의 비법..엄청난 정보망을 자랑하는미국은 왜 진주만 공습과 9.11테러를 예측하지 못했을까? 왜 내노라는 경제학자들고 경제위기의 무수한 신호를 무시했을까? 낯선 속옷이 발견됬을 때 배우자가 바람을 피우고 있을 확률은 얼마나 될까? 선거결과는 왜 항상 언론과 전문가의 예측을 벗어날까?

 

 

▲ 네이트 실버의 <신호와 소음>에 대한 전문가들의 평가 

 

1. 아주 재미있는 책이다. 북한과의 관계 및 미국, 유럽의 경제상황에 따라 늘 요동치는 환경에 사는 한국인이 꼭 읽어야 할 필독서이다 (미래학자 최윤식)

2. <신호와소음>의 메시지는 맞혀야할 과녁이 움직일 뿐 아니라 모양 또한 변화하는 빅데이터 시대에 반드시 귀 기울여야 한다. (다음소프트사장 송길영)

3. 데이터 홍수속에서 정확하고 가치있는 예측을 뽑아내기 위한 힌트를 얻을 수 있을 것이다. (트리움이사 이종대)

4. 베이즈의 정리와 같은 이론적인 토대의 중요성을 명쾌하게 설명하고 예측을 꾸준히 업데이트하면서 지식을 쌓고 정확하게 자기를 인식하는 것이야말로 "미래를 손에 잡는 법"임을 일깨워준다.(소셜컴퓨팅연구소 대표 한상기)

5. <신호와소음>은 최근 십 년 동안 출간된 수많은 책들 가운데서도 가장 중요하게 꼽을 만하다.(뉴욕타임즈)

6. 쾌활한 문체 덕분에 까다롭기 짝이 없는 통계학 관련 서술이 쉽게 읽힌다. 게다가 그가 펼치는 주장이나 언급하는 사례는 모두 공들여 조사하고 분석한 결과이다. 주의 분량이 엄청난 걸 보면 저자가 조사와 분석에 얼마나 공을 들였는지 짐작할 수 있다.(월스트리트저널)

7. 2012년 치러진 미국대통령 선거의 영웅은 당연히 오바마지만 또 한 사람을 꼽으라면 단연 통계학자이자 정치예측가인 네이트실버이다. 예측을 정확하게 하자 그가 쓴 책도 하루밤에 베스트셀러가 되었다.

 

[경제상식] 미래예측에 관한 네이트 실버의 <신호와 소음>에는 어떤 내용들이?

 

 

이 책은 크게 4부분으로 나누어져있다.

1장 예측에 대한 근본적인 의문들
    1. 경제붕괴, 왜 전문가들은 예상하지 못했는가?

    2. 내가 선거결과를 맞힌 비법

    3. 야구경기는 왜 모든 예측의 모델이 되는가?

2장 움직이는 과녁을 맞혀라

    4. 예측의 진보, 허리케인과 카오스의 원뿔

    5. 라퀼라의 재앙을 아무도 예상하지 못하다

    6. 평균과 불확실성-숫자에 속지마라

    7. 전염병-신종플루부터 에이즈까지

3장 미래를 내 손에 움켜쥐는 법

    8. 베이즈정리-이기는 도박꾼은 어떻게 배팅하는가

    9. 체스-컴퓨터가 인간처럼 미래를 내다볼 수 있을까

    10. 포커-상대방의 허풍을 간파하는 법

4장 보이지 않는 손이 세상을 움직인다.

    11. 주식-개인은 절대 시장을 이길 수 없을까

    12. 지구온난화-얄팍한 선동인가 과학적 진리인가

    13. 테러-진주만 공습과 911테러의 공통점

  

진주만 공습과 9.11테러를 통해 살펴본 데이터를 통한 미래 예측기법 

미래예측에 관해 타의 추종을 불허하는 미국의 네이트실버는 본 <신호와 소음>을 통해 모두 12개분야에서 예측에 관한 주제를 다룬다. 경제, 정치, 야구, 기상, 지진, 평균과 불확실성, 전염병, 체스, 포커, 주식, 지구온난화, 테러 등...본인이 어떻게 각 분야에서 미래예측에 성공할 수 있었는지 그 방법론을 자세히 설명해준다.

<신호와 소음> 4장에 나와있는 주제중 테러에 관한 네이트실버의 주장을 들어보자.

루스벨트 미국 대통령은 1941년 12월 7일이 앞으로 영원히 불명예로 기억될 것이라고 말했다. 바로 그 날은 미국이 정신줄을 놓고 있다가 일본에게 기습을 당해 2,400여명의 미군이 죽고 미국해군 전함 4척을 파괴당한 미국으로서는 치욕적인 날이기 때문이다.

미래예측에 관한 달인이며 <신호와 소음>의 저자 네이트 실버는 그 이유를 무어라고 보고 있을까? 네이트는 당시 미국이 일본이 보내오는 신호들를 제대로 파악하지 못하고 오판했던 때문이라고 지적했다. 예를 들면 일본은 진주만공격을 앞두고 미국에게 노출된 외교전문 암호체계를 활용하지 않고 일본 해군의 무선전송 사용하지 않음으로써 일본항공모함의 위치를 전혀 노출시키지 않았다. 미국은 당시에 이러한 일본의 변화, 즉 일본이 주는 신호를 중대한 신호로 인식해야 했으나 이를 쉽게 간과해버리는 누를 범했다. 미국은 일본이 무선전송이 아닌 다른 방식으로 본국과 통신하고 있는 것이라 간단히 결론을 내렸다. 미국은 일본함대가 무선전송을 모두 꺼버린 상태에서 태평양 깊숙히 미국의 해군시설을 향해 은밀하게 들어오고 있다는 사실을 상상조차 할 수 없었다. 

일본함대는 실제로 하와이 진주만으로 직진하지 않고 미국의 감시망이 없는 태평양의 먼 빈 곳을 통과한 후에 어느 시점에서 각도를 급하게 틀어 하와이를 습격하게 된다. 

미국은 당시 일본이 이렇게 대범하게 자국의 영토를 건드릴 것이라고 감히(?) 예측할 수 없었다. 대신 하와이에 거주하는 8만명에 이르는 일본아이들이 미군의 주요 군사시설을 대상으로 파괴공작을 벌일 가능성이 높다고 오판했다. 이런 잘못된 판단으로 비행기들과 배들을 한 곳에 모두 집결시켜 일본이 공격하기 좋은 악수를 두고만다. 미국은 적의 시각, 일본의 시작으로 국면을 보지 못하고 일본이 보내주는 신호를 분석하는데 실패하여 엄청난 피해를 입게 된다. 이는 신호들을 자신의 관점을 강화하는데 사용하고 관료적 관점에 들어맞는 신호들에 아무런 생각없이 초점을 맞춘 결과라고 저자 네이트 실버는 밝힌다.

당시 미국은 자신의 나라가 공격을 받은 경우가 거의 없다는 사실을 <깨지지 않는 철의 법칙>으로 인식하였다.  이러한 가설은 만고불변의 사실이 아니라 경험적인 관찰에 불과할 뿐이었다. 어떤 가능성이 우리에게 낯설 때 우리는 거기에 대해 생각조차 하지 않으려드는 우를 범하기 일 수 이다. 

저자는 미래예측을 잘하려면 우리의 이같은 본능을 거슬려 우리가 알지 못하는 것을 인정하고 받아들여야 한다고 강조한다. 즉 일반 사람들은 있을 법하지 않은 것을 진지하게 살피지 않는 것은 물론이고 생각조차 하지 않고 가설에서 아예 없애버린다는 말이다.

9.11테러도 비행기를 이용한 자살테러방식에 대해 있을 법하지 않는 것으로 진지한 고려를 하지 않았다고 지적한다. 신호와 소음의 저자인 네이트실버는 9.11테러 보다 수백 배의 큰 공격이 실제로 일어날 가능성에 대해 세계 안보관계자들의 의견을 소개한다. 그 중 하버드대학교의 정치학자 그레이엄 앨리슨은 <테러리스트의 핵무기 공격이 10년안에 십중팔구 미국에서 일어날 것이다>라는 섬뜩한 전망을 하고 있다. 그가 이런 판단을 하는 근거로 <테러의 동기와 수단, 기회>를 제시했다. 즉 오사마 빈 라덴이 미국인 400만명을 죽이고 싶다고 말했다고 한다. 알 카에다의 범행수법은 스펙타클하다. 한 번 했다하면 무고한 시민을 대량살상한다. 테러의 동기는 이것으로 충분조건이 되었다. 또 기회측면에서는 테러리스트가 얼마든지 미국에 무기를 반입할 수 있다고 말하면서 미국이 항구가 3,700개 이며 해마다 600만개의 컨테이너가 들어오는데 그 중 겨우 2퍼센트만 세관원이 검사한다는 사실을 지적한다. 테러의 수단에 관해서는 핵무기를 보유한 9개 국가 중 파키스탄은 테러리스트들이 핵무기를 손에 넣을 수 있는 최적의 조건들을 갖추고 있다고 강조한다. 그러면서 저자는 미국에서도 지금까지 핵탄두 열 한개를 잃어버렸다는 사실을 제시한다. 이러한 대목을 읽고 있자면 미국이 강한 것 처럼 보여도 실제 테러에 얼마나 취약한지를 발견하게 되어 앨리슨의 주장에 선뜻 공감하게 된다. 그러나 그의 주장에 대해 반대하는 의견도 만만치 않다. 

이러한 핵무기를 이용한 공격이외에 최대의 무기는 바로 생물무기이다. 현 세대에 대한 오염은 물론이고 다음세대의 유전자까지 변형시켤 수 있는 생물무기에 대한 공포는 핵무기에 대한 공포보다 더 무섭다. 저자인 네이트실버는 모든 사람들이 공포에 새파랗게 질려 있는 상황이 바로 테러범들이 노리는 상황이라고 지적한다. 이러한 테러리스트들의 노림수에 대응을 잘 하는 나라로 이스라엘의 사례를 든다. 실제 이스라엘은 작은 규모의 테러를 일상적으로 당하나 이스라엘 국민들은 테러보다도 교육제도 때문에 더 걱정이 많다고 답했다. 이스라엘은 테러현장을 보통 4시간안에 말끔하게 치워버린다고 한다. 사람들이 평소처럼 일을 하고 휴식을 취하도록 하기 위해서 그렇게 한다고 한다. 즉 소규모테러를 존재론적 위협이 아니라 길거리 범죄정도로 가볍게 보고 있는 것이다. 하지만 이러한 이스라엘도 대규모 테러에 대해서는 절대 용납하지 않는다. 이러한 이스라엘의 테러에 대한 접근법은 성공적이어서 멱법칙분포가 예측하는 것보다 사망자수가 휠씬 적다고 한다. (멱법칙, 테러발생빈도가 낮을 수록 사망자수는 많다. 그러나 이스라엘의 경우 클로젯의 직선이 곡선으로 구부러진다. 본서 641페이지 참조)  

결국 이 책에서 네이트 실버가 말하고 싶어하는 것은 이렇다. 즉 모든 분야(국가안보분야를 포함한)에서 미래예측을 위해서는 <베이즈주의적 접근법이 불확실성이 높은 상황에서 의사결정에 가장 적합하다>라고 주장한다. 즉 베이즈주의적 접근법이란 여러 개 가설을 동시에 계산하고 그 가설을 확률적으로 생각하고, 또 그 가설을 지지하거나 반대하는 새로운 정보가 등장할 때마다 수시로 그 가설을 업데이트 하는 것이다. 

베이즈의 통계학은 움직이는 과녁을 맞추는 것이다. 세상이 끊임없이 변하고 상황이 끊임없이 변함에 따라 기존의 방법론이 한계에 와있다. <신호와 소음>은 그 해답을 베이즈 정리에서 찾는다.  

  

 

엄청난 양의 주석과 인용구들...네이트 실버의 방대한 독서량..치밀한 근거 제시 

미래예측에 관한 네이트실버의 저서 <신호와 소음>은 전체 763쪽에 이르는 방대한 분량의 서적이다. 이 책을 보고 놀란 것은 네이트실버가 제시하고 있는 엄청난 양의 주석과 인용구들이다. 주석과 인용구 목록만 적어나가는데 모두 약 100쪽(663쪽~763쪽)을 할애했다. 그의 엄청난 양의 독서와 다방면의 지적편린을 들여다 볼 수 있는 대목이다. 

미래예측에 관한 책을 쓰는 사람답게 그는 이런 방대한 양의 서적이나 자료를 거의 탐독하여 새김질 한 것으로 보인다. 그가 이러한 미래예측에 재미를 붙이게 된 것이 메이저리그 선수들의 성적예측부터 시작했다하니 재미라는 것은 모든 학문의 동기가 되겠다. 뭐든 시간가는 줄 모르고 그것만 하면 행복한 것 그런 것이 큰 성공을 할 수 있는 기본바탕이 된다는 만고불변의 진리를 이 책을 통해서 경제상식과 더불어 덤으로 또 다시 얻게 된다.

더퀘스트에서 좋은 책을 출간한 것 같다. 독자들은 책 분량이 많고 전문적인 용어가 나오기 때문에 작심하고 눈에 불을 켜고 읽어야 할 듯...올 여름 휴양지에서 시원한 바람을 맞으며 본 서 <신호와 소음>으로 우리 인생의 미래를 한 번 예측해보는 것도 좋은 추억이 될 듯....

 

2014/07/06 - [맛집음식] - 성내동 중국음식잘하는집 성내동맛집 후아닝, 강동구청맛집 복분자탕수육 맛으로 유명

이 글은 위드블로그에서 제품 또는 서비스를 지원받아 작성된 글 입니다.