close
8 2, 2017
8 2, 2017

데이터 없이 예측하는 방법

우리가 생각하는 미래는 과거를 기반으로 합니다.

시카고에는 피아노 조율사가 몇 명이나 있을까요?

슈퍼포캐스터와 Good Judgment Project

정확한 예측을 위한 십계명

데이터 없이 예측하는 방법

Mayweather와 McGregor의 UFC-복싱 크로스오버 경기는 전례 없는 경기라는 이유만으로 스포츠 팬과 베터들의 관심을 사로잡고 있습니다. 전례가 없다는 것은 다양한 논쟁과 추측을 낳으며 화젯거리가 됩니다. 하지만 이런 예측은 미래를 알려주는 것은 과거에 기반한 예측이므로 어느 정도의 확실성을 가지고 결과를 예측하려는 사람에게는 크나큰 골칫거리가 됩니다. 그렇다면 베터는 이런 독특한 상황에서 어떻게 할 수 있을까요? 노벨상을 수상한 핵 물리학자가 개발한 방법을 참고하면 어떨까요?

예측은 정량 과학입니다. 기록 데이터가 많을수록 시스템이나 모델을 통해서 미래의 모습을 정확히 예측할 확률이 높아집니다. 

만약 누군가 기존 지식을 바탕으로 여러 데이터에서 특정 이벤트에서 존재하는 새로운 영향 요인을 파악하면 그들은 기존 아이디어보다 더 정확한 예측을 할 수 있습니다. 그 좋은 예가 바로 일기예보 또는 아웃라이트 Premier League 베팅이죠.

그러나 데이터가 없으면 우리는 정성 분석, 즉 일어날 일에 대한 논거를 바탕으로 추론할 수밖에 없습니다. 이건 소위 대세를 따르는 것보다 별로 나을 바가 없어 보이기도 합습니다. 하지만 과학의 Fermi 방법을 사용하면 도움을 받을 수 있습니다.

Enrico Fermi는 유명 물리학자로 핵에너지 시대의 길을 연 사람입니다. 그는 1938년에 노벨 물리학상을 수상했고 세계 최초로 원자로를 제작했습니다. 또한, 사용 가능한 정보가 별로 없어 합리적으로 계산하는 게 불가능한 경우에 재빠른 어림짐작으로 수량화하는 방식을 만든 것오로도 잘 알려져 있습니다.

그러나 데이터가 없으면 우리는 정성 분석, 즉 일어날 일에 대한 논거를 바탕으로 추론할 수밖에 없습니다. 이건 소위 대세를 따르는 것보다 별로 나을 바가 없어 보이기도 합습니다. 하지만 과학의 Fermi 방법을 사용하면 도움을 받을 수 있습니다.

그는 학생들에게 이 어림짐작 방법을 가르칠 때 다음과 같은 질문을 던진 것으로 유명합니다.

시카고에는 피아노 조율사가 몇 명이나 있을까요?

이것은 속임수 질문이 아닙니다. 몇 분 동안 질문을 곰곰이 생각하고 추정을 통해 일련의 하위 질문을 바탕으로 간소화한 주장을 펼쳐 보세요. 이렇게 하면 우리의 핵심 질문에 대한 합리적인 대답을 생각해낼 수 있습니다(Google을 사용하지 마시고요!). 계속 읽기 전에 먼저 여러분만의 대답을 찾아보세요.

다음 하위 질문을 스스로에게 던지면(또는 약간 다른 질문으로 비슷한 논리를 전개하면) 답에 대한 좋은 아이디어를 얻을 수 있습니다.

  • 시카고에는 피아노가 몇 대 있을까요?
  • 피아노 한 대는 매년 몇 번이나 조율될까요?
  • 피아노를 조율하는 데 시간이 얼마나 걸릴까요?
  • 피아노 조율사의 연 평균 근로 시간은 얼마나 될까요?

처음 3가지 질문에 대한 추측을 통해 Chicago에서 연간 피아노 조율 작업 시간이 얼마나 될지를 계산할 수 있습니다. 이것을 조율사 한 명이 1년에 작업할 것으로 추정되는 시간 수로 나누면, 피아노 대수에 대한 합당한 숫자를 생각해낼 수 있습니다. 물론 1, 2, 3번 질문에 대한 정보를 알아내려면 추가 하위 질문으로 쪼개서 분석해 들어가야 합니다.

1번 질문의 경우, 다른 미국 도시 인구에 대한 지식을 이용해 Chicago의 인구를 추측해야 합니다. 대략 200만에서 250만 명 사이로 추측됩니다(실제로 2016년에 270만 명으로 기록됨).

그런 다음 피아노 소유자의 비율을 구해야 하는데, 경험 법칙에 따라 피아노 소유자를 100명당 1명으로 계산해볼 수 있습니다(위의 인구 추정치에 대입하면 약 25,000대). 그 다음 바, 클럽, 학교 등의 수치를 더해 보세요. 그렇게 분석치를 2배로 곱하면 피아노 대수가 100명당 2대, 즉 50,000대인 것으로 볼 수 있습니다.

2번과 3번 질문은 단순히 직관에 맡겨 보겠습니다. 물론 해당 분야 지식을 갖고 있으면 그걸 이용하면 되고요. 피아노는 1년에 한 번 조율되고 조율 시간은 약 2시간으로 보입니다. 4번 질문은 자신의 경험을 이용하거나 공식 휴일을 포함한 주당 5일의 평균적인 정규 업무 시간을 계산해 보면 됩니다.

따라서 1년에 1번 조율해야 하는 50,000대의 피아노가 있고 각 피아노 조율에 2시간이 걸린다고 추측하면 총 조율 시간은 100,000시간이 됩니다. 이것을 조율사 1명당 연간 평균 작업 시간인 1,600시간으로 나누면, Chicago에 총 62.5명의 피아노 조율사가 있다는 결론에 도달합니다.

여기서 지금 확실한 답은 알 수 없지만 옐로우 페이지를 분석(Daniel Levitin가 입수한 정보)해 보니 83명이라는 숫자가 나왔으며 여기에는 중복된 사람들도 있습니다. 그러니 55~70명 사이로 답을 추측했다면 잘한 것입니다.

답의 정확성만이 중요한 게 아니라 어떤 계산 방식을 사용했느냐도 중요합니다. 이런 사고방식은 Mayweather와 McGregor의 대결 베팅처럼 데이터가 없는 상황에서도 정확히 예측할 수 있게 합니다. 이 질문에 어떻게 접근할지 아직 감이 안 잡힌다면 나머지 기사를 읽으면서 다른 추상적 질문에 도전해 보세요.

이 피아노 조율사 질문은 '엠파이어 스테이트 빌딩의 무게는 얼마일까?' 등의 유사 질문과 함께 Google이 실제로 면접자에게 물어봤던 질문으로, 추론 기술을 키워주는 질문입니다.

북메이커는 미래를 예측하는 사람이 아닙니다. 북메이커는 단순히 배당률의 형태로 어떤 일이 일어날 확률을 측정하여 제시하는 사람입니다. 이런 측면에서 피나클은 고정된 규칙들을 따르고 있으며 확실하고 접근 가능한 좋은 기록 데이터를 보유한 주류 스포츠에서 더 안전합니다.

슈퍼포캐스터 - Good Judgement Project

Fermi 방법은 Philip Tetlock과 Dan Gardner의 뛰어난 저서 Super-Forecasting: The art & science of prediction에서 논의되었습니다. 이 책은 Good Judgement Project(GJP)를 배경으로 예측 과학이 발달해온 과정을 살펴봅니다.

Tetlock은 4년에 걸쳐 “20,000명의 지적 호기심이 많은 일반인”을 초대하여 GJP에 참여하여 다양한 지정학적 난제의 결과를 예측하도록 했습니다. 그의 팀은 IARPA(Intelligence Advanced Research Projects Activity: 정보고등연구기획국)의 보다 광범위한 계획의 일부에 속해 있었습니다. IARPA는 국가 이익에 직접적으로 영향을 미치는 중요한 정치 경제적 이벤트와 관련하여 예측 수준을 향상시키는 데 집중하는, 미국 정보 공동체에 속한 한 기관입니다.

IARPA는 GJP와 GJP의 아마추어 탐정을 포함한 해당 분야 최고의 과학자들이 이끄는 5개 팀을 구성하여 예측 토너먼트를 열었습니다. IARPA는 5년에 걸쳐 매일 500개에 가까운 문제를 올리고 바로 즉시 답변을 받았습니다.

정확도는 예측 확실성의 힘의 델타와 실제 결과를 합산하여(제곱) 예측 점수를 평가하는 Brier Score를 통해 측정되었습니다. 이는 신뢰 요인을 사용하여 예측하도록 요구하여 동등한 기준으로 신뢰도를 가감하는 방법으로, 팁스터를 올바르게 구분하는 뛰어난 방법이기도 합니다.

북메이커는 미래를 예측하는 사람이 아닙니다. 북메이커는 단순히 배당률의 형태로 어떤 일이 일어날 확률을 측정하여 제시하는 사람입니다. 이런 측면에서 피나클은 고정된 규칙들을 따르고 있으며 확실하고 접근 가능한 좋은 기록 데이터를 보유한 주류 스포츠에서 더 안전합니다.

그런 다음 우리는 기존에 일어난 알려진 사건을 기반으로 모델을 구축하고 시작 배당률의 형태로 미래 결과의 확률을 적절히 판단할 수 있습니다.

그러나 새로운 고객을 유치하고 기존 사용자에게 더 많은 재미를 선사하려면 주력 서비스 이외에도 이전 경기의 일부 기록이 있을 수 있는 신규 스포츠나 비주류 스포츠로 영역을 넓혀야 합니다. 그 좋은 예로 e스포츠, 스페셜올림픽, 선거를 들 수 있습니다.

선거는 간헐적으로 매번 다른 상황에서 열리므로, 기록 데이터의 가치가 아주 적은 편입니다. 여론조사는 아주 많은 이유에서 신뢰할 수 없으며, 뉴스 의존하는 것은 북메이커 입장에서는 지뢰밭을 밟는 꼴입니다. 그렇기에 북메이커는 정치 관련 베팅에서 약한 면모를 보입니다.

처녀 출전 승마 경주 난제

이 문제의 또 다른 좋은 예가 처녀 출전 승마 경주입니다. 피나클에 경마 베팅은 없지만 참고용으로 좋습니다.

처녀 출전하는 2살짜리 말(승전 기록이 없는 말도 포함)이 참여하는 승마 경주는 확실한 게 전무하다시피 한 베팅 이벤트의 좋은 예입니다. 더 나쁜 점은 경주가 금방 끝나므로 말들이 처음 경주에 출전하여 곤란한 상황에 처하며 낭비할 시간도 거의 없다는 것입니다.

경주에 한 번도 출전해본 적 없는 말의 기량을 어떻게 예측합니까? 특히, 트레이너/소유자 관점에서 보자면 경주마가 우승해도 단지 긍정적인 경주 경험을 준다는 이점밖에 없는 경주라면 말입니다.

  • 피아노 조율사 문제에서와 같은 일련의 연역적 질문을 던져 보세요.
  • 말의 품종이 얼마나 우수합니까? 사육사의 경력은 얼마나 성공적입니까?
  • 트레이너는 어떤가요? 그들의 기록을 봤을 때, 같은 코스 거리에서 처음 출전하여 우승한 적이 있습니까?
  • 처녀 출전 경주마 경주에서 기수의 기록은 어땠습니까?

이러한 질문을 통해 말의 확률을 합리적으로 추측할 수 있습니다. 이 질문들을 결합하여 평가를 도출하고 Brier Score 기법을 사용하여 시장에 대한 신뢰도 수준을 정확히 점수로 매기면 가장 좋은 추측을 할 수 있습니다.

이렇게 겉으로 보기에 까다로운 종류의 문제는 북메이커에게도 까다롭기 때문에 베터에게는 기회가 됩니다. 북메이커에게 아주 중요한 마진이란 게 있기는 하지만요. 우리는 의존할 모델이나 수학이 없으므로 트레이더는 경험, 지식, 그리고 Fermi 방법에 의존하게 됩니다.

정확한 예측을 위한 십계명

GJP가 직면한 도전은 베터와 북메이커가 기존 스포츠 시장에서 미지의 베팅 영역으로 옮겨갈 때 베터와 북메이커가 부딪히는 문제와 다를 바 없습니다. 이건 다시 우리를 Mayweather와 McGregor 대전 얘기로 이끕니다. 피나클에서는 복싱과 MMA에 어떻게 핸디캡을 적용시킬지에 대한 합리적인 생각이 있습니다. 하지만 복서와 MMA 선수의 대결은 본질적으로 Fermi 방식으로 문제에 접근하게 합니다(베터는 실시간 배당률과 아래의 배당률 추이 차트로 문제를 풀어볼 수 있음).

여기서 좋은 소식은 GJP의 결과를 바탕으로 볼 때 실험에서 아마추어 예측자의 기본 예측 성공률을 올린 것으로 입증된 매우 실용적인 방법이 있다는 점입니다.

Tetlock은 실질적으로 GJP 경험을 바탕으로 정확한 예측을 위한 십계명을 만들었습니다. 자세한 내용은 www.goodjudgementproject.com에서 찾아볼 수 있지만 그래도 책을 읽는 편이 더 낫겠죠. 어쨌든 여기에 짧게 축약되어 있으니 해당되는 베팅의 경우(Mayweather와 McGregor 문제 등)에 적용해볼 수 있습니다.

Tetlock은 핵심 원리가 담긴 가이드북을 읽은 사람의 Brier Score를 무작위 평가를 사용해서 측정한 경과 10%가 증가했다고 밝혔습니다. 이 정도면 베터가 장기적 수익성을 높이게 하는 데 충분할 수 있습니다.

1 - 노력한 만큼 대가가 따를 가능성이 높은 문제에 집중하고, 너무나도 명백한 부분이나 알기 어려운 부분은 모두 무시합니다. 여러분이 Premier League에 대해, 시장에서 아직 못 발견한 점을 발견할 확률은 거의 없습니다. 현실적인 수준, 즉 여러분만의 골디락스 존을 찾으세요. 합리적인 시간과 노력으로 가치를 찾을 수 있는 곳이 바로 여러분의 현실적인 영역입니다.

2 - 큰 덩어리의 문제를 작은 문제들로 나누세요. 예를 들어, "Mayweather와 McGregor 중에서 누가 이길까요?"를 “McGregor는 어떤 복싱 폼을 갖고 있습니까?”, “두 선수 각자의 동기는 무엇입니까?”, “McGregor는 어떤 스타일로 싸우며 그런 스타일에 대한 Mayweather의 성공률은 어떻습니까? 등의 작은 질문으로 쪼개세요. 자신의 대답이 지닌 가치와 신뢰도를 정하세요.

3 - 내부의 견해와 외부의 견해 사이에서 균형을 맞추세요. Mayweather와 McGregor에 대해서는 복싱이나 MMA에서 한 발 물러서서 평가해야 합니다. McGregor는 MMA 커뮤니티에 막대한 추종자가 있고 이들은 엄청난 숫자로 의심할 여지없이 그를 지지하지만 그들만의 내적인 견해가 정말 가치가 있을까요? 마찬가지로 복싱 추종자는 MMA에 대해 얼마나 많이 알까요? 두 가지 견해 모두의 균형을 맞추도록 하세요.

4 - 새로운 정보에 대한 보상이 과잉/부족 상태가 되지 않게 균형을 맞추세요. 이 계명은 기본적으로 새로운 증거를 통합할 때 베이즈 방법론을 사용하는 게 좋다는 말입니다. 하지만 자신만의 의견에 파묻히거나 새 정보에 과잉 반응하지 않게 똑같이 주의해야 합니다. 이는 경험과 정보 출처의 가치를 잘 평가하는 능력에 의존합니다. 이 세기의 대결에 대해 온라인에서 막대한 금액이 거론될 것이므로 최고의 정보 출처를 찾는데 시간을 할애해 보세요.

5 - 자신의 편견에 도전하세요. 복싱에 일가견이 있고 Mayweather 승리 외에는 생각할 수 없다면 스스로에게 이의를 제기하여 그가 패배할 수 있는 시나리오를 생각해 보고 그 반대 시나리오도 따져 보세요.

6 - 예감을 확률로 바꿔보세요. 경험 많은 예측자는 ‘Mayweather가 확실하다’ 아니면 ‘McGregor는 가망이 없다’와 같은 일방적인 주장에 치우치지 않습니다. 이들은 호언장담하는 게 아니라 확률을 사용해 보다 정교하게 평가합니다. 

7 - 신뢰도의 균형을 맞추는 법을 배우세요. 무반응이라 할 정도로 꾸물거려 기회를 놓치는 태도와 객관적인 측정 평가 없이 올인하는 태도 사이에서 균형을 유지하라는 말입니다.

8 - 실패와 성공을 동일하게 열심히 분석하세요. 틀린 것보다 더 나쁜 것은 실수한 점을 무관심하게 내버려 두는 것입니다. 마찬가지로, 올바른 결정을 내렸으나 잘못된 결과를 맞을 수도 있고 그 반대의 경우가 생길 수도 있습니다.

9 - 여러분과 타인이 서로에게서 최선을 끌어내게 하세요. 이것은 GJP의 팀스피릿 성격을 얘기하는 것입니다. 그러니 이건 연합체의 일원으로 일하거나 SNS에서 매우 활발하게 활동하며 자신의 의견을 기꺼이 개진하고 건설적인 비판을 주고받고 있는 경우에만 해당되는 계명입니다.

10 - 좋은 의도를 실행으로 옮겨야만 실력이 향상됩니다. 베팅을 단순히 오락거리로만 즐겨도 됩니다. 하지만 그런 경우에는 장기적인 수익은 기대하기 힘듭니다. 이 말이 마음에 들지 않는다면 체계적이고 구조적인 방법으로 베팅에 시간과 노력을 들여야 합니다.

베팅 정보 - 베팅 지원

피나클의 베팅 정보는 온라인의 모든 전문가 베팅 조언 중 가장 광범위한 콜렉션입니다. 모든 경험 수준에 맞추어서 피나클의 목표는 단 하나, 베터가 더 풍부한 지식을 함양하도록 지원하는 것입니다.