kesä 5, 2019
kesä 5, 2019

Pinnacle vastaan FiveThirtyEight: Ennustemenestyksen vertailu

FiveThirtyEightin jalkapalloennustemalli

Pystyvätkö FiveThirtyEightin ennusteet tekemään voittoa?

Mitä arvoa se tarjoaa vedonlyöjille?

Pinnacle vastaan FiveThirtyEight: Ennustemenestyksen vertailu

FiveThirtyEight on tunnettu jalkapalloennusteiden lähde, mutta kuinka tarkkoja heidän ennusteensa ovat? Miten ne vertautuvat Pinnaclen vedonlyöntikertoimiin? Tarjoavatko ne mitään arvoa vedonlyöjille? Lue lisää tästä artikkelista.

Vedonvälittäjän kertoimet tarjoavat periaatteessa suoran ennusteen urheilutapahtumien tuloksista. Kun ne ilmaistaan desimaalimuodossa, joten luvusta tarvitsee vain ottaa käänteisluku, jolloin saat epäsuoran prosenttitodennäköisyyden (vaikka vedonvälittäjän marginaalin poistamisessa on hieman lisätyötä). Esimerkiksi kerroin 2,50 (marginaali jo poistettuna) ilmaisee 1/2,50:n, 0,4:n eli 40 %:n todennäköisyyttä.

Vedonvälittäjä ei tietenkään aina ole oikeassa. Heidän virheensä tarjoavat asiakkaille mahdollisuuden löytää odotettua arvoa ja tehdä pitkäjänteistä voittoa. Lukijat ovat kuitenkin nähneet viestini, että Pinnaclen virheet ainakin jalkapallovedonlyönnissä, ovat satunnaisia ja että keskimäärin heidän kertoimensa tarjoavat erittäin luotettavan todennäköisyyden tapahtumista. Tässä yhteydessä heidän lopulliset kertoimensa ovat parhaita ja niitä voidaan käyttää ennustamaan, kuinka paljon voittoa vedonlyöjä voi odottaa.

On kuitenkin myös muita ennustusryhmiä, jotka tarjoavat ennusteita jalkapallo-otteluiden tuloksista. Yksi parhaiten tunnetuista on Fivethirtyeight.com, joka on politiikka-, talous- ja urheiluennusteblogi, jonka on luonut amerikkalainen tilastonikkari, entinen pokerinpelaaja ja kirjan The Signal and the Noise kirjoittanut Nate Silver. Nate tuli kuuluisaksi ennustettuaan oikein 49 osavaltiota 50:stä Yhdysvaltain vuoden 2008 presidentinvaaleissa ja kaikki 50 osavaltiota neljä vuotta myöhemmin.

Urheilufanin tai vedonlyöjän perspektiivistä FiveThirtyEightin otteluennusteet ovat erityisen hyödyllisiä, koska ne tarjoavat todennäköisyydet kotivoitolle, tasapelille ja vierasvoitolle. Kääntämällä nämä luvut saamme heti niistä johdetut reilut kertoimet. Kenen tahansa arvovedonlyöjän tavoite on löytää reilut kertoimet, jotka ovat vedonvälittäjää tarkempia. Jos tämä onnistuu, jäljellä on vain lyödä vedonvälittäjän kertomilla silloin, kun ne ovat korkeammat. Jos vedonlyöjä tekee pidemmän päälle voittoa, se on varma merkki siitä, että kertoimet ovat vedonvälittäjää tarkemmat. Tätä artikkelia varten @PlusEVAnalytics on toiminut yhteistyössä kanssani, jotta saamme tietää pystyykö FiveThirtyEight tähän.

FiveThirtyEightin jalkapalloennustemalli

FiveThirtyEight alkoi julkaista jalkapallo-otteluiden ennusteita tammikuussa 2017, vaikka heidän tulostietokantansa yltää elokuuhun 2016. Heidän metodinsa perustuu ”huomattavasti uusittuun versioon ESPN:n jalkapallovoimasuhteiden indeksistä (SPI)”, jonka kehitti alun perin Nate Silver ja joka käyttää odotettua maalimäärää (eli xG) ja Poissonin tilastollista analyysia luomaan matriisin mahdollisista ottelutuloksista, mistä lasketaan kotivoiton, tasapelin ja vierasvoiton todennäköisyydet.

FiveThirtyEight uskoo, että heidän jalkapalloennusteensa ovatvarsin hyviä, ja väittää, että heidän ennusteensa on arvokkaampi kuin taitamaton arvaus. Siinä he ovat varmasti oikeassa, mutta pärjäävätkö he Pinnaclen johdetuille todennäköisyyksille? Tutkitaanpa!

Pystyvätkö FiveThirtyEightin ennusteet tekemään voittoa?

Yhdistin Pinnaclen vanhojen sulkemiskertoimien tietokannan FiveThirtyEightin julkisiin johdettuihin todennäköisyyksiin ja sain otokseksi 16 635 ottelua eurooppalaisten jalkapalloliigojen otteluista 12. elokuuta 2016 – 31. maaliskuuta 2019, eli yhteensä 49 905 koti/tasan/vieras-todennäköisyyttä.

20 093 tapauksessa Pinnaclen sulkemiskertoimet olivat korkeammat kuin FiveThirtyEightin todennäköisyysennusteet. Nämä kertoimet (keskimääräinen kerroin 4,12) olivat keskimäärin 16,2 % korkeammat, mikä tarkoittaa, että jos olisimme lyöneet vetoa näillä kertoimilla, meidän olisi pitänyt tehdä voittoa noin 16,2 % olettaen, että FiveThirtyEightin kertoimet ovat keskimäärin tarkka tai tehokas näkemys ”todellisista” todennäköisyyksistä. Kävi kuitenkin niin, että niillä tuli tuli tappiota -6,0 %, mikä on huonommin kuin kaikkien 49 905 kertoimen vedonlyöntitappio -4,3 % (mutta ei tilastollisesti merkittävästi huonommin).

Ensimmäinen taulukko osoittaa, kuinka FiveThirtyEightin johdetut kertoimet epäonnistuivat ennustamaan todelliset palautukset Pinnaclen sulkemiskertoimien vedonlyönnistä. Jakamalla Pinnaclen sulkemiskertoimet FiveThirtyEightin johdetuilla kertoimilla antaa meille odotetun palautuksen kyseiselle vedonlyönnille olettaen, että FiveThirtyEightin kertoimien tehokkuus on totta.

Kun ryhmittelemme vedonlyönnit kasvavan odotetun palautuksen mukaan (0,01:n tarkkuudella), näemme, että odotettu palautus ei vastaa todellisia vedonlyönnin palautuksia lainkaan. Keskimääräinen palautus on tappiollinen noin -6 %:n verran riippumatta Pinnaclen sulkemiskertoimien suhteesta FiveThirtyEightin johdettuihin kertoimiin. Vaikuttaa siltä, että FiveThirtyEightin kertoimet eivät tarjoa mitään ennustavaa arvoa suhteessa Pinnaclen sulkemistodennäköisyyksiin.

five-thirty-eight-in-article-1.png

Mitä jos käännämme tilanteen toisin päin? Teeskennellään nyt, että FiveThirtyEight on vedonvälittäjä on Pinnacle on ennustemalli. Nyt FiveThirtyEightin kertoimien suhdetta Pinnaclen reiluihin sulkemiskertoimiin (marginaali poistettuna) käytetään odotetun palautuksen mittana.

Vedonlyönti FiveThirtyEightin kertoimilla niissä 25 557 tapauksessa, joissa ne ylittivät Pinnaclen reilut sulkemiskertoimet, tuottaa palautusta 15,5 %, joka on hyvin lähellä keskimääräistä 15,9 %:n paremmuutta (keskimääräinen kerroin 4,49). Hajontakuvio vahvistaa voimakkaan korrelaation odotetulle ja todelliselle palautukselle tässä käänteisessä hypoteesissa. Trendiviivan kaltevuus on lähes tasan 1 ja se kulkee origon läpi (katso y = mx + c -laskukaava taulukosta), mikä implikoi, että Pinnaclen sulkemiskertoimet ovat keskimäärin erittäin tehokkaat, toisin kuin FiveThirtyEightin.

five-thirty-eight-in-article-2.png

Virheellinen analogia

Kun julkaisin nämä löydökset Twitterissä huhtikuussa, minulle aivan oikein osoitettiin, että analogiamme oli virheellinen. FiveThirtyEightin ennusteen todennäköisyydet luodaan ennen otteluita, ja viimeinen todennäköisyysarvio julkaistaan kun tiimin edeltävä ottelu on pelattu. Tämä voi olla päiväkausia ennen varsinaista ottelua. Heidän ennusteensa voivat olla korkeintaan niin hyviä kuin silloiset tiedot.

Pinnaclen sulkemiskertoimet sen sijaan heijastavat kaikkia saatavilla olevia tietoja hetkellä, jolloin ottelu lopulta alkaa. Tähän sisältyy monia tekijöitä, kuten pelaajien loukkaantumisia, tiimikokoonpanojen muutoksia, sää ja kentän kunto – asioita, joita FiveThirtyEightin kertoimet eivät sisällä eivätkä voikaan sisältää.

Jotta saisimme reilun vertailun Pinnaclen sulkemiskertoimiin, FiveThirtyEightin olisi annettava todennäköisyysennuste samaan aikaan eli ottelun alkaessa. Tätä ei tule tapahtumaan. Vaihtoehtoisesti voisimme käyttää Pinnaclen kertoimia siinä vaiheessa, kun FiveThirtyEight antaa lopullisen ennustetodennäköisyytensä ottelulle. Ikävä kyllä minulla ei ole aikaleimattuja tietoja Pinnaclen kertoimista ja vaikka olisikin, luulen, että avauskertoimet julkaistaan usein myöhemmin kuin FiveThirtyEightin viimeiset ennusteet.

Siitä huolimatta Pinnaclen avauskertoimien käyttäminen tarjoaa mahdollisesti reilumman mallivertailun kuin sulkemiskertoimien käyttö – katsotaanpa tuloksia. 18 952 tapauksessa Pinnaclen avauskertoimet olivat korkeammat kuin FiveThirtyEightin (keskimääräinen kerroin 3,97), keskimäärin 14,2 % korkeammat. Niiden tappio oli -4,1 %, marginaalisesti parempi (mutta ei tilastollisesti merkittävästi) kuin -4,4 %:n tappio kaikista 49 905 vedonlyönnistä. Jälleen odotettun ja todellisten palautusten välillä ei juuri ollut korrelaatiota.

five-thirty-eight-in-article-3.jpg

Samoin kuin aiemmin, kun mallivertailu suoritetaan käänteisesti (Pinnaclen avauskertoimet ”totuuden” mittatikkuna), korrelaatio on paljon parempi. Ei yhtä tarkka kuin sulkemiskertoimilla, mutta silti vastaava. Vedonlyönti FiveThirtyEightin kertoimilla niissä 25 775 tapauksessa, joissa ne ylittivät Pinnaclen reilut avauskertoimet, tuottaa palautusta 12,8 %, joka on jälleen lähellä keskimääräistä 14,8 %:n paremmuutta (keskimääräinen kerroin 4,54).

The Signal and the Noise

Kun kirjoitin avauskertoimien tiedot Twitteriin, @PlusEVAnalytics, tämän artikkelin toinen tekijä, totesi ”jos kysyt itseltäsi onko FiveThirtyEight parempi kuin Pinnacle, saat itsestäänselvän vastauksen”.

Ehkä, ja ehkä löytämämme on varsin itsestään selvää. On todennäköisesti totta, että FiveThirtyEightin ennustetodennäköisyydet ovat tiedollisesti heikommat kuin Pinnaclen niin ajoituksen takia kuin siksi, että Pinnaclen ensisijainen bisnesmalli on saada kertoimet oikein, kun taas FiveThirtyEight pyrkii viihdyttämään. Jälkimmäisen ei tarvitse tehdä rahaa ennusteillaan – ei ainakaan suoraan. Lisäksi FiveThirtyEight reilusti myöntää, ettei heidän ennusteitaan ole suunniteltu vedonlyöntiin.

Tästä huolimatta @PlusEVAnalytics ehdotti mielenkiintoista ajatuskoetta. Kahden ennustemallin yhdistäminen voisi luoda paremman mallin kuin pelkät Pinnaclen kertoimet itsekseen, jolloin voisimme selvittää onko FiveThirtyEightin ennusteiden jäännöksissä mitään yhteyttä Pinnaclen kertoimiin.

Analyysi on tähän mennessä keskittynyt ”joko tai” -esitykseen – kumpi malleista on lähempänä totuutta? Tulokset ovat ratkaisevia ja yllätyksettömiä. Mutta tehdäänpä pieni muutos muotoilemalla kysymys seuraavanlaiseksi:

”Paras” todennäköisyys mille tahansa tulokselle = Z * (FiveThirtyEightin todennäköisyys tulokselle) + (1 – Z) * (Pinnaclen todennäköisyys tulokselle), mille tahansa Z:n arvolle, 0 ≤ Z ≤ 1.

Mikä Z:n arvo maksimoi näiden parhaiden todennäköisyyksien ennustusarvon?

Tämä malli on riittävän joustava, jotta voimme rakentaa parhaat todennäköisyydet käyttämällä pelkästään FiveThirtyEightin ennusteita (asettamalla Z = 1), pelkästään Pinnaclen ennusteita (asettamalla Z = 0) tai mitä tahansa siltä väliltä (asettamalla Z:n nollan ja yhden väliin).

Miten määritämme parhaan Z:n arvon? Mahdollisia tapoja on useita, mutta tässä käytämme suurimman uskottavuuden estimointia. Suurimman uskottavuuden estimoinnin tarkoitus on löytää yhden tai useamman tuntemattoman parametrin arvot, jotka sopivat parhaiten sarjaan havaintoja. Kuinka mittaamme, miten hyvin arvio osuu kohdalleen? Katsomalla todennäköisyyttä, tuntemattoman parametrin ehtona, juuri sen havaitsemiseen, mitä olemme havainneetkin.

Edellä kuvaillussa mallissamme on yksi parametri – Z. Minkä tahansa Z:n arvon avulla voimme laskea sarjan parhaat kotivoiton/tasapelin/vierasvoiton todennäköisyyksiä kyseisen Z:n arvolla datasarjan jokaisesta ottelusta. Jokaisessa ottelussa todennäköisyys havaintomme havaitsemiseen on paras kotivoitto/tasapeli/vierasvoitto-todennäköisyys, jos ottelun tulos oli kotivoitto/tasapeli/vierasvoitto. Jos esimerkiksi K/T/V-todennäköisyydet ovat 0,5, 0,3 ja 0,2 ja tulos on tasapeli, tämän havainnon todennäköisyys on 0,3.

Koska kaikki ottelut ovat itsenäisiä tapahtumia, havaitsemamme sarjan tarkkojen tulosten havaitseminen on kunkin itsenäisen ottelun todennäköisyyden tuloa. Tämä tuote on tavoitteemme – yritämme maksimoida sen säätämällä Z:n arvoa.

Ikävä kyllä 16 635 todennäköisyyden tulo on äärimmäisen pieni – mieti sitä 16 635 ottelun monivetona. Tämä luo laskennallisen ohjelman suurimman uskottavuuden estimointiin esimerkiksi Exceliä käyttämällä, sillä se ei pysty käsittelemään tiettyä kynnystä pienempiä numeroita – mikä tahansa pienempi pyöristetään nollaksi.

Tämän ongelman kiertämistä varten voimme maksimoida todennäköisyyden logaritmin. Koska todennäköisyyden absoluuttinen arvo ei ole oleellinen suurimman uskottavuuden estimointiin – se millä on merkitystä on kuinka todennäköisyys muuttuu parametria säätäessämme – matemaattisesti vastaavaa tulos saadaan maksimoimalla niin kutsuttu logaritminen uskottavuus.

Parhaiden ottelutodennäköisyyksien logaritmin ottamisen lisäksi otamme nyt myös logaritmisten todennäköisyyksien summan niiden tulon sijaan. Tämän analyysin suorittaminen datasarjalle antaa seuraavat tulokset:

  • Kun käytetään Pinnaclen sulkemiskertoimia, logaritminen uskottavuus on maksimissaan, kun Z = 0. Toisin sanoen FiveThirtyEight ei tosi asiassa edesauta ”täydellistä” ennustemallia yhtään, kun vain FiveThirtyEightin ja Pinnaclen ennusteita verrataan.

  • Pinnaclen avauskertoimia käyttämällä logaritminen uskottavuus maksimoidaan, kun Z = 0,04. Toisin sanoen FiveThirtyEightin panos ”täydelliseen” malliin on noin 4 %.

Mallien viisaus

Jälkimmäinen näistä tuloksista on mielenkiintoinen. Jos on pakko valita toinen, Pinnaclen avauskertoimet antavat objektiivisesti huomattavasti paremman ennustearvon kuin FiveThirtyEightin ennusteet. Mutta juju on tässä…

Painotettu keskiarvo, joka koostuu 4-prosenttisesti FiveThirtyEightin ennusteesta ja 96-prosenttisesti Pinnaclen avauskertoimista, tarjoaa paremman ennustearvon kuin kumpikaan näistä yksinään!

Mitä arvoa se tarjoaa vedonlyöjille? Käytännössä ei juuri mitään. 4 % on liian pieni ollakseen erityisen hyödyllinen, eikä se välttämättä edes ole tilastollisesti merkittävä. Mutta mitä jos Z olisi suurempi? Entä mitä jos kahden ennusteen sijaan olisi useita ennusteita, joista jokaisella olisi oma Z-arvonsa? Tämä on versio ”joukkojen viisaus” -teoriasta, jonka mukaan erillisten ennusteiden yhdistelmä voi olla tarkempi kuin paraskaan kyseisistä ennusteista yksinään.

Perimmiltään juuri tämä tekee Pinnaclen kertoimista niin tarkat (keskimäärin). Heillä on hienostuneimmat ja tietäväisimmät vedonvälittäjät asettamassa vetoja. He myös sallivat muiden terävien vedonlyöjien pelaavan sen sijaan, että kieltäytyisivät heidän asiakkuudestaan, mikä auttaa heitä säätämään vedoistaan yhä tarkempia tai viisaampia. Pinnaclen sulkemiskertoimet esittävät efektiivisesti ”ennustemallien viisautta” ja niiden kertoimet heijastavat ”täydellisiä” lopputuloksen todennäköisyyksiä. Todennäköisesti juuri sen vuoksi FiveThirtyEightillä ei ollut mahdollisuuksia niitä vastaan.

Vedonlyöntiresurssit auttavat vedonlyönnissä

Pinnaclen Vedonlyöntiresurssit-osio on yksi netin kattavimmista asiantuntevan vedonlyöntineuvonnan kokoelmista. Tavoitteenamme on auttaa kaikentasoisia vedonlyöjiä parantamaan tietämystään.