Onko Pinnaclen jalkapallokohteista tullut tehokkaampia?

Pinnaclen vedonlyöntiresurssien vuosien aikana lukijat ovat tottuneet puheisiini markkinoiden tehokkuudesta. Yksinkertaisesti sanottuna tehokkuus on vain toinen sana tarkkuudelle. Kun sanomme, että vedonlyöntikohde on tehokas, tarkoitamme, että sen kertoimet esittävät tarkasti kyseisen jalkapallo-ottelun todellisia todennäköisyyksiä.

Joillekin tämä voi olla varsin vaikea konsepti. Ongelma on tässä: kertoimet osoittavat todennäköisyyksiä, mutta tulokset ovat binäärisiä: ne ovat joko oikeassa (100 %) tai väärässä (0 %). Tässä mielessä kaikki kertoimet ovat epätarkkoja, koska ne eivät heijasta tuloksia. Vaatii jonkin verran mielikuvitusta ymmärtää, että nämä tulokset esittävät vain yhtä mahdollista historiaa, mutta toteutuvan historian näkeminen etukäteen piiloutuu epävarmuuden luonteeseen.

Jos voisimme pelauttaa jalkapallo-ottelua äärettömän määrän kertoja, näkisimme tulosten jakauman, jossa joskus tulee kotivoitto, joskus tasapeli ja joskus vierasvoitto. Se, kuinka hyvin johdetut todennäköisyydet heijastavat tätä jakaumaa, kertoo kuinka tarkat eli tehokkaat alkuperäiset vedonlyöntikertoimet olivat.

Kuinka mittaamme jalkapallokohteiden tarkkuuden?

Ikävä kyllä todelliset ovat ainoa, mitä meillä on käytettävänämme, kun yritämme mitata Pinnaclen jalkapallokohteiden tarkkuutta. Emme koskaan tiedä, mitkä todelliset kertoimet olisivat olleet. Jotta voimme mitata kuinka hyvin kertoimet heijastavat todellista lopputulosta, voimme käyttää pisteytyssääntöä, joka mittaa todennäköisyyttä osoittavien ennusteiden tarkkuutta.

Pinnacle on jo julkaissut vedonlyöntiresurssiartikkelin yhdestä tunnetusta pisteytyssäännöstä: Brier-pisteytyksestä. Toinen on tietämättömyyspisteytys, joka liittyy Shannonin entropiaan, eli satunnaisen muuttujan mahdollisten tulosten sisältämään tietoon. Tässä artikkelissa esittelen uuden: sijoitustodennäköisyystuloksen.

Sijoitustodennäköisyystuloksen ymmärtäminen

Sijoitustodennäköisyystulos (ranked probability score, RPS) on pisteytyssääntö todennäköisyyspohjaisille tuloksille, ja se ottaa huomioon etäisyyden tai järjestyksen. Jalkapallokertoimien tarkkuuden pisteyttämisessä tuloksiin verrattuna tämä tarkoittaa, että tasapeli on kotivoittoa kuin vierasvoittoa (ja päin vastoin). Sen käyttö jalkapallossa esiintyi ensimmäisen kerran akateemisessa kirjallisuudessa vuonna 2012. RPS-laskelmat suoritetaan seuraavasti:

missä r on potentiaalisten tulosten määrä (jalkapallokohteessa tämä on 3), pj ja ej ovat todennäköisyysennusteita ja havaittuja tuloksia kohdassa j. Laadullisesti RPS esittää ennusteiden ja havaintojen kumulatiivisen jakauman eron toisen potenssin summaa, ja se on välillä 0 (täydellinen ennuste) ja 1 (täysin epätäydellinen ennuste). Käytännön esimerkki selventää asioita.

Aloitetaan reiluista kertoimista (vedonvälittäjän kate poistettu) ottelussa Manchester United vastaan Manchester City, joka pelattiin 8. maaliskuuta 2020. Markkinoiden keskiarvon perusteella todennäköisyydet kotivoitolle, tasapelille ja vierasvoitolle (ph, pd ja pa) olivat 0,211, 0,245 ja 0,544. Tapahtumassa Manchester United voitti ottelun, joten eh = 1 kun taas ed ja ea = 0.

Lasketaan ensin kumulatiiviset ennusteen todennäköisyydet. Seuraava taulukko näyttää, miten.

 Nyt sama lopputuloksille.

Lopuksi lasketaan kullekin mahdolliselle lopputulokselle näiden kahden erotuksen toinen potenssi, lasketaan yhteen ja jaetaan kahdella (koska r – 1 = 2, kun r on 3).

Tapahtumassa tapahtui odottamattomin lopputulos, joten RPS on varsin korkea. Jos Manchester City olisi voittanut ottelun, RPS olisi ollut 0,126.

Yksi hyöty etäisyyden huomioivan pisteytyssäännön käyttämisestä on mahdollisuus luoda matalampia pisteitä tasapeleille, kun joukkueet ovat tasaväkisiä. Burley pelasi tasan Tottenhamin kanssa 7. maaliskuuta. Molempien joukkueiden voittotodennäköisyys oli sama (35,7 %). RPS oli 0,127 vaikka tasapeli olikin epätodennäköisin kaikista kolmesta tuloksesta (28,7 %). Jos kumpi tahansa joukkue olisi voittanut, ottelun RPS olisi ollut 0,270.

Vaikka tasapeli oli epätodennäköisin tulos, tämä tuntuu intuitiivisesti järkevältä ainakin pisteytyssäännön näkökulmasta ja sen suhteen, kuinka hyvin mallin todennäköisyydet (tässä tilanteessa kertoimet) heijastavat todellisen maailman tapahtumia, vaikka tämä järkeily onkin kyseenalaistettu.

Sijoitustodennäköisyystuloksen käyttäminen kohteen tehokkuuden arvioimiseen

Teoriassa voimme arvioida markkinoiden vedonlyöntihintojen tehokkuuden laskemalla keskimääräisen RPS-arvon otteluotoksesta. Mitä pienempi tulos, sitä tehokkaammat markkinat sitä tarkempi kerroinmalli. Olen tehnyt tämän suurella otoksella (n = 162,282) kaikkialla maailmassa pelatuista jalkapallo-otteluista vuosilta 2007–2017. Pinnaclen sulkeutumiskertoimien keskimääräinen RPS oli 0,2046.

Pienemmissä liigoissa on vähemmän tietoja, enemmän epävarmuutta ja enemmän vaihtelua: täten Pinnacle ei anna asiakkaiden hyödyntää suurempaa virhepotentiaalia vaan rajoittaa sallimiensa panosten suuruutta.

Ilman vertailukohtaa on vaikea tietää, mitä tämä tulos tarkoittaa ja mitä se kertoo vedonlyöntikertoimien tarkkuudesta. Yksittäisellä ottelutasolla tiedämme jo, että kaikki kertoimet ovat ”väärässä” deterministisesti katsottuna. Mutta kuinka väärässä? Täydellinen tulos olisi 0, mutta selvästikään mikään malli ei pysty sitä saavuttamaan.

Yksinkertaisin kerroinmalli olisi arvailun käyttäminen. Excelin satunnaislukugeneraattorin avulla arvoin todennäköisyydet kotivoitolle, tasapelille ja vierasvoitolle ja laskin RPS:n samoille ottelutuloksille. Keskimääräinen RPS oli Monte Carlo -simulaatiossa 0,293. Ilmeisesti ennustavana mallina Pinnaclen sulkeutumiskertoimet ovat tilastollisesti paljon, paljon parempia kuin satunnainen arvailu (noin 451 keskihajonnan verran!).

Kuka tahansa, joka seuraa jalkapalloa, tietää kuitenkin kotivoittojen olevan paljon todennäköisempiä kuin tasapelien ja vierasvoittojen, ainakin keskimäärin. Historiallisten tietokantojen tarkastelu paljastaa, että noin 45 % otteluista päättyy kotivoittoon, kun taas 27 % on tasapelejä ja 28 % on vierasvoittoja. Mitä, jos käytämme näitä lukuja otoksen jokaiseen otteluun? Nyt RPS laskee arvoon 0,225, mikä on satunnaista parempi mutta silti epätarkempi kuin Pinnaclen sulkemiskertoimet.

Avauskerroin vs. Sulkemiskerroin

Kuinka Pinnaclen avauskertoimet suhtautuvat heidän sulkemiskertoimiinsa? Intuitiivisesti useimmat ihmiset ymmärtävät, että vedonlyöntikohteen ikääntyessä sen kasvava toiminta ja suurempi määrä rahan osoittamia mielipiteitä todennäköisesti tarkentaa kerrointa. 

Keskimääräinen RPS otoksen otteluille oli 0,2059. Tämä on korkeampi kuin sulkemiskertoimilla, mutta ero on pieni. Onko näin pieni ero todiste hintatehokkuuden kasvusta kohteen avautumisen ja sulkeutumisen välillä?

Yksi tapa tarkistaa tämä olisi katsoa, kuinka onnekkaita tai epäonnisia nämä RPS-luvut ovat. Muista, että otteluiden tuloksiin vaikuttaa suurissa määrin sattuma. Tämä tunnetaan satunnaisena tai tilastollisena epävarmuutena. Emme saa samoja tuloksia joka kerta. Todelliset tulokset tarjoavat vain yhden historian 3 potenssiin 162 282:sta mahdollisesta historiasta (Olen arvioinut, että kyseisessä luvussa olisi noin 77 000 numeroa!).

Käytetään todellisten tulosten käyttämisen sijaan satunnaisia tuloksia, ja määritetään niiden todennäköisyydet Pinnaclen avaus- ja sulkemiskertoimien mukaan, jotta näemme odotetun RPS-lukujen alueen Monte Carlo -simulaatiolla.

Sulkemiskertoimelle odotettu (keskimääräinen) RPS oli 0,2045 keskihajonnalla 0,0003, eli noin kaksi kolmannesta RPS-arvoista sulkemiskerroinmallilla oli arvojen 0,2042 ja 0,2048 välillä. Tähän sisältyi todellinen RPS-tulos. Noin 99,8 % oli 3 keskihajonnan sisällä, eli 0,2036 – 0,2054. Vastaavasti avauskertoimilla mediaani oli 0,2056 ja keskihajonta jälleen 0,0003. 

Koska todellisen RPS-tuloksen ero avaus- ja sulkemiskertoimien välillä on 0,13 (eli yli 4 keskihajontaa), tämä vaikuttaisi kertovan tilastollisesti merkittävästi erosta kerroinmallien välillä. Sulkemiskertoimet siis todellakin ovat tehokkaampia (eli tarkempia) kuin avauskertoimet. Vastaavasti yksisuuntainen t-testi todellisisten otteluiden RPS-arvoista avaus- ja sulkemiskertoimille antaa likimäärin p-arvon 0,001 (mikä vastaa hieman yli kolmea keskihajontaa).

Onko Pinnaclen jalkapallokohteista tullut tehokkaampia?

Siirrytään sitten resurssin otsikossa olevaan kysymykseen: onko Pinnaclen jalkapallokohteista tullut tehokkaampia ajan mittaan? Olen jakanut RPS-luvut kalenterivuosittain ja piirtänyt siitä seuraavan taulukon.

Vaikka vuosittaista vaihtelua onkin paljon, mikä on odotettavaa todellisten tulosten satunnaisuuden sekä vuosittain vaihtelevien erilaisten otteluiden, nousujen ja laskujen sekä joukkueiden henkilökuntien takia, trendi näyttää osoittavan kohti suurempaa tehokkuutta. 

Mielenkiintoista on se, että sulkemiskertoimista näyttää tulleen tehokkaampia nopeammin kuin avauskertoimista. Avaushintojen keskimääräinen RPS osoittaa Pinnaclen kertoimien asettamismallin tarkkuuden. Vastaavasti sulkemiskertoimien keskimääräinen RPS osoittaa kaikkien Pinnaclen asiakkaiden mallien lisäämistä Pinnaclen omaan malliin. Koska sulkemiskertoimista on tullut suhteessa tehokkaampia vuosien 2007 ja 2017 välillä, suurempi määrä asiakkaita kilpailee sekä Pinnaclen että passiivisesti toisten asiakkaiden kanssa varustelukilvassa kohti aina suurempaa ennustetarkkuutta. 

Mistä jalkapalloliigoista on tullut tehokkaampia?

Usein ehdotetaan, että vedonvälittäjän voittaminen on paljon helpompaa pienissä, tehottomammissa kohteissa kuin sellaisessa, jossa on suuri määrä asiakkaita kilpailemassa. Se on täysin järkevä ajatus, etenkin kun Pinnacle käyttää eri panosrajoja eri liigoissa juurikin riskinhallinnan vuoksi.

Pienemmissä liigoissa on vähemmän tietoja, enemmän epävarmuutta ja enemmän vaihtelua: täten Pinnacle ei anna asiakkaiden hyödyntää suurempaa virhepotentiaalia vaan rajoittaa sallimiensa panosten suuruutta. Pienemmän eurooppalaisen aladivisioonan panosraja saattaa olla niinkin pieni kuin joitakin satoja dollareita. Vertailun vuoksi Valioliigassa tai Mestarien liigassa raja voi olla jopa 45 000 dollaria.

Seuraava taulukko erottelee ensimmäisen taulukon tiedot ”suurten” ja ”pienten” liigojen/kilpailujen mukaan. Valintani suureksi ja pieneksi oli varsin mielivaltainen ja subjektiivinen, mutta toivottavasti arkijärkeen perustuva. Täten suuriin kuuluvat Englannin, Skotlannin, Espanjan, Italian, Saksan ja Ranskan kärkidivisioonat sekä Mestarien liiga, Eurooppa-liiga, EM-kisat ja MM-kisat, noin 15 prosenttia koko otoksesta. 

Tästä voidaan tehdä kaksi huomiota. Ensinnäkin se, että suuremmissa kohteissa on keskimäärin pienempi RPS kuin pienemmissä. Ero on tilastollisesti jopa valtava. Sekä avaus- että sulkemiskertoimille tämän todennäköisyys sattumalta on noin yksi 50 miljardista. Toisekseen suuremmat kohteet ovat trendanneet kohti pienempää RPS-arvoa ja siten suurempaa tehokkuutta kohden nopeammin. Pienet eivät ole juuri lainkaan muuttuneet. 

Miksi suuremmat markkinat ovat liikkuneet nopeammin kohti tehokkuutta? Mahdollinen selitys on, että asiakkaiden kiinnostus suuriin markkinoihin on kasvanut suhteessa nopeammin kuin pieniin. Se on ymmärrettävää, koska urheiluvedonlyönnin online- ja tv-mainonnan kasvu on keskittynyt suurempiin kilpailuihin.

Onko suurten markkinoiden tilastollisesti pienempi keskimääräinen RPS-arvo kuitenkaan suuremman tehokkuuden syytä? Se on varmasti yksi selitys. Mutta toinen on siinä, että suuremmilla kilpailuilla on kuumemmat suosikit ja korkeammalle hinnoitellut altavastaajat, eli enemmän vaihtelua ottelun kolmen mahdollisen tuloksen välillä.

Oikean selityksen paikantaminen osoittaa RPS:n – tai minkään pisteytyssäännön – käyttämisen perimmäisen ongelman selvittää se, mitä se kertoo todennäköisyysennusteiden tarkkuudesta.

Entä epistemologinen epävarmuus?

Oletetaan, että ottelun malli ennustaa todennäköisyydet 45 %, 27 % ja 28 % kotivoitolle, tasapelille ja vierasvoitolle. Jos malli oletetaan oikeaksi, odotettu RPS on 0,225. Satunnainen epävarmuus, joka aiheutuu ottelun satunnaisvaikutteista, tarkoittaa, että todelliset pisteet voisivat olla 0,191 (kotivoitto), 0,140 (tasapeli) tai 0,360 (vierasvoitto), mutta jos tällainen ottelu pelattaisiin äärettömän monta kertaa, keskimääräinen RPS olisi 0,225.

Oletetaan nyt, että malli ennustaa 70 %, 20 % ja 10 %. Kolmen tuloksen todennäköisyyden vaihtelu on suurempaa samoin kuin kolmen mahdollisen RPS-arvonkin (kotivoitto = 0,05, tasapeli = 0,25, vierasvoitto = 0,65), mutta odotettu RPS on nyt alhaisempi: 0,150.

Siinä missä suuremmat markkinat saattavat olla pieniä tehokkaampia, selityksenä voi myös olla suurempi määrä kuumia suosikkeja.

Jos molemmat mallit ovat oikeassa, RPS on pienempi silloin, kun yhdellä tai useammalla tuloksista on suurempi varmuus. Tämä antaa selkeän syyn sille, miksi keskimääräinen RPS on alhaisempi suurilla markkinoilla kuin pienillä markkinoilla. Suuremmilla markkinoilla noin 5 %:ssa otokseni kertoimia oli johdettavissa yli 70 %:n voittotodennäköisyys. Pienillä markkinoilla tämä luku oli vain 2 %. Vastaavasti suurilla markkinoilla yli 20 %:lla kertoimia oli alle 20 %:n voittotodennäköisyys, kun pienillä markkinoilla se oli vain 13 %. 

Kun ajattelee suurten kilpailujen johtavia joukkueita, kuten Real Madrid, Barcelona, Juventus, Manchester City, Chelsea, Celtic, PSG ja Bayern München, tällä aikakaudella, ero tuntuu ymmärrettävältä. Suurissa kilpailuissa on enemmän kuumia suosikeita ja täten myös enemmän altavastaajia. Koska kertoimet osoittavat epäsymmetriaa suhteessa johdettuihin todennäköisyyksiinsä, suurissa kilpailuissa on keskimäärin suuremmat kertoimet. 

Mutta oletetaan nyt, että ajatuskokeeni toinen malli on aivan väärässä. Oletetaan, että todelliset todennäköisyydet ovatkin 60 %, 25 % ja 15 %. Nyt odotettu RPS nousisi arvoon 0,190, koska vierasvoittoja on enemmän kuin malli uskoi. Odotettu RPS on silti alhaisempi kuin ensimmäisen mallin ennustamille otteluille, mikä viittaisi siihen, että ennusteet olisivat tarkempia. Tiedämme kuitenkin, että näin ei ole. Ne vain vaikuttavat tarkemmilta, koska suurempi vaihtelua kolmen mahdollisen tulostodennäköisyyden suuremman vaihtelun takia tässä otteluotoksessa. 

Järjestelmällinen epävarmuus (tai virhe) mallissa on epistemologista epävarmuutta. Ongelma on tässä: kun RPS-otoksia annetaan, mistä tiedämme, kuinka paljon järjestelmällistä epävarmuutta siinä on? Se on mahdotonta arvioida pelkkien RPS-lukujen perusteella. Suurten jalkapallomarkkinoiden kertoimet saattavat näyttää tarkemmilta (ja tehokkaammilta), koska niillä on keskimäärin alhaisempi RPS, mutta näimme, että tämä saattaa helposti olla illuusio. Alhaisempi keskimääräinen RPS ei tarkoita välttämättä tarkempaa ennustemallia.

Mitä olemme oppineet?

RPS:ää eli sijoitustodennäköisyystulosta voi käyttää mittaamaan jalkapallovedonlyönnin todennäköisyysennusteiden tarkkuutta.

Kun RPS:ää käytetään, näyttää siltä, että sulkemiskertoimet ovat tehokkaampia kuin avauskertoimet ja että niistä on tullut suhteessa tarkempia ajan mittaan. Lisäksi siinä missä suuremmat markkinat saattavat olla pieniä tehokkaampia, selityksenä voi myös olla suurempi määrä kuumia suosikkeja. 

Tulosten todennäköisyyksien ennustamismalleissa oleva epistemologinen epävarmuus kuitenkin rajoittaa sitä, miten voimme muuttaa nämä luvut pisteiksi, joilla arvioimme mallien tarkkuutta.

Täten tulisi olla varovainen, kun niistä vetää johtopäätöksiä jalkapallomarkkinoiden tehokkuudesta. Perimmäinen ongelma on siinä, ettemme koskaan tiedä jalkapallo-otteluiden todellisia todennäköisyyksiä. Toisaalta jos tietäisimme, olisimme biljonäärejä.