jun 5, 2019
jun 5, 2019

Pinnacle kontra FiveThirtyEight: Vem är bäst på att bedöma sannolikheter?

FiveThirtyEights prognosmodell för fotbollsmatcher

Kan FiveThirtyEights prognoser vara lönsamma?

Vilken hjälp kan spelare ha av detta?

Pinnacle kontra FiveThirtyEight: Vem är bäst på att bedöma sannolikheter?

FiveThirtyEights fotbollsprognoser är välkända, men hur träffsäkra är de egentligen? Hur står de sig mot Pinnacles odds? Kan du som spelare ha nytta av dem? Läs vidare för att få reda på det.

Varje spelbolags odds är i grund och botten en direkt uppskattning av sannolikheterna för olika utfall inom sport. När de anges i decimalformat kan du konvertera dem till implicita sannolikhetsprocent genom att helt enkelt invertera talet (men det krävs lite mer jobb för att avlägsna spelbolagets marginal). Till exempel implicerar odds på 2,50 (när marginalen redan har dragits av) att sannolikheten för utfallet är 1/2,50, 0,4 eller 40 %.

Naturligtvis har spelbolagen inte alltid rätt. Deras misstag ger möjligheter åt kunderna att hitta positiva väntevärden och gå med vinst i det långa loppet. Mina flitigaste läsare minns nog att jag redan påpekat att Pinnacles misstag (åtminstone på oddsmarknaderna för fotbollsmatcher) är slumpmässigt fördelade och att deras odds överlag är en mycket träffsäker spegling av de faktiska sannolikheterna. Allra mest träffsäkra är deras stängningsodds. Med hjälp av dem kan du förutse storleken på din förväntade vinst.

Det finns även andra aktörer som ger prognoser för fotbollsmatcher. En av de allra mest kända är Fivethirtyeight.com – en blogg med prognoser om politik, ekonomi och sport. Bloggens upphovsman är den amerikanska statistikern och före detta pokerspelaren Nate Silver, som även skrivit The Signal and the Noise. Nate blev berömd när han lyckades förutse hur 49 av 50 amerikanska delstater skulle rösta i presidentvalet 2008. Fyra år senare förutsåg han rätt resultat för samtliga 50 delstater.

Den som är intresserad av att titta eller spela på sport kan ha nytta av FiveThirtyEights matchprognoser eftersom de uttryckligen anger uppskattade sannolikheter för hemmaseger, oavgjort och bortaseger (1X2). Genom att invertera dem får vi fram deras motsvarande odds utan marginal – så kallade "rättvisa odds". Varje seriös spelare försöker identifiera rättvisa odds som är mer träffsäkra än ett spelbolags odds. Sedan är allt som krävs att spela på spelbolagsoddsen när de är högre. När en spelare går med vinst i det långa loppet är det ett tydligt tecken på att spelaren kan uppskatta oddsen bättre än spelbolaget. I den här artikeln undersöker jag och @PlusEVAnalytics om FiveThirtyEight också kan göra det.

FiveThirtyEights prognosmodell för fotbollsmatcher

FiveThirtyEight började publicera prognoser för fotbollsmatcher i januari 2017, och deras resultatdatabas sträcker sig tillbaka till augusti 2016. Deras metod bygger på en "kraftigt modifierad version av ESPN:s Soccer Power Index (SPI)" som ursprungligen togs fram av Nate Silver. Den använder förväntade mål (xG) och Poisson-statistisk analys till att generera en matris av möjliga matchresultat som ligger till grund för sannolikhetsberäkningen för hemmaseger, oavgjort och bortaseger (1X2).

FiveThirtyEight anser att deras fotbollsprognoser är hyfsat bra och att de är mer träffsäkra än en okvalificerad gissning. Det har de säkert rätt i, men frågan är om deras förutsägelser är mer träffsäkra än Pinnacles implicita sannolikheter? Låt oss ta reda på det.

Kan FiveThirtyEights prognoser vara lönsamma?

Genom att kombinera en databas över Pinnacles tidigare stängningsodds med de implicita sannolikheter som tillhandahålls av FiveThirtyEight fick jag fram en tabell över 16 635 europeiska fotbollsmatcher som spelades mellan den 12 augusti 2016 och den 31 mars 2019, med totalt 49 905 oddspar för 1X2.

I 20 093 fall var Pinnacles stängningsodds högre än de odds som FiveThirtyEights förutsägelser motsvarade. Den genomsnittliga överlägsenheten för dessa odds (i snitt 4,12) var 16,2 %. Det implicerar att om man hade satsat jämnstora insatser på dessa odds hade man gjort en vinst på ungefär 16,2 %, förutsatt att FiveThirtyEights odds träffsäkert speglar de "sanna" oddsen överlag. Faktum är att de uppvisade en förlust på -6,0 %. Det är värre än den förlust på -4,3 % som man hade ådragit sig om man hade spelat på samtliga 49 905 odds (men skillnaden är visserligen inte statistiskt signifikant).

Det första diagrammet nedan visar hur FiveThirtyEights implicita odds inte lyckades förutse den faktiska avkastningen för Pinnacles stängningsodds. Genom att dividera Pinnacles stängningsodds med FiveThirtyEights implicita odds får man fram en förväntad avkastning för spelet i fråga, förutsatt att man utgår från att FiveThirtyEights odds verkligen är träffsäkra.

Genom att gruppera spelen enligt inkrementell förväntad avkastning (med en upplösning på 0,01) ser vi att de förväntade avkastningarna inte korrelerar med de faktiska avkastningarna. Oavsett förhållandet mellan Pinnacles stängningsodds och FiveThirtyEights implicita odds är den genomsnittliga avkastningen negativ: -6 %. Det verkar som om FiveThirtyEights odds inte har något prediktivt värde alls i förhållande till Pinnacles stängningsodds.

five-thirty-eight-in-article-1.png

Vad hade hänt om rollerna var ombytta? Låt oss nu anta att FiveThirtyEight är spelbolaget och att Pinnacle står för den prediktiva modellen. Nu mäter vi den förväntade avkastningen genom att titta på förhållandet mellan FiveThirtyEights odds och Pinnacles rättvisa stängningsodds (med marginalen borttagen).

Om man hade spelat på FiveThirtyEights "odds" vid de 25 557 tillfällen då de översteg Pinnacles rättvisa stängningsodds hade man uppnått en faktisk avkastning på 15,5 % – mycket nära den genomsnittliga överlägsenheten på 15,9 % (genomsnittligt odds: 4,49). Sambandsdiagrammet bekräftar den starka korrelationen mellan förväntade och faktiska avkastningar för den här omvända hypotesen. Trendlinjens lutning är nästan exakt 1 och den passerar genom origo (se ekvationen y = mx + c i diagrammet). Det ger vid handen att Pinnacles stängningsodds i genomsnitt är mycket effektiva till skillnad från FiveThirtyEights.

five-thirty-eight-in-article-2.png

Äpplen och päron

När jag publicerade mina fynd på Twitter i april fick jag (med rätta) höra att jag jämförde äpplen och päron. FiveThirtyEight tar fram sina uppskattade sannolikheter relativt långt före starttiden för matchen i fråga, närmare bestämt strax efter att den förra matchen spelats klart. Det kan dröja flera dagar innan den nya matchen spelas. Deras förutsägelser är alltså bundna av den information som var tillgänglig då.

Pinnacles stängningsodds däremot återspeglar all information som var tillgänglig på marknaden ända fram till att matchen faktiskt startade. Det kan innefatta saker som till exempel spelarskador, förändrade laguppställningar, väder och planens skick – faktorer som FiveThirtyEight inte kan ta hänsyn till.

För att vi ska kunna göra en riktigt rättvis jämförelse mellan Pinnacles och FiveThirtyEights odds skulle FiveThirtyEight behöva publicera sina förutsägelser samtidigt som Pinnacles stängningsodds, det vill säga vid avspark. Det kommer inte att ske. Alternativt kan vi titta på de Pinnacle-odds som låg uppe när FiveThirtyEight publicerade sina sannolikheter för en match. Men dessvärre har jag inte möjlighet att kontrollera vad Pinnacles odds låg på vid en viss tidpunkt eftersom jag inte har några tidsdata för oddsen. Och även om jag hade det misstänker jag att Pinnacles öppningsodds ofta publiceras efter FiveThirtyEights prognoser.

Trots detta är det möjligen ändå rättvisare att jämföra FiveThirtyEights odds med Pinnacles öppningsodds (snarare än deras stängningsodds), så låt oss göra det. Vid de 18 952 tillfällen som Pinnacles öppningsodds var högre än FiveThirtyEights (i genomsnitt 3,97) var den genomsnittliga överlägsenheten för de oddsen 14,2 %. De uppvisade en förlust på -4,1 %, marginellt bättre (men skillnaden är inte statistiskt signifikant) än den förlust på -4,4 % som man hade ådragit sig om man spelat på samtliga 49 905 odds. Återigen fanns det inte mycket korrelation mellan förväntade och faktiska avkastningar.

five-thirty-eight-in-article-3.jpg

När man återigen vänder på modelljämförelsen och låter Pinnacles öppningsodds vara måttstocken för "sanningen" är korrelationen mycket högre, även om den inte är riktigt lika hög som för stängningsoddsen. Om man hade spelat på FiveThirtyEights "odds" vid de 25 775 tillfällen då de översteg Pinnacles rättvisa öppningsodds hade man uppnått en faktisk avkastning på 12,8% – återigen hyfsat nära den genomsnittliga överlägsenheten på 14,8% (genomsnittligt odds: 4,54).

Signal kontra brus

Efter att jag lagt upp dessa öppningsoddsdata på Twitter sa @PlusEVAnalytics (min medförfattare av den här artikeln) att "om du undrar om FiveThirtyEight är bättre än Pinnacle är svaret givet".

Det kanske verkligen är så att slutsatserna i den här artikeln är ganska uppenbara. Det är förmodligen sant att FiveThirtyEight inte har tillgång till lika bra information som Pinnacle när de publicerar sina uppskattade sannolikheter, både på grund av tidpunkten för publiceringen och för att Pinnacles hela affärsmodell bygger på att sätta träffsäkra odds, medan FiveThirtyEights prognoser i grund och botten bara är underhållning. FiveThirtyEight behöver inte tjäna pengar på sina prognoser, åtminstone inte direkt. Men i rättvisans namn vill jag påpeka att FiveThirtyEight själva medger att deras prognoser inte primärt är utformade för betting.

@PlusEVAnalytics föreslog dock ett intressant tankeexperiment. Vi kan kombinera de två prognosmodellerna och ta fram en modell som potentiellt är bättre än enbart Pinnacles odds. Därigenom kan vi ta reda på om det finns någon "signal" i FiveThirtyEights prognoser i likhet med den signal som kan påvisas i Pinnacles odds.

Hittills har frågeställningen kretsat kring “antingen eller” – vilken av de två prognoserna ligger närmast sanningen? Resultaten är lika entydiga som väntade. Låt oss nu omformulera frågan på följande sätt:

Den "ultimata" sannolikheten för ett givet utfall = Z * (FiveThirtyEights sannolikhet för det utfallet) + (1 – Z) * (Pinnacles sannolikhet för det utfallet), för varje given Z, 0 ≤ Z ≤ 1.

Vilket Z-värde maximerar det prediktiva värdet av dessa ultimata sannolikheter?

Den här modellen är flexibel nog för att ge möjlighet att skapa ultimata sannolikheter utifrån enbart FiveThirtyEights prognoser (när Z = 1) eller utifrån enbart Pinnacles prognoser (när Z = 0) och allt däremellan (när Z är någonstans mellan 0 och 1).

Hur kan vi komma fram till vilket Z-värde som är bäst? Det kan man göra på flera olika sätt, men det sätt som vi kommer att använda här är maximal sannolikhetsuppskattning. Syftet med det är att fylla en eller flera okända parametrar med värden som "passar in" bäst i en uppsättning observerade data. Hur kan man mäta hur bra ett värde passar in? Det gör man genom att titta på hur sannolikt det är att observera exakt det som man har observerat utifrån värdet av den okända parametern.

Vår modell ovan har en enda parameter: Z. Varje givet Z-värde gör det möjligt för oss att räkna fram en uppsättning 1X2-sannolikheter för varje match som ingår i urvalet. För varje match är sannolikheten för att observera det som faktiskt observerats den ultimata 1X2-sannolikheten, om matchen slutade med hemmaseger/oavgjort/bortaseger. Exempel: om en match har 1X2-sannolikheter på 0,5, 0,3 och 0,2 och slutar oavgjort är sannolikheten för att observera det som vi har observerat 0,3.

Eftersom alla matcher är oberoende av varandra är sannolikheten för att observera exakt de utfall som vi observerat produkten av sannolikheterna för varje enskild match. Denna produkt är vårt mål – det är den vi försöker maximera genom att justera Z.

Dessvärre är produkten av 16 635 sannolikheter extremt liten – jämförbar med ett kombinationsspel som innehåller 16 635 delar. Detta ger upphov till ett beräkningsproblem vid maximal sannolikhetsuppskattning med hjälp av till exempel Excel, eftersom Excel inte kan hantera små nummer under ett visst tröskelvärde. Allt under den tröskeln avrundas till noll.

Vi kan kringgå problemet genom att istället maximera sannolikhetslogaritmen. Eftersom sannolikhetens absoluta värde är irrelevant för maximal sannolikhetsuppskattning (det som spelar roll är hur den sannolikheten ändras när vi justerar våra parametrar) kan man istället maximera den så kallade ”logaritmiska sannolikheten” – en matematisk motsvarighet.

Förutom att ta logaritmen av de ultimata matchsannolikheterna tar vi även summan av de logaritmiska sannolikheterna snarare än deras produkt. När man tillämpar denna analys på dataurvalet får man följande resultat:

  • Med Pinnacles stängningsodds maximeras de logaritmiska sannolikheterna när Z = 0. Med andra ord bidrar FiveThirtyEight i praktiken med ingenting till den "ultimata" prognosmodellen när man bara tar hänsyn till FiveThirtyEights och Pinnacles prognoser.

  • Med Pinnacles öppningsodds maximeras de logaritmiska sannolikheterna när Z = 0,04. Med andra ord bidrar FiveThirtyEight med ungefär 4 % till den "ultimata" modellen.

Modellernas vishet

Det är det andra av dessa två resultat som verkligen är intressant. Om man tvingas välja mellan det ena eller det andra har Pinnacles öppningsodds betydligt bättre prediktivt värde än FiveThirtyEights prognoser. Men nu kommer överraskningen ...

Ett viktat genomsnitt bestående av 4 % x FiveThirtyEights prognos + 96 % x Pinnacles öppningsodds ger bättre prediktivt värde än något av dem separat!

Vilken hjälp kan spelare ha av detta? Inte så mycket i praktiken. De 4 procentenheterna är för få för att vara till stor nytta, och det är inte ens säkert att de uppnår statistisk signifikans. Men vad hade hänt om Z var större? Och vad hade hänt om vi tittade på fler än bara två prognoser och gav var och en av dem ett eget Z-värde? Det här är en variant av teorin om "massans vishet", som går ut på att en kombination av flera prognoser kan vara mer värdefull än en enskild prognos oavsett hur bra den är.

I grund och botten är det detta som gör Pinnacles odds så träffsäkra överlag. Pinnacle har de allra mest kunniga och sofistikerade oddssättarna. Dessutom välkomnar de skickliga spelare snarare än att mota bort dem, och kan slipa sina odds ännu mer utifrån dessa skickliga spelares spelmönster. Pinnacles stängningsodds är i praktiken prognosmodellernas motsvarighet till "massans vishet", och deras odds reflekterar de "ultimata" utfallssannolikheterna. Det är nog därför som FiveThirtyEight aldrig hade någon chans mot dem.

Oddsresurser: Bli en bättre spelare

Pinnacles avdelning Oddsresurser är en av nätets mest omfattande artikelsamlingar med spelråd från experter. Vi tillgodoser behoven hos både nybörjare och proffs – vårt mål är helt enkelt att öka våra spelares kunskaper.