jun 5, 2019
jun 5, 2019

Pinnacle versus FiveThirtyEight: uma comparação de sucesso preditivo

O modelo de previsões de futebol do FiveThirtyEight

A previsão do FiveThirtyEight pode dar lucro?

Que valor é que isto proporciona aos apostadores?

Pinnacle versus FiveThirtyEight: uma comparação de sucesso preditivo

O FiveThirtyEight é uma fonte bem conhecida de previsões no futebol, mas até que ponto é que as respetivas previsões são exatas? De que forma é que se comparam com as probabilidades de apostas da Pinnacle? Proporcionam algum valor aos apostadores? Continue a ler para saber a resposta.

As probabilidades de uma casa de apostas fornecem no fundo uma previsão direta da possibilidade de ocorrência dos resultados desportivos. Quando são expressas em notação decimal, simplesmente inverte-se o número e obtém-se a percentagem implícita (embora haja um pouco de trabalho adicional envolvido para retirar a margem da casa de apostas). Probabilidades de 2,50, por exemplo (já sem a margem) sugerem uma possibilidade de resultado de 1/2,50, 0,4 ou 40%.

Naturalmente, uma casa de apostas não está sempre certa. Os seus erros proporcionam oportunidades para os seus clientes encontrarem valor esperado e obterem lucro a longo prazo. No entanto, por esta altura, os leitores já estarão familiarizados com a minha mensagem de que os erros da Pinnacle, pelo menos para um mercado de apostas num jogo de futebol, estão aleatoriamente distribuídos e que, em média, as suas probabilidades oferecem um reflexo muito fiável da possibilidade de as coisas acontecerem. Neste contexto, as probabilidades de fecho da Pinnacle são as melhores de todas e podem ser utilizadas para prever quanto lucro um apostador pode esperar conseguir.

Porém, existem outros grupos de previsão que disponibilizam previsões sobre os resultados de jogos de futebol. Um dos mais conhecidos é o Fivethirtyeight.com, um blogue de previsões políticas, económicas e desportivas criado por Nate Silver, estatístico americano, ex-jogador de póquer e autor de The Signal and the Noise (O Sinal e o Ruído [tradução livre]. Nate ficou conhecido ao prever com sucesso os resultados de 49 dos 50 estados na eleição presidencial dos EUA em 2008, e de todos os 50 estados quatro anos mais tarde.

Na perspetiva de um adepto ou apostador desportivo, as previsões nos jogos do FiveThirtyEight são particularmente úteis porque oferecem explicitamente as possibilidades para a vitória em casa, o empate e a vitória fora. Ao inverter estes números, podemos obter imediatamente as suas probabilidades justas implícitas. O objetivo de qualquer apostador de valor é encontrar probabilidades justas que sejam mais exatas do que aquelas da casa de apostas. Se o conseguir, então é simplesmente uma questão de apostar nas probabilidades da casa de apostas quando elas são mais longas. Se o apostador está a conseguir ter lucro a longo prazo, isso é um sinal certo de que tem realmente probabilidades mais exatas do que as da casa de apostas. Neste artigo, colaborei com @PlusEVAnalytics para descobrir se o FiveThirtyEight está à altura da função.

O modelo de previsões de futebol do FiveThirtyEight

O FiveThirtyEight começou a publicar previsões sobre jogos de futebol pela primeira vez em janeiro de 2017, embora a sua base de dados de resultados remonte a agosto de 2016. A metodologia deles baseia-se numa “versão substancialmente revista do Índice do Poder do Futebol (Soccer Power Index, SPI) da ESPN” concebido originalmente por Nate Silver, o qual utiliza os golos esperados (ou xG) e a análise estatística de Poisson para gerar uma matriz de possíveis resultados dos jogos, a partir dos quais se calculam as vitórias em casa, os empates e as vitórias fora.

O FiveThirtyEight acha que as suas previsões do futebol são bastante boas, defendendo que elas são mais valiosas do que palpites indiferenciados. A esse respeito, estou certo de que têm razão, mas são melhores do que as possibilidades implícitas da Pinnacle? Vamos descobrir.

A previsão do FiveThirtyEight pode dar lucro?

Combinando uma base de dados histórica com as probabilidades de fecho da Pinnacle e as possibilidades implícitas disponibilizadas pelo FiveThirtyEight, compilei uma amostra de 16 635 jogos das ligas europeias de futebol jogados entre 12 de agosto de 2016 e 31 de março de 2019, para um total de 49 905 pares de probabilidades para vitórias em casa/empates/vitórias fora.

Em 20 093 ocasiões, as probabilidades de fecho da Pinnacle foram mais longas do que aquelas implícitas pelas previsões de possibilidade do FiveThirtyEight. A superioridade média dessas probabilidades (média de 4,12) foi de 16,2%, sugerindo que se tivéssemos feito apostas de paradas constantes com aquelas probabilidades, deveríamos ter conseguido um lucro de cerca de 16,2% com base nas probabilidades do FiveThirtyEight, em média, para que fosse um reflexo exato ou eficiente das “reais” probabilidades. Na verdade, mostraram uma perda de -6,0%, pior do que a perda de -4,3% ao apostar em todos os 49 905 preços (embora não tão significativa assim em termos estatísticos).

O primeiro gráfico abaixo mostra como as probabilidades implícitas do FiveThirtyEight não conseguiram prever os retornos reais de apostar com as probabilidades de fecho da Pinnacle. Dividir as probabilidades de fecho da Pinnacle pelas probabilidades implícitas do FiveThirtyEight dá-nos um retorno esperado para essa aposta, partindo do princípio de que a hipótese de as probabilidades do FiveThirtyEight serem eficientes é verdadeira.

Ao agrupar as apostas de acordo com incrementos de retornos esperados (com uma resolução de 0,01), podemos ver que os retornos esperados não conseguem correlacionar-se de todo com os retornos reais de apostas. Independentemente da proporção entre as probabilidades de fecho da Pinnacle e as probabilidades implícitas do FiveThirtyEight, o retorno médio é uma perda de cerca de -6%. Seria de pensar que as probabilidades do FiveThirtyEight não oferecem qualquer valor preditivo, em relação às probabilidades de fecho da Pinnacle.

five-thirty-eight-in-article-1.png

E se dermos a volta às coisas? Desta vez, vamos fazer de conta que o FiveThirtyEight é a casa de apostas e que a Pinnacle é o modelo de previsão. Agora, a proporção das probabilidades do FiveThirtyEight para as probabilidades de fecho justas da Pinnacle (sem a margem) é utilizada como a medida do retorno esperado.

Se apostar nas “probabilidades” do FiveThirtyEight nas 25 557 ocasiões em que elas excedem as probabilidades de fecho justas da Pinnacle, o retorno real é de 15,5%, muito próximo da superioridade média de 15,9% (probabilidades médias de 4,49). O gráfico de dispersão confirma a forte correlação entre os retornos esperados e os retornos reais para esta hipótese inversa. A inclinação da linha de tendência é quase exatamente 1 e passa através da origem (veja a equação y = mx + c no gráfico), que sugere que, em média, as probabilidades de fecho da Pinnacle são altamente eficientes, e não as do FiveThirtyEight.

five-thirty-eight-in-article-2.png

Maçãs e laranjas

Quando publiquei estas conclusões no meu feed do Twitter em abril, alguém salientou com toda a razão que estamos a comparar maçãs e laranjas. As possibilidades de previsão do FiveThirtyEight são produzidas antes dos jogos, sendo a última estimativa de possibilidade publicada depois de o penúltimo jogo de uma equipa ter terminado. Isso pode ocorrer muitos dias antes do jogo em questão. As suas previsões só podem ser tão boas quanto as informações que tinham disponíveis na altura.

Pelo contrário, as probabilidades de fecho da Pinnacle refletirão todas as informações disponíveis no mercado mesmo até ao momento de o jogo começar efetivamente. Estas incluirão outros fatores, como lesões de jogadores, alterações no plantel, aspectos meteorológicos e as condições do relvado, coisas que o FiveThirtyEight não inclui nem pode incluir.

Para criar um modelo completamente justo de comparação com as probabilidades de fecho da Pinnacle, precisaríamos que o FiveThirtyEight publicasse previsões de possibilidade ao mesmo tempo, ou seja, no momento do pontapé inicial. Isso não vai acontecer. Em alternativa, poderíamos utilizar as probabilidades da Pinnacle no momento em que o FiveThirtyEight publicasse as suas possibilidades de previsão finais para um determinado jogo. Infelizmente, não tenho dados com marcação de hora para as probabilidades da Pinnacle e, mesmo que tivesse, imagino que a publicação das suas probabilidades de abertura seria muitas vezes posterior à publicação das previsões finais do FiveThirtyEight.

Não obstante, utilizar as probabilidades de abertura da Pinnacle irá potencialmente oferecer um modelo comparativo mais justo do que as suas probabilidades de fecho; vamos analisar os resultados. Em relação às 18 952 ocasiões em que as probabilidades de abertura da Pinnacle foram mais longas do que as do FiveThirtyEight (média de 3,97), a superioridade média dessas probabilidades foi de 14,2%. Mostraram uma perda de -4,1%, o que foi marginalmente melhor (mas não tão significativa em termos estatísticos) do que a perda de -4,4% ao apostar em todos os 49 905 preços. Uma vez mais, houve muito pouca correlação entre os retornos esperados e os retornos reais.

five-thirty-eight-in-article-3.jpg

Como antes, ao realizar uma comparação inversa de modelos (com as probabilidades de abertura da Pinnacle utilizadas como a referência da “verdade”), ocorreu uma correlação muito melhor, não tão precisa quanto para as probabilidades de fecho, mas ainda próxima da paridade. Se apostar nas “probabilidades” do FiveThirtyEight nas 25 775 ocasiões em que elas excedem as probabilidades justas da Pinnacle, o retorno real é de 12,8%, uma vez mais razoavelmente próximo da superioridade média de 14,8% (probabilidades médias de 4,54).

O Sinal e o Ruído

Depois de publicar os dados sobre as probabilidades de abertura no Twitter, @PlusEVAnalytics, o coautor deste artigo, comentou que “se estamos a perguntar a nós próprios se o FiveThirtyEight é superior à Pinnacle, iremos obter a resposta óbvia.”

Talvez sim, e o que encontrámos aqui é bastante evidente. Continua provavelmente a ser verdade que as previsões possíveis do FiveThirtyEight serão deficientes em termos de informações relativamente às da Pinnacle, tanto devido ao momento de apresentação como porque o modelo de negócio principal da Pinnacle é acertar nas probabilidades que disponibilizam, enquanto o do FiveThirtyEight é simplesmente divertir. Estes últimos não tem de ganhar dinheiro com as suas previsões; bem, seja como for, não diretamente. Além disso, para ser justo, o FiveThirtyEight admite que as suas previsões não são concebidas com a realização de apostas em mente.

Contudo, @PlusEVAnalytics propôs uma interessante experiência de raciocínio. Ao combinar os dois modelos de previsões para criar outro modelo potencialmente melhor do que só as probabilidades da Pinnacle por si só, poderíamos revelar se havia algum sinal nas previsões do FiveThirtyEight que fosse residual do sinal presente nas probabilidades da Pinnacle.

Até agora, a análise feita foi emoldurada como uma proposta “ou/ou” – qual das duas previsões é uma fonte mais exata da verdade? Os resultados são tão conclusivos quanto pouco surpreendentes. Agora, vamos dar uma pequena reviravolta e reformular a pergunta da seguinte forma:

“Derradeira” possibilidade de um qualquer resultado = Z * (Possibilidade do FiveThirtyEight para esse resultado) + (1 – Z) * (Possibilidade da Pinnacle para esse resultado), para qualquer Z, 0 ≤ Z ≤ 1.

Que valor de Z maximiza o valor preditivo destas derradeiras possibilidades?

Este modelo é suficientemente flexível para acomodar a construção das derradeiras possibilidades utilizando inteiramente as projeções do FiveThirtyEight (ao definir Z = 1), utilizando inteiramente as projeções da Pinnacle (ao definir Z = 0), bem como qualquer valor nesse intervalo (ao definir Z entre 0 e 1).

Como é que determinamos o melhor valor de Z? Existem diversas formas possíveis, mas a que utilizaremos aqui é a estimativa máxima de probabilidade (maximum likelihood estimation, MLE). A finalidade da MLE é encontrar o(s) valor(es) de um ou mais parâmetros desconhecidos que proporcionam o melhor “ajuste” para um conjunto de dados observados. Como é que medimos até que ponto é bom esse ajuste? Ao olhar para a probabilidade, condicional em relação ao valor do parâmetro desconhecido, de observar exatamente aquilo que observámos.

O nosso modelo, definido acima, tem um único parâmetro – Z. Qualquer valor de Z permitir-nos-á calcular um conjunto de derradeiras possibilidades de vitórias em casa/empates/vitórias fora, com base nesse valor de Z, para cada jogo no conjunto de dados. Para cada jogo, a probabilidade de observar o que observámos é a nossa derradeira possibilidade de vitória em casa/empate/vitória fora, se o resultado do jogo for uma vitória em casa/empate/vitória fora. Por exemplo, para as possibilidades VC/E/VF de 0,5, 0,3 e 0,2, se o resultado for um empate, a probabilidade de observarmos o que observámos é de 0,3.

Uma vez que todos os jogos são eventos independentes, a probabilidade de observarmos o conjunto exato de resultados que observámos é o produto das probabilidades de cada jogo individual. Este produto é o nosso objetivo – é aquilo que estamos a tentar maximizar ao ajustar o valor Z.

Infelizmente, o produto de 16 635 probabilidades é infinitesimalmente pequeno – pense nele como uma aposta acumulada de 16 635 mãos. Tal cria um problema computacional ao resolver a MLE usando uma ferramenta de software, tal como o Excel, que é incapaz de lidar com números pequenos para além de um determinado patamar – qualquer coisa mais pequena é arredondada para zero.

Para ultrapassar este problema, podemos, pelo contrário, maximizar o logaritmo da probabilidade. Uma vez que o valor absoluto da probabilidade é irrelevante para o procedimento da MLE – o que importa é a forma como a probabilidade se altera à medida que ajustamos os nossos parâmetros – maximizar a tão chamada “probabilidade logarítmica” é matematicamente equivalente.

Para além de pegarmos no logaritmo das derradeiras probabilidades do jogo, pegamos agora também na soma das probabilidades logarítmicas em vez do seu produto. Realizar esta análise no conjunto de dados dá os seguintes resultados:

  • Quando utilizamos as probabilidades de fecho da Pinnacle, a probabilidade logarítmica é maximizada quando Z = 0. Por outras palavras, o FiveThirtyEight não contribui efetivamente com coisa nenhuma para o modelo de previsões “derradeiras” quando consideramos apenas as previsões do FiveThirtyEight e da Pinnacle.

  • Quando utilizamos as probabilidades de abertura da Pinnacle, a probabilidade logarítmica é maximizada quando Z = 0,04. Por outras palavras, o FiveThirtyEight contribui com cerca de 4% para o modelo “derradeiro”.

A sabedoria dos modelos

É o segundo destes dois resultados que é interessante. Quando forçada a escolher um ou o outro, as probabilidades de abertura da Pinnacle proporcionam um valor preditivo que é objetivamente bastante superior ao das previsões do FiveThirtyEight. Mas eis o senão…

Uma média ponderada composta por 4% x previsão do FiveThirtyEight + 96% x probabilidade de abertura da Pinnacle proporciona melhor valor preditivo do que qualquer uma das duas previsões proporciona individualmente!

Que valor é que isto proporciona aos apostadores? Em termos práticos, não muito. Os 4% são demasiado pequenos para servirem de muito, e podem nem sequer ser estatisticamente significativos. Mas e se Z fosse maior? E se em vez de haver duas previsões houver muitas, obtendo cada uma delas o seu próprio valor Z? Esta é uma variação da teoria da “sabedoria da multidão”, que afirma que uma combinação de previsões distintas pode ser mais valiosa do que até a melhor dessas previsões por si só.

No fundo, isto é o que torna as probabilidades da Pinnacle tão exatas (em média). Ela tem os corretores mais sofisticados e conhecedores a definir as probabilidades. Também permite a outros apostadores perspicazes jogar, em vez de os recusar, ajudando assim a ajustar as suas probabilidades para se tornar cada vez mais exata ou sensata. As probabilidades de fecho da Pinnacle representam efetivamente uma “sabedoria de modelos de previsão” e as suas probabilidades refletem as “derradeiras” possibilidades de resultados. E é por esse motivo que o FiveThirtyEight nunca teve qualquer hipótese contra ela.

Recursos de apostas - Capacitar as suas apostas

Os Recursos de apostas da Pinnacle são um dos conjuntos mais abrangentes de conselhos de especialistas sobre apostas que se podem encontrar online. Dar resposta a todos os níveis de experiência - o nosso objetivo é simplesmente capacitar os apostadores a obterem mais conhecimentos.