Os mercados de futebol da Pinnacle tornaram-se mais eficientes?

Ao longo dos anos a escrever para os Recursos de apostas da Pinnacle, os leitores já deverão conhecer bem a minha conversa sobre a eficiência do mercado. Dito de forma simples, a eficiência é, na realidade, apenas outra palavra para exatidão. Quando dizemos que um mercado de preços de apostas é eficiente, o que queremos dizer é que esses preços representam com exatidão as verdadeiras possibilidades de determinados resultados nos jogos de futebol.

Para alguns, este pode ser um conceito bastante difícil de compreender. O problema é o seguinte: as probabilidades refletem as possibilidades, mas os resultados são binários: ou se ganha (100%) ou se perde (0%). Neste sentido, todas as probabilidades são imprecisas, uma vez que não refletem os resultados. É preciso alguma imaginação para entender que estes resultados representam apenas uma história possível dos eventos, mas saber qual veremos está oculto na natureza da incerteza.

Se pudéssemos voltar a realizar os jogos de futebol um número infinito de vezes, veríamos uma distribuição de resultados: às vezes, uma vitória; às vezes, um empate e, às vezes, uma derrota. O quanto as possibilidades implícitas refletem esta distribuição fornece uma medida da exatidão ou eficiência das probabilidades de apostas subjacentes.

De que forma é que medimos a precisão dos mercados de futebol?

Infelizmente, os resultados concretos são tudo o que temos para trabalhar quando tentamos medir a exatidão dos mercados de apostas no futebol da Pinnacle. Nunca saberemos quais são, na realidade, as verdadeiras possibilidades subjacentes. Para medir até que ponto as probabilidades refletem bem os resultados concretos, podemos utilizar aquilo a que se dá o nome de uma regra de pontuação, a qual mede a precisão das previsões probabilísticas.

A Pinnacle já publicou um artigo nos Recursos de apostas sobre uma bem conhecida regra de pontuação: a Pontuação de Brier. Outra é a Pontuação da Ignorância, que está relacionada com a Entropia de Shannon, ou a informação inerente nos resultados possíveis de uma variável aleatória. Neste artigo, vou apresentar ainda outra: a Pontuação de Probabilidades Ordenadas.

Compreender a Pontuação de Probabilidades Ordenadas

A pontuação de probabilidades ordenadas (do inglês “Ranked Probability Score”, RPS) é uma regra de pontuação para resultados probabilísticos que consideram a distância ou a ordem. Ao pontuar a exatidão das probabilidades do futebol relativamente aos resultados, tal significa que um empate é um resultado mais próximo de uma vitória, em termos de local, do que uma derrota (e vice-versa para a equipa visitante). A sua utilização no futebol apareceu pela primeira vez na literatura académica em 2012. A equação para calcular a RPS é a seguinte:

em que r é o número de potenciais resultados (no caso do mercado de apostas nos jogos de futebol, este é 3), e pj e ej são as previsões de possibilidade e os resultados observados na posição j. Qualitativamente, a RPS representa a soma do quadrado da diferença entre as distribuições cumulativas das previsões e das observações, e situa-se entre 0 (no caso de uma previsão perfeita) e 1 (no caso de uma previsão totalmente imperfeita). Um exemplo com a respetiva resolução ajudará a tornar as coisas mais claras.

Vamos começar por umas probabilidades justas (nas quais a margem da casa de apostas foi removida) relativamente ao jogo jogado entre o Manchester United e o Manchester City a 8 de março de 2020. Com base na média do mercado, as probabilidades de uma vitória, empate e derrota (ph, pd e pa) eram de 0,211, 0,245 e 0,544, respetivamente. No evento, o Manchester United ganhou o jogo; portanto, eh = 1 enquanto ed e ea = 0.

Em primeiro lugar, vamos calcular as possibilidades previstas cumulativas. A primeira tabela mostra como.

 Agora, façamos o mesmo para os resultados.

Finalmente, calculamos o quadrado da diferença entre os dois para cada resultado possível, somamos e dividimos por 2 (uma vez que r – 1 = 2, quando r é 3).

Caso ocorresse o resultado menos previsível, então a RPS seria muito alta. Se o Manchester City tivesse ganho o jogo, a RPS teria sido de 0,126.

Uma vantagem de utilizar uma regra de pontuação que considera a distância é a capacidade de gerar pontuações mais baixas para os empates, quando as equipas são equiparadas. O Burley empatou com o Tottenham a 7 de março. Ambas as equipas estavam avaliadas em termos equitativos (35,7%). A RPS era de 0,127, apesar de o empate ser na verdade o menos provável dos três resultados (28,7%). Caso qualquer uma das equipas tivesse ganho, a RPS do jogo teria sido de 0,270.

Apesar de o empate ser o menos provável, intuitivamente, isto parece fazer sentido, pelo menos a partir da perspetiva de uma regra de pontuação e de quão bem as possibilidades do modelo (neste caso, as probabilidades) refletirem os eventos do mundo real, embora este raciocínio tenha sido contestado.

Utilizar as pontuações de probabilidades ordenadas para estimar a eficiência do mercado

Em teoria, podemos fazer uma estimativa da eficiência dos preços de apostas num mercado ao calcular a RPS média ao longo de uma amostra de jogos. Quanto mais baixa for a pontuação, mais eficiente será o mercado e mais exato será o modelo de probabilidades. Fiz estes cálculos para uma grande amostra (n = 162 282) de jogos de futebol globais jogados entre 2007 e 2017. A RPS média para as probabilidades de fecho do jogo na Pinnacle foi de 0,2046.

As ligas mais pequenas dispõem de menos informação, têm mais incerteza e mais variação; por isso, a Pinnacle não irá permitir que os clientes tirem partido do maior potencial de erro ao limitar o tamanho das paradas que irão permitir.

Sem qualquer ponto de referência, é difícil saber o que aquele número significa e o que diz sobre a exatidão das probabilidades de apostas. Ao nível do jogo individual, já sabemos que as probabilidades estão “erradas” num sentido determinista. Mas erradas até que ponto? Uma pontuação perfeita seria 0, mas obviamente, nenhum modelo de probabilidades conseguirá alcançar tal valor.

O modelo de probabilidades mais simples que podemos utilizar é adivinhar. Utilizando o gerador aleatório de números do Excel, aleatorizei as possibilidades para resultados de vitória, empate e derrota e calculei as RPS em função do mesmo conjunto de resultados concretos de jogos. A RPS média através de uma simulação de Monte Carlo era de 0,293. Evidentemente, enquanto modelo preditivo, as probabilidades de fecho da Pinnacle são, em termos estatísticos, bastante melhores do que adivinhações aleatórias (ao som de 451 desvios padrão!).

No entanto, qualquer pessoa que acompanhe o futebol saberá que as vitórias são bem mais prováveis do que empates e derrotas, pelo menos em média. Uma breve verificação das bases de dados históricos revelará que cerca de 45% dos jogos terminam com uma vitória, enquanto cerca de 27% e 28% são empates e derrotas, respetivamente. Então, e se usássemos esses números para cada jogo nesta amostra? Neste caso, a RPS baixa para 0,225, melhor do que aleatório, mas ainda muito menos exato do que as probabilidades de fecho da Pinnacle.

Probabilidades de abertura vs. Probabilidades de fecho

De que forma é que as probabilidades de abertura da Pinnacle se comparam às suas probabilidades de fecho? Intuitivamente, a maioria das pessoas compreende que, à medida que um mercado de apostas amadurece, ao ter mais ação e mais opiniões refletidas por mais dinheiro, as probabilidades deverão ficar mais precisas. 

A RPS média para a amostra de jogos era de 0,2059. É mais alta do que para os preços de fecho, embora a diferença seja pequena. Será que uma diferença assim pequena constitui evidência de um aumento da eficiência dos preços entre a abertura e o fecho do mercado?

Uma forma de verificarmos consiste em ver quanta sorte ou azar têm estes números da RPS. Lembre-se: os resultados dos jogos são, numa muito grande medida, dominados pelo acaso; a isto dá-se o nome de incerteza aleatória ou estatística. Não obteremos os mesmos resultados todas as vezes. Os resultados concretos fornecem apenas uma história de 3 elevado à potência de 162 282 histórias possíveis Calculei que esse número tivesse cerca de 77 000 algarismos!).

Em vez de utilizarmos os resultados concretos, vamos aleatorizá-los, definindo as suas possibilidades através das próprias probabilidades de abertura e de fecho da Pinnacle para ver o intervalo esperado de RPSs através de uma simulação de Monte Carlo.

Relativamente às probabilidades de fecho, a RPS (média) esperada era de 0,2045 com um desvio padrão de 0,0003, o que significa que cerca de dois terços dos valores de RPS com as probabilidades de fecho situar-se-iam entre 0,2042 e 0,2048. Estes incluíam as RPS dos resultados concretos. Cerca de 99,8% situava-se dentro de 3 desvios padrão, ou seja, 0,2036 e 0,2054. Da mesma forma, as probabilidades de abertura tinham uma média de 0,2056 e, novamente, um desvio padrão de 0,0003. 

Uma vez que a diferença entre os resultados concretos da RPS relativamente às probabilidades de abertura e de fecho é de 0,13 (ou mais de 4 desvios padrão), tal sugeriria uma diferença estatisticamente significativa entre os dois modelos de probabilidades, sugerindo que as probabilidades de fecho são de facto mais eficientes (ou exatas) do que as probabilidades de abertura. Da mesma forma, um teste T unicaudal nas RPS reais dos jogos quanto às probabilidades de abertura e de fecho tem um valor p de cerca de 0,001 (aproximadamente equivalente a 3 e pouco desvios padrão).

Os mercados de futebol da Pinnacle tornaram-se mais eficientes?

Vamos voltar-nos para a questão apresentada no título do recurso: as probabilidades de apostas da Pinnacle nos jogos de futebol tornaram-se mais eficientes ao longo do tempo? Decompus as RPSs por ano e representei a tendência no gráfico abaixo.

Apesar da considerável variação de ano para ano, a qual seria de esperar dada não só a aleatoriedade dos resultados concretos, mas também os diferentes jogos em função da promoção e despromoção de ano para ano, dos elementos da equipa e da respetiva forma, parece haver uma tendência em direção a uma maior eficiência. 

O que é interessante é que os preços de fecho parecem ter-se tornado mais eficientes a um ritmo mais rápido do que os preços de abertura. A RPS média dos preços de abertura é um reflexo da exatidão do modelo de definição de probabilidades da Pinnacle. Pelo contrário, a RPS média das probabilidades de fecho é um reflexo de todos os modelos de todos os clientes da Pinnacle, para além dos seus próprios. O facto de os preços de fecho parecerem ter-se tornado relativamente mais eficientes entre 2007 e 2017 seria indicador de um número maior de clientes que competem tanto com a Pinnacle e, passivamente, entre si próprios numa corrida “às armas” no sentido de alcançarem uma exatidão preditiva ainda maior. 

Que ligas de futebol se tornaram mais eficientes?

É muitas vezes sugerido que é muito mais fácil vencer a casa de apostas num mercado mais pequeno e menos eficiente do que num onde grandes números de clientes apostam fortemente. Trata-se de uma sugestão perfeitamente razoável, especialmente desde que a Pinnacle aplica diferentes limites de paradas a diferentes ligas especificamente com a finalidade de gerir os riscos.

As ligas mais pequenas dispõem de menos informação, têm mais incerteza e mais variação; por isso, a Pinnacle não irá permitir que os clientes tirem partido do maior potencial de erro ao limitar o tamanho das paradas que irão permitir. Uma divisão europeia inferior e de menor importância poderá ter limites baixos de paradas de apenas algumas centenas de dólares. Pelo contrário, um jogo na Premier League ou na Liga dos Campeões pode ter limites tão altos como 45 000 dólares.

O gráfico abaixo decompõe os dados do primeiro gráfico em ligas/competições dos “grandes” e dos “pequenos” no futebol. A minha escolha do que era “grande” e “pequeno” foi bastante arbitrária e subjetiva, mas baseada no senso comum, espera-se. Assim, os “grandes” incluíam as principais divisões em Inglaterra, Escócia, Espanha, Itália, Alemanha e França, mais a Liga dos Campeões, a Liga Europa, o Campeonato Europeu e o Campeonato do Mundo, cerca de 15% da amostra total. 

Podemos concluir duas coisas. Em primeiro lugar, os mercados “maiores” têm uma RPS média mais baixa do que os mercados “menores”. De facto, a diferença é enorme, em termos estatísticos. Tanto para os preços de abertura como de fecho, a possibilidade de isto ocorrer por acaso é de cerca de 1 em 50 mil milhões. Em segundo lugar, os mercados “maiores” criaram uma tendência de uma RPS menor e, por implicação, de uma maior eficiência, mais rapidamente. De facto, os mercados “menores” quase não mudaram. 

Por que motivo é que os mercados maiores veriam uma tendência mais rápida em direção à eficiência? Uma explicação possível é que o interesse dos clientes nos grandes mercados cresceu de forma muito mais rápida do que nos mercados mais pequenos. Tal poderá ser compreensível considerando que a produção crescente de anúncios de apostas desportivas online e na TV tem-se concentrado nas competições mais importantes.

No entanto, será a RPS média estatisticamente mais baixa dos grandes mercados realmente causada pela maior eficiência? Certamente, essa é uma explicação. Mas outra é que as competições “maiores” costumam ter equipas grandes como favoritos e equipas desfavorecidas com preços mais elevados; isto quer dizer que têm uma maior variação entre as três possibilidades de resultado do jogo.

Tentar descobrir qual delas ocorrerá salienta um problema fundamental com a utilização da RPS, ou aliás, de qualquer regra de pontuação, para revelar o que tem a dizer sobre a exatidão das previsões probabilísticas.

Então e a incerteza epistémica?

Suponhamos um modelo para um jogo que prevê 45%, 27% e 28% para a vitória, empate e derrota. Partindo do princípio de que o modelo está correto, a RPS esperada seria de 0,225. A incerteza aleatória devido a influências aleatórias no jogo significa que a pontuação concreta poderia ser de 0,191 (vitória), 0,140 (empate) ou 0,360 (derrota), mas se tais jogos forem jogados um número infinito de vezes, a RPS média seria de 0,225.

Agora, suponhamos que o modelo prevê 70%, 20% e 10%. A variação entre as três possibilidades de resultados é maior, tal como é a variação entre as três RPSs possíveis (vitória = 0,05; empate = 0,25; derrota = 0,65), mas a RPS esperada é agora mais baixa: 0,150.

Embora os mercados maiores sejam mais eficientes do que os mercados mais pequenos, tal poderia, em alternativa, ser explicado pela presença de uma maior proporção de grandes favoritos.

Desde que ambos os modelos estejam corretos, a RPS será mais baixa onde houver maior certeza de um ou mais dos resultados em particular. Tal oferece um motivo óbvio pelo qual a RPS média para os mercados maiores é mais baixa do que para os mercados mais pequenos. Nos mercados “maiores”, cerca de 5% das probabilidades da minha amostra tinham uma possibilidade de vitória implícita superior a 70%. Para os mercados “mais pequenos”, era de apenas 2%. Da mesma forma, mais de 20% das probabilidades nos mercados “maiores” tinham possibilidades de vitória de menos de 20%, comparativamente a apenas 13% nos mercados “mais pequenos”. 

Quando pensa nas equipas dominantes nas “grandes” competições, como o Real Madrid, Barcelona, Juventus, Manchester City, Chelsea, Celtic, PSG e Bayern de Munique durante o período da amostra, esta diferença parece compreensível. As “grandes” competições têm mais grandes favoritos e, por extensão, mais equipas sem qualquer favoritismo. Uma vez que as probabilidades apresentam uma assimetria relativamente às suas possibilidades implícitas, as “grandes” competições têm probabilidades mais longas em média. 

Mas suponhamos agora que o segundo modelo no meu exercício intelectual está completamente errado. Suponhamos, pelo contrário, que as verdadeiras possibilidades são de 60%, 25% e 15%. Agora, a RPS esperada subiria para 0,190, porque há mais derrotas do que o modelo acreditava que haveria. No entanto, a RPS esperada ainda é mais baixa do que para jogos que o primeiro modelo está a prever, sugerindo um conjunto mais exato de previsões, mas nós sabemos que isto é falso. Só parecem ser mais exatas devido à maior variância nas possibilidades dos três resultados possíveis para esta amostra de jogos. 

A incerteza sistemática (ou erro sistemático) num modelo é conhecida como incerteza epistémica. A dificuldade é a seguinte: quando nos deparamos com amostras de RPSs, como é que sabemos quanta incerteza sistemática está presente? É impossível avaliar simplesmente a partir dos próprios valores da RPS. Pode parecer que as probabilidades para os mercados mais importantes do futebol são mais exatas (e eficientes) por virtude da sua RPS média mais baixa, mas nós já vimos que isto pode facilmente ser uma ilusão. Uma RPS média mais baixa não sugere necessariamente um modelo de previsão mais exato.

O que aprendemos?

A pontuação de probabilidades ordenadas pode ser utilizada para medir a exatidão de previsões probabilísticas num mercado de apostas de futebol.

Utilizando a RPS, parece que as probabilidades de fecho são mais eficientes do que as probabilidades de abertura e que se tornaram relativamente mais eficientes ao longo do tempo. Além disso, embora os mercados maiores sejam mais eficientes do que os mercados mais pequenos, tal poderia, em alternativa, ser explicado pela presença de uma maior proporção de grandes favoritos. 

No entanto, a incerteza epistémica subjacente nos modelos utilizados para prever as possibilidades de resultados impõe limites à forma como podemos traduzir estas pontuações numa avaliação da exatidão dos modelos subjacentes.

Por isso, devemos ser cautelosos ao tirar conclusões sobre a eficiência do mercado de apostas no futebol a partir desses modelos. Fundamentalmente, o problema está no facto de que nunca saberemos as reais possibilidades dos jogos de futebol. Suponho que se soubessemos, seríamos multimilionários.