La calibration des modèles

Tout le value betting repose sur une hypothèse : tes probabilités sont justes. Un modèle est bien calibré si, parmi tous les événements auxquels il attribue 60 %, environ 60 % se réalisent effectivement.

Précision ≠ calibration

• Un modèle peut classer correctement les équipes (bonne précision) tout en annonçant des probabilités trop extrêmes (85 % là où la réalité est 70 %).
• Pour Kelly, c'est catastrophique : des probabilités trop extrêmes génèrent de fausses EV et des mises trop grosses.

Le Brier score

où $y_i$ vaut 1 si l'événement s'est produit, 0 sinon. Plus c'est bas, mieux c'est. Une prévision constante à 50 % donne 0,25.

La log loss

Elle punit très sévèrement les prévisions confiantes et fausses (annoncer 95 % pour un événement qui ne se produit pas). C'est la métrique la plus cohérente avec Kelly, car Kelly maximise elle aussi une espérance logarithmique.

La courbe de calibration

1. Regroupe tes prévisions par tranches (0-10 %, 10-20 %, …).
2. Pour chaque tranche, calcule la fréquence réelle de réalisation.
3. Trace fréquence réelle (axe vertical) contre probabilité prévue (axe horizontal).

Un modèle parfait suit la diagonale. Une courbe plus « plate » que la diagonale signifie que ton modèle est trop confiant.

Le test décisif : battre le marché

Le vrai juge n'est pas la calibration absolue, mais la comparaison avec le marché dévigé :

• Calcule la log loss de ton modèle et celle des probabilités du marché sur les mêmes événements.
• Si ton modèle ne fait pas mieux que le marché, ses « value bets » sont probablement du bruit.
• Si tu fais légèrement mieux sur certains segments (une ligue, un type de marché), c'est là que se trouve ta valeur.

Recalibrer

Si ton modèle est mal calibré, des méthodes simples existent :

• Platt scaling (régression logistique sur les sorties du modèle).
• Régression isotonique.
• Mélange avec le marché (le shrinkage du module Kelly robuste), en estimant le poids $w$ par minimisation de la log loss.