Backtest et surapprentissage : pourquoi une stratégie gagnante sur le passé échoue si souvent ensuite

Méthodes · Par la rédaction d'Out of Sample · Publié le 2026-11-10

Un boulier japonais posé sous une calculatrice électronique équipée elle aussi d'un petit boulier — Un boulier et une calculatrice-boulier dans une boutique d'Otaru, au Japon. Photo : Syced, CC0.

Un backtest consiste à appliquer une règle d'investissement aux données du passé pour voir ce qu'elle aurait rapporté. C'est l'outil de base de la finance quantitative, et aussi l'un des plus trompeurs : avec assez d'essais, on trouve toujours une règle qui aurait battu le marché. Cet article explique d'où viennent les backtests trop beaux pour être vrais et comment les repérer.

Information générale, pas un conseil en investissement. Cet article explique une méthode d'analyse ; il ne recommande aucun produit ni aucune stratégie. Les performances passées, simulées ou réelles, ne préjugent pas des performances futures, et tout investissement en bourse comporte un risque de perte en capital.

Ce qu'un backtest mesure vraiment

Un backtest ne mesure pas la qualité d'une stratégie : il mesure la manière dont une règle précise se serait comportée sur un échantillon précis, sous des hypothèses précises de frais, d'exécution et de données. Chacun de ces trois éléments peut gonfler le résultat. Le nom de notre publication, Out of Sample, désigne justement ce qui compte : la performance sur des données que la règle n'a jamais vues pendant sa mise au point.

Les biais de données

Le biais d'anticipation (look-ahead bias) consiste à utiliser une information qui n'était pas disponible au moment de la décision. Exemple classique : décider le 31 mars d'un achat sur la base du bénéfice annuel d'une entreprise, alors que ses comptes ne sont publiés qu'à la fin avril. Autre version plus discrète : calculer un signal sur le cours de clôture et supposer l'achat exécuté à ce même cours.

Le biais de survivance apparaît quand on teste une stratégie sur les sociétés qui composent aujourd'hui un indice. Tester sur trente ans les valeurs actuelles du CAC 40, c'est écarter d'office toutes celles qui en sont sorties après une chute, une faillite ou un rachat. Les survivantes sont, par construction, des gagnantes. Il faut une base qui conserve la composition historique des indices et les titres radiés.

Les dividendes et les opérations sur titres sont une source d'erreur moins spectaculaire mais fréquente. L'indice CAC 40 habituellement cité est un indice de prix : il ne tient pas compte des dividendes versés. Euronext calcule aussi des versions dividendes réinvestis (gross return et net return), qui sont les bonnes références pour juger une stratégie investie en actions. Inversement, oublier d'ajuster les cours d'une division d'actions crée de fausses chutes de 50 % que la stratégie « exploite » à tort.

Les frais et la fiscalité, souvent sous-estimés

Une stratégie qui achète et vend souvent paie à chaque transaction : courtage, écart entre prix acheteur et vendeur, et impact de ses propres ordres sur le prix. Sur le marché français s'ajoute la taxe sur les transactions financières (article 235 ter ZD du Code général des impôts), due sur les acquisitions d'actions de sociétés françaises dont la capitalisation dépasse un milliard d'euros, au taux de 0,4 % depuis le 1er avril 2025. Elle porte sur la position acquise en fin de journée, ce qui exclut les allers-retours dans la séance, mais une stratégie qui renouvelle son portefeuille chaque semaine la paie des dizaines de fois par an. Un backtest qui ignore ces coûts peut transformer une stratégie perdante en stratégie brillante. Vérifiez le taux et la liste des sociétés concernées pour l'année en cours avant tout calcul.

Le vrai problème : les essais multiples

Supposons qu'aucune règle de croisement de moyennes mobiles ne fonctionne réellement. Testez cent combinaisons de paramètres sur vingt ans de données : par le seul effet du hasard, quelques-unes afficheront un ratio de Sharpe élevé. Si vous ne présentez que la meilleure, vous montrez du bruit déguisé en découverte. C'est le surapprentissage (overfitting) : la règle a appris les particularités de l'échantillon, pas un phénomène durable.

Ce mécanisme a été formalisé par David Bailey, Jonathan Borwein, Marcos López de Prado et Qiji Jim Zhu dans un article au titre volontairement provocateur, « Pseudo-Mathematics and Financial Charlatanism » (Notices of the American Mathematical Society, 2014). Ils montrent qu'avec un historique de quelques années seulement, il suffit de tester un nombre modeste de configurations pour obtenir, par hasard, un ratio de Sharpe annualisé flatteur. Plus l'historique est court, moins il faut d'essais pour se tromper.

La recherche académique fait face au même problème. Campbell Harvey, Yan Liu et Heqing Zhu ont recensé plusieurs centaines de « facteurs » censés expliquer les rendements des actions et proposé de relever le seuil de significativité statistique pour tenir compte du nombre de tests réalisés par l'ensemble de la profession (« … and the Cross-Section of Expected Returns », Review of Financial Studies, 2016) : une statistique t supérieure à 3, au lieu du 2 habituel.

Des outils pour corriger

Compter et déclarer les essais

La première mesure n'est pas mathématique : noter combien de variantes ont été testées, y compris celles abandonnées. Sans ce chiffre, aucun résultat ne peut être interprété. Un carnet de recherche daté, ou simplement l'historique d'un dépôt de code, suffit.

Le ratio de Sharpe dégonflé

Bailey et López de Prado ont proposé le ratio de Sharpe dégonflé (Deflated Sharpe Ratio, Journal of Portfolio Management, 2014). L'idée : estimer le meilleur ratio de Sharpe qu'on obtiendrait par hasard en testant N stratégies sans valeur, puis calculer la probabilité que le ratio observé dépasse vraiment ce seuil, en tenant compte de la longueur de l'historique et de l'asymétrie et de l'aplatissement des rendements, qui s'écartent souvent de la loi normale.

La probabilité de surapprentissage

Les mêmes auteurs, avec Borwein et Zhu, ont décrit une méthode de validation croisée combinatoire qui découpe l'historique en blocs, sélectionne la meilleure configuration sur une moitié et regarde son rang sur l'autre, pour toutes les combinaisons de blocs (« The Probability of Backtest Overfitting », Journal of Computational Finance, 2017). Si la configuration choisie retombe souvent sous la médiane hors échantillon, la sélection relève du bruit.

Garder un échantillon intact

La règle la plus simple reste la plus efficace : mettre de côté une période que l'on ne regarde pas pendant la recherche, et ne la consulter qu'une fois, à la fin. Si l'on revient modifier la stratégie après avoir vu le résultat, cette période cesse d'être hors échantillon. L'analyse glissante (walk-forward), qui réestime les paramètres à intervalles réguliers en n'utilisant que le passé, reproduit mieux les conditions réelles qu'un unique découpage.

Lire un backtest qu'on vous présente

Face à une courbe de performance simulée, sur un forum, dans une vidéo ou dans une plaquette commerciale, quelques questions suffisent à faire le tri :

Combien de variantes ont été testées avant celle-ci ?
Les frais, l'écart de cotation et les taxes sont-ils inclus, et à quel niveau ?
L'univers de titres inclut-il les sociétés disparues ? L'indice de référence intègre-t-il les dividendes ?
Existe-t-il une période hors échantillon, ou mieux, un historique réel postérieur à la publication de la règle ?
Le résultat tient-il si l'on décale légèrement les paramètres ? Une stratégie qui ne fonctionne qu'avec une moyenne de 47 jours, et pas 45 ni 50, est presque certainement surajustée.

Dans l'Union européenne, la présentation de performances passées simulées dans une communication commerciale est d'ailleurs strictement encadrée ; pour les fonds, les orientations de l'ESMA sur les communications publicitaires en donnent le détail. Une promesse de rendement appuyée sur un backtest spectaculaire, en dehors de ce cadre, doit alerter ; notre article sur la réglementation du trading algorithmique rappelle les mises en garde de l'AMF à ce sujet.

En résumé

Un backtest est une hypothèse, pas une preuve. Il devient informatif quand les données sont propres (sans biais d'anticipation ni de survivance, dividendes compris), quand les coûts réels sont intégrés, quand le nombre d'essais est connu et pris en compte, et quand le résultat survit à une période jamais utilisée pendant la recherche. Pour vous exercer avec des données publiques, consultez notre panorama des données de marché ouvertes.

Sources

Bailey, D. H., Borwein, J. M., López de Prado, M. et Zhu, Q. J. (2014). Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance. Notices of the AMS, 61(5).
Bailey, D. H. et López de Prado, M. (2014). The Deflated Sharpe Ratio. Journal of Portfolio Management, 40(5).
Bailey, D. H., Borwein, J. M., López de Prado, M. et Zhu, Q. J. (2017). The Probability of Backtest Overfitting. Journal of Computational Finance, 20(4).
Harvey, C. R., Liu, Y. et Zhu, H. (2016). … and the Cross-Section of Expected Returns. Review of Financial Studies, 29(1).
ESMA (2021). Orientations sur les communications publicitaires au titre du règlement sur la distribution transfrontière des fonds.