Backtesting pour X-13ARIMA-SEATS

Nos utilisateurs nous posent de nombreuses questions sur la précision des prévisions : comment les prévisions de mon modèle se situent-elles par rapport aux valeurs réelles ? Les valeurs prévues et les valeurs réelles se suivent-elles de près ? Quel est le type d'erreur de suivi ?

La technique du backtesting répond à ces questions, avec un petit plus : si nous pouvions remonter dans le temps, nous pourrions calibrer le modèle en utilisant uniquement les données disponibles jusqu'à cette date et effectuer une prévision hors échantillon. Ensuite, nous répétons la procédure pour différentes dates.

À la fin du processus de backtesting, nous générons une série temporelle des valeurs prévues, que nous pouvons ensuite analyser par rapport à la série temporelle réelle. Nous pouvons alors calculer toutes sortes de statistiques.

Cet article a été inspiré par une demande d'assistance spécifique de l'un de nos utilisateurs :

“Comment puis-je effectuer un backtesting sur les prévisions X-13ARIMA-SEATS des valeurs corrigées des variations saisonnières et des valeurs finales (c'est-à-dire non corrigées des variations saisonnières) ?”

Pour réaliser le backtesting, nous devons exécuter plusieurs scénarios X13AS qui ne diffèrent que par l'ensemble des données d'entrée.

Pour ce tutoriel, nous utiliserons les données mensuelles sur l'emploi salarié non agricole du ministère américain du travail (DOL) entre janvier 1970 et juin 2022.

1. À l'aide de l'assistant X13, construisez le modèle X13 en utilisant l'ensemble des données. L'assistant écrira la spécification du modèle (texte JSON) dans votre feuille de calcul à l'endroit indiqué.
   
2. Ensuite, dans une colonne vide, dressez la liste de toutes les périodes pour lesquelles vous souhaitez établir une prévision.
   
3. Calculer le nombre de points de données depuis le début de l'ensemble de données jusqu'à chaque période spécifiée à l'étape (2).
   
4. Copier la formule X13AS(.) en (1) dans une colonne séparée, adjacente à la colonne de l'étape (3).
   

5. Remplacer la plage de cellules des données d'entrée par un appel à NxSubset(.). La fonction NxSubset prend l'ensemble des données comme premier argument, mais le décalage d'arrivée est calculé dans la colonne de l'étape (3).
   

   Note:

   Veuillez vous référer à la Manuel de référence NxSubset(.) pour en savoir plus.

6. Maintenant, la fonction X13AS(.) construit un nouveau scénario en utilisant uniquement les données jusqu'à ce point.
7. En utilisant les fonctions X13ASCOMP(.) et X13ASFORE(.), demandez la composante ou la valeur prévisionnelle pour la date de cette ligne.
   
8. Utilisez la fonction intégrée d'Excel VLOOKUP(.) pour demander la valeur réelle de chaque ligne.
   
9. Copiez les formules de la ligne supérieure dans le reste du tableau. Cette opération déclenche une série de calculs du modèle X13 et peut prendre jusqu'à une minute.
   
10. Enfin, traçons les valeurs de backtesting avec les valeurs réelles.
    

Conclusion

Dans notre exemple, nous avons calculé les prévisions non saisonnières corrigées d'un mois pour les 24 derniers mois, mais nous pouvons facilement étendre la période d'étude et/ou calculer d'autres résultats.

Une fois que nous avons calculé la série temporelle de sortie du backtesting, nous devons décrire quantitativement l'erreur de suivi des prévisions à l'aide de votre mesure de performance préférée (incluse dans NumXL), telle que MAPE, RMSE, MASE, etc.