Backtesting O Prueba Retrospectiva Para X-13ARIMA-SEATS

Escuchamos a muchos de nuestros usuarios preguntar sobre la precisión de los pronósticos: ¿Cómo pronosticará mi modelo la tarifa con los valores futuros reales? ¿Los valores de pronóstico y los datos reales siguen de cerca? ¿Qué tipo de error de seguimiento tendría?

La técnica de backtesting responde a estas preguntas con un simple giro: si retrocediéramos en el tiempo, podríamos calibrar el modelo usando solo los datos disponibles hasta ese momento y realizar un pronóstico fuera de la muestra. Luego, repetimos el procedimiento para diferentes fechas.

Al final del proceso de backtesting generamos una serie temporal de los valores pronosticados, que luego podemos analizar en relación con la serie temporal real. Así las cosas, podemos calcular todo tipo de estadísticas.

Este artículo fue inspirado por una consulta de soporte específica de uno de nuestros usuarios:

“¿Cómo puedo realizar pruebas retrospectivas en el pronóstico X-13ARIMA-SEATS de los valores finales y ajustados estacionalmente (es decir, no ajustados estacionalmente)?”

Para llevar a cabo la prueba retrospectiva, necesitaríamos ejecutar varios escenarios X13AS que solo difieren en el conjunto de datos de entrada.

Para este tutorial, utilizaremos los datos mensuales de empleo de nómina no agrícola del Departamento de Trabajo de EE. UU. (DOL) entre enero de 1970 y junio de 2022.

1. Usando el asistente X13, construya el modelo X13 usando el conjunto de datos completo. El asistente escribirá la especificación del modelo (texto JSON) en su hoja de trabajo donde lo especifique.
   
2. A continuación, en una columna vacía, enumere todos los períodos para los que desea hacer un pronóstico.
   
3. Calcule el número de puntos de datos desde el inicio del conjunto de datos hasta cada período especificado en el paso (2).
   
4. Copie la fórmula X13AS(.) en (1) en una columna separada, junto a la columna del paso (3).
   
5. Reemplace el rango de celdas de los datos de entrada con una llamada a NxSubset(.). La función NxSubset tomará el conjunto de datos completo como su primer argumento, pero el desplazamiento final se calcula en la columna del paso (3).
   

   Nota:

   por favor refiérase a Manual de referencia de NxSubset(.) página para saber más.

6. Ahora, la función X13AS(.) construye un nuevo escenario usando solo datos hasta este punto.
7. Usando las funciones X13ACOMP(.) y X13ASFORE(.), consulte el componente o el valor de pronóstico para la fecha en esta fila.
   
8. Utilice la función integrada de Excel BUSCARV(.) para consultar el valor real de cada fila.
   
9. Copie las fórmulas de la fila superior al resto de la tabla. Esto activará una serie de cálculos del modelo X13 y puede tardar hasta un minuto en completarse.
   
10. Finalmente, tracemos los valores de las pruebas retrospectivas junto con los valores reales.
    

Conclusión

En nuestro ejemplo, calculamos el pronóstico de un mes ajustado no estacional para los últimos 24 meses; pero podemos expandir fácilmente el período de estudio y/o calcular diferentes resultados.

Una vez que calculamos la serie de tiempo de salida de la prueba retrospectiva, debemos describir cuantitativamente el error de seguimiento del pronóstico utilizando su medida de rendimiento de pronóstico favorita (incluida con NumXL), como MAPE, RMSE, MASE, etc.