Encuesta de Medidas de comportamiento de pronóstico

Un pronóstico de negocio es un estimado o predicción del futuro desarrollo del negocio tal como la demanda, las ventas, el gasto y la ganancia. Calcular el pronóstico se ha convertido en una herramienta invaluable para que, empresarios y gente de negocios, puedan anticipar tendencias económicas y prepararse para beneficiarse de ellas o contrarrestarlas. Un buen pronóstico de negocio puede ayudar a los dueños de negocios y a sus administradores a adpatarse a una economía cambiante.

Un pronóstico no es un número mágico arrojado súbitamente por un modelo de caja negra para este mes y futuros meses; ni tampoco es un juego de aciertos o desaciertos. Calcular un pronóstico es un proceso en desarrollo trabajado por varios accionistas del negocio que mejoran su exactitud y su confiabilidad con el paso del tiempo.

Durante el proceso de comprometernos con muchos de nuestros clientes mediante consultorías, muchas preguntas claves salieron a flote:

• ¿Cómo sé cuándo mis pronósticos son exactos y confiables?
• Hay varias técnicas para estimar los pronósticos, ¿Cuáles dan mejores resultados?
• Tengo decenas o cientos de diferentes tipos de SKU así que ¿Cómo resumimos la exactitud general de mi proceso de pronóstico? Etc.

Primero, para que un proceso sea monitoreado efectivamente, necesitamos cuantificar la exactitud del pronóstico (o error) sobre el tiempo. Segundo, la medida debe ser simple de entender y útil para todas las series de tiempo concernientes. Finalmente, necesitamos una medida que opere tanto en una sola serie de tiempo como en un grupo de (posibles) series de tiempo que no se relacionen, para cuantificar la capacidad del proceso de pronóstico general.

Con una medida de pronóstico confiable y consistente podemos comparar los distintos métodos de pronóstico disponibles para llegar a un pronóstico único para cada serie de tiempo. Además, podemos examinar cómo se ve el proceso general a través de los puntajes de las series de tiempo, y su impacto en la ganancia neta del negocio (ej, excedentes en existencias, pérdidas en ventas, etc.).

En este ensayo, discutiremos las métricas de exactitud más importantes o las medidas que se encuentran con mayor frecuencia en el campo del cálculo de pronósticos, y su aplicación en series de tiempo únicas. En ensayos posteriores, discutiremos los métodos para resumir la exactitud del pronóstico de un grupo de series de tiempo. Podemos categorizer las medidas de exactitud del pronóstico en tres grupos distintos:

1. Absoluto (escala-dependiente) medidas: ej. MSE, RMSE, MAE, etc.
2. Porcentaje (escala-independiente) medidas: ej. MAPE, MAAP
3. Relativo medidas: ej. MRAE, MASE, etc.

Presentaremos unas pocas medidas para cada categoría y discutiremos sus propiedades estadísticas (ej. robustez) y sus aplicaciones.

---

Medidas Absolutas (Escala-dependiente)

MSE – Errores cuadráticos medios

Calcula el error cuadrático medio entre dos (2) series de tiempo: el pronóstico y los resultados eventuales:$\{x_t\}$:
$$\mathrm{MSE}=\frac{\sum_{i=1}^m (x_i-f_i)^2}{m} = \frac{\sum_{i=1}^m e_i^2}{m}=\frac{SSE}{m}$$
Donde:

• $x_t$ es el resultado eventual en un período t.
• $f_t$ es el pronóstico (usando un modelo/método) en un período t.
• $e_t$ es el error de pronóstico en un período t.
• $m$ es el número de observaciones disponible.

El MSE, como su nombre lo indica, es de una forma de función de pérdida cuadrática que le adiciona mucha más ponderancia a errores grandes que a errores pequeños. La magnitud de valores que MSE puede aceptar es dependiente en el y puede variar en un rango de 0 a ; haciendo una comparación a través de diferentes series de dificultad, y alzando el prospecto de valores atípicos puede influenciar ampliamente el valor calculado.

El MSE se encuentra, con frecuencia, cuando nos preocupan errores grandes cuyas consecuencias negativas son proporcionalmente más grandes que pequeñas. Pero el MSE no es una medida apropiada para comparar la exactitud a lo largo de diferentes series de tiempo.

Sin embargo, el MSE es muy similar a la medida estadística de la varianza, lo que nos permitirá medir la incertidumbre al rededor de nuestro pronóstico más probable . Así pues, el MSE juega otro papel importante al permitirnos conocer la incertidumbre al rededor de la predicción más probable.

En resumen, el MSE es un estimado parcial (no robusto, ej: sensitivo a los valores atípicos) y no puede ser usado a través de diferentes series de tiempo, pero sí puede ser usado para estimar la incertidumbre al rededor de la predicción más reciente.

GMSE – Error cuadrático de media geométrica

TEl GMSE promedia el producto de errores cuadráticos en vez de su sumatoria como ocurre con MSE
$$\mathrm{GMSE}= \sqrt[N]{\prod_{t=1}^{N}e_t^2}=\sqrt[N]{\prod_{t=1}^{N}(x_t-f_t)^2}$$

El GMSE está mucho menos influenciado por valores atípicos que el MSE.

Además, desde un punto de vista matemático, la ventaja más grande de usar el GMSE es que el error absoluto medio (MAE) se puede comparar calculando su media geométrica (GMSE). Por ejemplo, si un GMSE es 10 y el otro es 12, se puede inferir que el error absoluto medio (MAE) de las segundas series es 20% más alto que el de las primeras.

RMSE – Error de media cuadrática

Una forma alternativa de expresar el MSE es calculando su raíz cuadrada.
$$\mathrm{RMSE}=\sqrt{\frac{\mathrm{SSE}}{N}}=\sqrt{\frac{\sum_{i=1}^N (x_i - f_i)^2}{N}}$$

El RMSE es más intuitivo porque nos informa sobre el tamaño promedio de los errores de pronóstico sin importar su signo.

Al igual que con el MSE, la mayor ventaja de RMSE es que es una medida de incertidumbre en el cálculo de pronósticos. Las dos mayores desventajas son que es una medida absoluta que hace una comparación a través de series de tiempo altamente problemáticas, y que es influenciada por valores extremos (también conocidos como valores atípicos).

GRMSE – Media geométrica de la raíz cuadrada del error cuadrático medio

Igual que con el GMSE, GRMSE se define así: $$\mathrm{GRMSE}= \sqrt[2N]{\prod_{t=1}^{N}e_t^2}=\sqrt[2N]{\prod_{t=1}^{N}(x_t-f_t)^2}$$

OLos valores atípicos influencian mucho menos a las medias geométricas que las medias cuadráticas, pero como en el caso de RMSE, GRMSE es una medida absoluta y no es apropiado hacer una comparación a través de series de tiempo.

MAE –Error absoluto medio

Calculemos el error absoluto medio entre dos (2) series de tiempo: el pronóstico $\{f_t\}$ y los resultados eventuales :$\{x_t\}$:
$$\mathrm{MAE}=\frac{\mathrm{SAE}}{N}=\frac{\sum_{i=1}^N \left | x_i - \hat x_i \right |}{N}$$
Donde:

• $x_t$ es el resultado eventual en un período t
• $f_t$ es el pronóstico (usando un modelo/método) en un período t.
• $e_t$ es el error de pronóstico en un período t.
• $\mathrm{SAE}$ es la sumatoria de error absoluto.
• $\mathrm{m}$ es el número de observaciones disponible.

El MAE es también una medida absoluta (como MSE), y esta es su gran desventaja. Su valor fluctúa de 0 a. Sin embargo, como no es de naturaleza cuadrática, como MES, está influenciado menos por valores atípicos. Además, debido a su naturaleza lineal, su significado es más intuitivo, ya que nos dice el tamaño promedio de los errores de pronóstico cuando el signo negativo es ignorado.

Medidas de porcentaje (de Escala-independiente)

En esta categoría, la medida usa una versión escalada de los errores de pronóstico.

MAPE – Error porcentual absoluto medio

Calcula el error porcentual absoluto medio (MAPE) entre el pronóstico y los resultados eventuales $$\mathrm{MAPE}=\frac{1}{m}\times \sum_{i=1}^m \mathrm{APE}_t $$ $$\mathrm{APE}_t = \left | \frac{x_i - f_i}{x_i} \right | $$
Donde:

• $x_t$ es el resulttado eventual en un período t
• $f_t$ es el pronóstico (usando un modelo/método) en un período t
• $\mathrm{APE}_t$ es el error de porcentaje absoluto para el período t
• $m$ es el número de observaciones disponible

El MAPE expresa errores como un porcentaje de los datos actuales, lo cual es su más grande ventaja puesto que provee una manera intuitiva y fácil de juzgar el alcance de los errores del modelo. Los errores de porcentaje son parte de nuestro lenguaje cotidiano, haciendo de MAPE un concepto de fácil interpretación.

Luego, el MAPE es una medida de escala independiente, lo cual la hace adecuada para comparar a través de diferentes series de tiempo.

MAPE es una medida popular ampliamente usada en esferas académicas y por profesionales, pero tiene sus serias desventajas:

• $\mathrm{APE}_t$ puede crear un problema cuando es pequeño (cerca a cero) yes grande, haciendo que $\mathrm{APE}_t$ - sea extremadamente amplio de tal manera que $\mathrm{MAPE}$ no tiene sentido.
• $\mathrm{MAPE}$ - puede ser influeciado mucho por los valores atípicos.

Así las cosas, el rango de valores que $\mathrm{MAPE}$ puede aceptar es desde 0 a $\infty$.

SMAPE – Error porcentual absoluto de media simétrica

La version simétrica de MAPE trata de corregir la posible influencia de valores atípicos dividiendo el error de pronóstico por el promedio de $x_t$ y $f_t$. $$\mathrm{SMAPE}=\frac{1}{m}\times \sum_{i=1}^m \mathrm{sAPE}_t $$
$$\mathrm{sAPE}_t = 2\times \left | \frac{x_i - f_i}{x_i + f_i} \right | $$

Usando esta definición, no importa si $x_t$ ies un valor pequeño y $f_t$ es grande o si $x_t$ ies grande y $f_t$ pequeño. Por lo tanto, el rango de valores que sMAPE puede aceptar es desde cero (0) a 200%.

El MAPE simétrico es influenciado por valores extremos (conocidos también como valores atípicos) en mucho menor grado que el MAPE regular.

El simétrico tiene un par de desventajas: (1) su valor es menos intuitivo que el de MAPE, y (2) la división por cero es posible cuando tanto el valor actual como el pronóstico son cero.

MdAPE – Error porcentual de media absoluta

El error porcentual de media absoluta (regular o simétrico) es similar a MAPE, excepto por el uso de mediana que por el promedio aritmético. $$\mathrm{MdAPE}_{\mathrm{reg}} = \mathrm{median}(\mathrm{APE}_1,\mathrm{APE}_2,\cdots,\mathrm{APE}_m)$$
$$\mathrm{MdAPE}_\mathrm{sym} = \mathrm{median}(\mathrm{sAPE}_1,\mathrm{sAPE}_2,\cdots,\mathrm{sAPE}_m)$$

La mayor desventaja de MdAPE es que no es influenciado por valores atípicos. Su mayor desventaja es que su sentido es menos intuitivo. Un MdAPE de 8% no significa que el error absoluto promedio sea 8%, significa que la mitad de los errores de procentaje absoluto en nuestra muestra son menores que 8%.

Además, es difícil combinar MdAPE a través de series o hacer una actualización cuando estén disponibles nuevos datos.

Medidas relativas

IEn esta categoría usamos el error de pronóstico relativo para algún punto de referencia del pronóstico tal como el más reciente valor disponible (Pronóstico primitivo 1), o el más reciente valor disponible luego de que se tuviera en cuenta la estacionalidad (Pronóstico primitivo 2).

El error relativo absoluto se define así: $$ \mathrm{RAE}_t = \left | \frac{x_t - f_t}{x_t - f_t^b} \right | = \left | \frac{e_t}{e_t^b} \right | $$
Donde:

• $x_t$ es el resultado eventual para el período t
• $f_t$ es el pronóstico (usando algún modelo/método) para el período t.
• $f_t^b$ es el pronóstico del modelo de punto de referencia para el período t.
• $e_t$ es el error de pronóstico para el período t.
• $e_t^b$ es el error de pronóstico de punto de referencia para el período t.

En la definición de una división por cero ocurre cuando el error del pronóstico de punto de referencia es cero (0) (i.e. el valor de pronóstico de punto de referencia es igual al valor actual).

MRAE – Error absoluto relativo medio

Este Error absoluto relativo medio se define sacando el promedio aritmético de los errores relativos en los períodos disponibles.

$$\mathrm{MRAE} = \frac{1}{m}\times \ sum_{t=1}^m \mathrm{RAE}_t $$

El MRAE es simple e intuitivo para explicarse como un error relativo promedio de algún punto de referencia. Así que, un MRAE de 90% indica que nuestro modelo en promedio produce un error 10% más pequeño que el del modelo de punto de referencia.

El MRAE es sensitivo a valores bajos y valores extremos (valores atípicos).

MdRAE – Error absoluto relativo medio

En este caso, usamos el operador mediano en vez del promedio aritmético. $$\mathrm{MdRAE} = \mathrm{median(RAE_1,RAE_2,...,RAE_m)} $$

TLa mayor ventaja de MdRAE es su resilencia a los valores extremos (también llamados valores atípicos), pero es menos intuitivo que MRAE.

GMRAE – Error absoluto de media geométrica relativa

Con GMRAE, sustituimos el promedio aritmético en MRAE con la media geométrica. $$\mathrm{GMRAE} = \sqrt[m]{\prod_{t=1}^m \mathrm{RAE}_t }$$

El GMRAE es menos sensitivo a los valores extremos (también conocidos como valores atípicos) que MRAE, pero aún es simple de interpretar.

MASE – Error escalado absoluto medio

En la medida basada en el Error absoluto relativo (RAE), una división por cero puede ocurrir cuando el pronóstico de modelo de punto de referencia es igual al resultado actual. En la planeación de la demanda, las series con muchos valores de cero y con unos cuantos picos intermitentes son comunes, de manera que no podemos usar ninguna de las medidas discutidas hasta el momento.

Se necesita un nuevo tipo de medida – Error de escala absoluta ($q_t$ ):
$$q_t = \frac{\left | x_t - f_t \right |}{\frac{1}{n}\times\sum_{t=1}^n \left | x_t - f_f^b\right |} = \frac{\left|x_t-f_t\right |}{\mathrm{MAE}^b}=\frac{\left | e_t\right |}{\mathrm{MAE}^b}$$

IEn resumen, un error escalado absoluto es el error de pronóstico absoluto dividido por el error absoluto medio (MAE, por sus siglas e inglés) del modelo de punto de referencia (ej. pronóstico primitivo 1)

El Error escalado absoluto medio se define así: $$ \mathrm{MASE}=\frac{1}{m}\sum_{t=1}^m q_t = \frac{\mathrm{MAE}}{\mathrm{MAE^b}}

El MASE mide la simetría y resilencia (robusta) en valores extremos (valores atípicos) y pequeños valores. Además, la división por cero solamente puede ocurrir ten un caso trivial donde todos los valores de los datos de entrada son iguales (ej. función constante).

Además, la interpretación de los valores MASE es simple e intuitiva, un valor menos que uno (1) implica que el modelo de pronóstico tiene un error absoluto medio más pequeño que el del modelo de puntos de referencia (favorable), y un valor mayor que nos indica que los valores de pronóstico se comportan peor que el modelo de punto de referencia.

Finalmente, la medida MASE puede ser usada para series e tiempo con muchos valores de cero (ej. demandas intermitentes) mientras haya por lo menos una observación con un valor diferente a cero.

PB – Mejor porcentaje

Otra aproximación para manejar la división por cero y la sensibilidad hacia los valores atípicos es el ¨Mejor Porcentaje¨(PB, por sus siglas en inglés), el cual representa el porcentaje de los casos en que el error de pronóstico absoluto es mayor que los del modelo de punto de referencia. $$\mathrm{PB}= \frac{\sum_{t=1}^m I\{\left | e_t \right | < \left | e_t^b \right | \}}{m}$$
Donde:

• $I\{.\}$ es un operador que cede el paso a los valores de cero (0) o uno (1): $$ I(e_t)=\left\{\begin{array}{l} 1\\ 0 \end{array}\right. \begin{array}{l} \left | e_t \right | < \left | e_t^* \right | \\ \left | e_t \right | \geq \left | e_t^* \right | \end{array} $$

El PB demuestra el procentaje de casos donde nuestro pronóstico vence el punto de referencia, independientemente de la magnitud real de los errores. El PB se puede entender fácilmente y es intuitivo. Es resilente a los valores extremos y pequeños (valores atípicos), pero no puede utilizarse a lo largo de diferentes series de tiempo.

Conclusión

¿Cuál medida de pronóstico debemos usar? No existe una única respuesta sino tres. Aquí están algunas recomendaciones:

1. Medida absoluta Usemos MSE y/o RMSE
   TEl MSE y RMSE son ambos sensitivos a los valores extremos (valores atípicos), pero sirven como medidas importantes de incertidumbre con respecto a la más reciente predicción.
2. Medida de porcentaje: Usemos MAPE (variante simétrica)
   MAPE es ampliamente utilizado en las esferas académicas y entre profesionales, y sus valores tienen una interpretación intuitiva. Sin embargo, es sensitivo a valores extremos (valores atípicos) y a valores pequeños, de manera que recomendamos usar la variante simétrica para arreglar esos defectos sin perder sentido.
3. Medida Relativa: Usemos MASE.
   Recomendamos usar MASE por tres razones principales: (1) resiliencia a valores extremos, (2) bajo o ningún chance de que haya división por cero, y (3) sus valores tienen una interpretación intuitiva.

Referencias

• Winkler, R.L., and Murphy, A.H., (1992) "On Seeking a Best Performance Measure or a Best Forecasting Method," International Journal of Forecasting, 8, 1, 104-107
• Chatfield, C., (1988) "What is the `best' method of forecasting?" Journal of Applied Statistics, 15, 19-38.
• Carbone, R. and Armstrong, J.S., (1982) "Note: Evaluating of Extrapolative Forecasting Methods: Results of a Survey of Academicians and Practitioners," Journal of Forecasting, 1, 2, 215-217.
• Makridakis, S. et al., (1982) "The Accuracy of Extrapolative (Time Series Methods): Results of a Forecasting Competition," Journal of Forecasting, Vol. 1, No. 2, pp. 111-153 (lead article)
• MAKRIDAKIS S. & HIBON M., (1995) "Evaluating Accuracy (or Error) Measures,"Working paper in the INSEAD, Boulevard de Const ance, Fontainebleau 77305 Cedex, France