Modelo Autorregresivo (AR)

Originalmente hemos compuesto estas notas técnicas después de sentarnos en una clase de análisis de series de tiempo. A lo largo de los años, hemos mantenido estas notas y hemos añadido nuevos conocimientos, observaciones empíricas e intuiciones adquiridas. A menudo volvemos a estas notas para resolver temas de desarrollo y / o para abordar adecuadamente un asunto de soporte de productos.

En este artículo examinaremos otro modelo econométrico simple pero fundamental: el modelo autorregresivo. Asegúrese de haber revisado nuestro documento anterior sobre el modelo de media móvil, ya que nos basamos en muchos de los conceptos presentados en ese documento.

Este modelo sirve de piedra angular para cualquier aplicación seria de los modelos ARMA/ARIMA

Antecedentes

El modelo autorregresivo de orden p (i.e. AR(p)) se define de la siguiente manera:

$$x_r=\phi_o+\phi_1 x_{t-1}+\phi_2 x_{t-2}+ \cdots + \phi_p x_{t-p} + a_t$$ $$a_t=\epsilon_t \times \sigma $$ $$\epsilon_t \sim \textrm{i.i.d} \sim N(0,1)$$

Donde:

• $a_t$ son las innovations o choques para nuestro proceso
• $\sigma$ es la desviación estándar condicional (conocida como volatilidad)

Esencialmente, el AR (p) es meramente un modelo de regresión lineal múltiple donde las variables independientes (explicativas) son las ediciones retardadas de la salida (es decir. $x_{t-1},x_{t-2},\cdots,x_{t-p}$). Tenga en cuenta que $x_{t-1},x_{t-2},\cdots,x_{t-p}$ pueden estar altamente correlacionadas entre sí.

¿Por qué necesitamos otro modelo?

Primero, podemos pensar en un modelo de AR como una representación especial (es decir, restringida) de un proceso $MA(\infty)$. Consideremos el siguiente proceso estacionario AR(1):

$$x_t=\phi_o+\phi_1 x_{t-1} + a_t$$ $$x_t - \mu = \phi_o - \mu + \phi_1 x_{t-1} - \phi_1 \mu + \phi_1 \mu + a_t $$ $$(1-\phi_1 L)(x_t - \mu)= \phi_o -\mu +\phi_1 \mu + a_t$$

Ahora, restando la media a largo plazo de la variable de respuesta ($x_ts), El proceso tiene ahora cero media de largo plazo (incondicional / marginal).

$$\phi_o -\mu +\phi_1 \mu =0 $$ $$\Rightarrow \mu = \frac{\phi_o}{1-\phi_1}$$ $$\Rightarrow \phi_1 \neq 1$$

A continuación, el proceso se puede simplificar más de la siguiente manera:

$$(1-\phi_1 L)(x_t - \mu)= (1-\phi_1 L) z_t = a_t$$ $$z_t = \frac{a_t}{1-\phi_1 L}$$

Para un proceso estacional, the $\left \| \phi_1 \right \| <1$

$$z_t=\frac{a_t}{1-\phi_1 L} = (1+\phi_1 L + \phi_1^2 L^2 + \cdots + \phi_1^K L^K + \cdots ) a_t$$

En suma, utilizando el modelo AR(1), podemos representar este modelo $MA(\infty)$ utilizando un Un requisito de almacenamiento más pequeño.

Podemos generalizar el procedimiento para un modelo AR (p) estacionario, y suponiendo que existe una representación $MA(\infty)$, los valores de los coeficientes MA son determinados únicamente por los valores del coeficiente AR:

$$x_t = \phi_o + \phi_1 x_{t-1} + \phi_2 x-{t-2} + \cdots + \phi_p x_{t-p} + a_t$$ $$x_t - \mu = \phi_o -\mu + \phi_1 x_{t-1} -\phi_1 \mu + \phi_1 \mu + \phi_2 x_{t-2} + -\phi_2 \mu + \phi_2 \mu \cdots + \phi_p x_{t-p} -\phi_p \mu + \phi_p \mu + a_t$$ $$(1-\phi_1 L - \phi_2 L^2 -\cdots - \phi_p L^p)(x_t-\mu)=\phi_o -\mu + \mu (\phi_1 + \phi_2 +\cdots+\phi_p) + a_t$$

Once again, by design, the long-run mean of the revised model is zero.

$$\phi_o -\mu +\mu (\phi_1+\phi_2+\cdots+\phi_p) = 0$$ $$\Rightarrow \mu = \frac{\phi_o}{1-\sum_{i=1}^p \phi_i}$$ $$\Rightarrow \sum_{i=1}^p \phi_i \neq 1$$

Por lo tanto, el proceso puede representarse de la siguiente manera:

$$(1-\phi_1 L - \phi_2 L^2 -\cdots - \phi_p L^p)z_t = a_t $$ $$(x_t - \mu) = z_t = \frac{a_t}{1-\phi_1L-\phi_2 L^2 - \cdots - \phi_p L^p}=\frac{a_t}{(1-\lambda_1 L)(1-\lambda_2 L)\cdots (1-\lambda_p L)}$$

Por tener $\left \| \lambda_i \right \| <1, \forall i\in \{1,2,\cdots,p\} $, podemos utilizar la descomposición de la fracción parcial y la representación de la serie geométrica; entonces nosotros construimos el equivalente algebraico de la representación $MA(\infty)$.

Sugerencia: Por ahora, esta formulación se parece bastante a lo que hemos hecho antes en la nota técnica de MA, ya que invertimos un proceso de orden finito MA en una representación equivalente de $ AR(\infty)$.

El punto clave es ser capaces de convertir un proceso de orden fijo, de orden finito, en una representación algebraicamente equivalente $MA(\infty)$. The key point is being able to convert a stationary, finite-order AR process into an algebraically equivalent $MA(\infty)$ representation. Esta propiedad se conoce como causality.

Causalidad

Definición: Un proceso lineal $\{X_t\}$es causal (estrictamente, una función causal de $\{a_t\}$) si hay una representacion equivalente $MA(\infty)$.

$$x_t=\Psi(L)a_t=\sum_{i=0}^\infty \psi_i L^i a_t$$

Donde:

$$\sum_{i=1}^\infty \left \| \psi_i \right \| < \infty $$

Causalidad es una propiedad de ambos $\{X_t\}$ y $\{a_t\}$.

En palabras simples, el valor de $\{X_t\}$ es únicamente dependiente de valores pasados $\{a_t\}$.

Vamos a considerar el siguiente ejemplo:

$$(1-\phi L)(x_t - \mu) = (1-\phi L)z_t = a_t$$ $$\|\phi\| > 1 $$ $$z_t = \phi z_{t-1} + a_t $$

Ahora vamos a reorganizar los términos en este modelo:

$$ z_{t-1}=\frac{1}{\phi}(z_t - a_t)$$ $$z_{t-1} = \psi z_t + {a_t}'$$ $$\|\psi\| < 1 $$

Convierte el nuevo proceso AR en un MA

$$z_t = \psi z_{t+1} + {a_{t+1}}' $$ $$z_t = \psi(\psi z_{t+2} + {a_{t+2}}') + {a_{t+1}}'$$ $$z_t = \psi ( \psi (\psi z_{t+3} + {a_{t+3}}') + {a_{t+2}}') + {a_{t+1}}'$$ $$\cdots $$ $$z_t = \psi^K z_{t+K+1} + {a_{t+1}}' + \psi {a_{t+2}}' + \cdots + \psi^{K-1} {a_{t+K-1}}' $$

El proceso anterior es no causal, ya que sus valores dependen de valores futuros de $\{{a_t}'\}$observaciones. Sin embargo, esto también es estacionario.

En el futuro, para un proceso AR (y ARMA), la estacionalidad no es suficiente por sí misma; el proceso debe ser causal también. Para todas nuestras futuras discusiones y aplicaciones, sólo consideraremos los procesos causales estacionarios.

Estabilidad

Similar a lo que hicimos en el artículo modelo de media móvil, nosotros examinaremos ahora la media y la varianza marginales (incondicionales) a largo plazo.

(1) Supongamos que la media de largo plazo ($ \ mu $) existe, y:

$$E[x_t]=E[x_{t-1}]=\cdots = E[x_{t-p}]=\mu < \infty $$

Ahora, se resta la media de largo plazo de todas las variables de salida:

$$x_t-\mu + \mu = \phi_o +\phi_1 x_{t-1} - \phi_1 \mu + \phi_1 \mu +\phi_2 x_{t-2} - \phi_2 \mu + \phi_2 \mu + \cdots + \phi_p x_{t-p} - \phi_p \mu + \phi_p \mu + a_t $$ $$(x_t-\mu) = \phi_o + \phi_1 (x_{t-1}-\mu) + \phi_2 (x_{t-2}-\mu) + \cdots + \phi_p (x_{t-p}-\mu) + a_ t + \mu(\phi_1+\phi_2+\cdots + \phi_p -1)$$

Toma la expectativa de ambos lados:

$$ E[(x_t-\mu)] = \phi_o + E[\phi_1(x_{t-1}-\mu)]+E[\phi_2 (x_{t-2}-\mu)]+\cdots+ E[\phi_p (x_{t-p}-\mu)] + E[a_t] + \mu(\phi_1+\phi_2+\cdots + \phi_p -1)$$ $$ 0 = \phi_o + \mu (\phi_1 + \phi_2 + \cdots + \phi_p -1) $$ $$ \mu = \frac{\phi_o}{1-\phi_1-\phi_2-\cdots-\phi_p}$$ $$\Rightarrow \sum_{i=1}^p \phi_i \neq 1$$

En resumen, para que la media de largo plazo exista, la suma de los valores de los coeficientes AR no puede ser igual a uno.

(2) Para examinar la varianza de largo plazo de un proceso AR, usaremos la representación equivalente $MA(\infty)$ y examinaremos su varianza a largo plazo. $$(x_t-\mu) = y_t = \phi_1 y_{t-1} + \phi_2 y_{t-2} + \cdots + \phi_p y_{t-p} + a_t$$ $$(1-\phi_1 L - \phi_2 L^2 - \cdots - \phi_p L^p)y_t = a_t$$ $$y_t= \frac {a_t}{1 - \phi_1 L - \phi_2 L^2 - \cdots - \phi_p L^p}$$

Utilizando la descomposición de fracciones parciales:

$$y_t = \left [ \frac{c_1}{1-\lambda_1 L}+\frac{c_2}{1-\lambda_2 L}+\cdots+\frac{c_p}{1-\lambda_p L} \right ]a_t$$

Para un proceso MA estable, todas las raíces características (es decir. $1/\lambda_i$) debe caer fuera del círculo unitario. (es decir. $\|\lambda_i\| < 1 $): $$y_t=[(c_1+c_2+\cdots+c_p) + (c_1\lambda_1+c_2\lambda_2+\cdots+c_p\lambda_p)L+ (c_1\lambda_1^2+c_2\lambda_2^2+\cdots+c_p\lambda_p^2)L^2+\cdots)a_t$$

A continuación, examinemos la propiedad de convergencia de la representación MA:

$$\lim_{k\rightarrow \infty}(c_1\lambda_1^k+c_2\lambda_2^k+\cdots+c_p\lambda_p^k)=0$$

Finalmente, la varianza de largo plazo de un proceso infinito de MA existe si la suma de sus coeficientes cuadrados es finita.

$$Var[x_{t+k\rightarrow \infty}]=((c_1+c_2+\cdots+c_p)^2+(c_1\lambda_1+c_2\lambda_2+\cdots+c_p\lambda_p)^2+\cdots+(c_1\lambda_1^k+c_2\lambda_2^k+\cdots+c_p\lambda_p^k)^2)\sigma^2 < \infty $$ $$\Rightarrow \sum_{i=0}^\infty (c_1\lambda_1^i+c_2\lambda_2^i+\cdots+c_p\lambda_p^i)^2 =\sum_{i=0}^\infty (\sum_{j=1}^p c_j\lambda_j^i)^2< \infty$$

Además, para que el proceso de AR(p) sea causal, la suma de valores de coeficiente absoluto también es finita.

$$\sum_{i=0}^\infty \|\psi_i\| = \sum_{i=0}^\infty\|\sum_{j=1}^p c_j\lambda_j^i\|<\infty$$

Ejemplo: AR(1)

$$(1-\phi L)y_t= a_t $$ $$y_t = \frac{a_t}{1-\phi L}=(1+\phi L + \phi^2 L^2 + \cdots ) a_t$$ $$Var[x_{t+k \rightarrow \infty}]=(1+\phi^2+\phi^4+\cdots)\sigma^2 = \frac{\sigma^2}{1-\phi^2}$$

Asumiendo que todas las raíces características ($ 1 / \ lambda $) caen fuera del círculo unitario, el proceso AR (p) puede ser visto como una suma ponderada de procesos MA estables p, de manera que una varianza finita de largo plazo debe salir.

Función de respuesta de impulso

Anteriormente, nosotros utilizamos raíces características AR(p) y la fracción parcial de descomposición para derivar el equivalente de una representación infinita de media móvil. Alternativamente, podemos calcular la función de respuesta de impulso (IRF) y encontrar los valores de los coeficientes de MA.

La función de respuesta de impulso describe la salida del modelo desencadenada por un solo choque en el instante t.

$$a_t=\left\{\begin{matrix} 1 & {t=1}\\ 0 & {t\neq 1} \end{matrix}\right.$$ $$y_1=a_1=1$$ $$y_2=\phi_1 y_1 + a_2 =\phi_1$$ $$y_3=\phi_1 y_2 + \phi_2 y_1 + a_3=\phi_1^2 + \phi_2$$ $$y_4=\phi_1 y_3 + \phi_2 y_2 + \phi_3 y_1 $$ $$\cdots$$ $$y_{p+1}=\phi_1 y_p + \phi_2 y_{p-1} + \phi_3 y_{p-2} + \cdots + \phi_p y_1$$ $$y_{p+2}=\phi_1 y_{p+1} + \phi_2 y_{p} + \phi_3 y_{p-1} + \cdots + \phi_p y_2$$ $$\cdots$$ $$y_{p+k} = \phi_1 y_{p+k-1} + \phi_2 y_{p+k-2} + \cdots + \phi_p y_k$$

El procedimiento anterior es relativamente simple (computacionalmente) para realizar, y puede llevarse a cabo para cualquier orden arbitrario (es decir, k).

Hemos derivado los valores para los coeficientes de MA de la siguiente manera: $$y_t=[(c_1+c_2+\cdots+c_p) + (c_1\lambda_1+c_2\lambda_2+\cdots+c_p\lambda_p)L+ (c_1\lambda_1^2+c_2\lambda_2^2+\cdots+c_p\lambda_p^2)L^2+\cdots)a_t$$

En principio, los valores IRF deben coincidir con los valores de los coeficientes MA. Entonces podemos concluir:

1. La suma de denominadores (es decir. $c_i$) de las fracciones parciales iguales a uno (i.e. $\sum_{i=1}^p c_i = 1$).
2. La suma ponderada de las raíces características iguales a $\phi_1$ (i.e. $\sum_{i=1}^p c_i \lambda_i = \phi_1$).
3. La suma ponderada de las raíces cuadradas características iguales a $\phi_1^2+\phi_2$ (i.e. $\sum_{i=1}^p c_i \lambda_i^2 = \phi_1^2+\phi_2$ ).

Pronóstico

Dada una muestra de datos de entrada$\{x_1,x_2,\cdots , x_T\}$, Podemos calcular los valores del proceso de media móvil para valores futuros (de una muestra) de la siguiente manera:

$$y_T = \phi_1 y_{T-1} + \phi_2 y_{T-2} + \cdots + \phi_p y_{T-P} + a_T$$ $$E[y_{T+1}] = \phi_1 y_T + \phi_2 y_{T-1} + \cdots + \phi_p y_{T+1-p}$$ $$E[y_{T+2}] = \phi_1 E[y_{T+1}] + \phi_2 y_{T} + \cdots + \phi_p y_{T+2-p}$$ $$E[y_{T+2}] = (\phi_1^2 + \phi_2) y_T + (\phi_1\phi_2+\phi_3)y_{T-1}+\cdots +(\phi_1\phi_{p-1}+\phi_p)y_{T+2-p}$$

Podemos llevar este cálculo a cualquier número de pasos que deseamos.

A continuación, para el error de pronóstico: