Una historia sobre el correlograma

En el análisis de datos, por lo general comenzamos con las propiedades estadísticas descriptivas de los datos de la muestra (por ejemplo, media, desviación estándar, sesgo, curtosis, distribución empírica, etc.) Estos cálculos son ciertamente útiles, pero no tienen en cuenta el orden de las observaciones en los datos de la muestra.

 

El análisis de series de tiempo exige que prestemos atención al orden y, por lo tanto, requiere un tipo diferente de estadística descriptiva: estadísticas descriptivas de series de tiempo o, simplemente, análisis de correlograma. El análisis del correlograma examina la dependencia tiempo-espacial dentro de los datos de la muestra, y se centra en la autocovaridad empírica, la autocorrelación y las pruebas estadísticas relacionadas. Por último, el correlograma es una piedra angular para identificar el modelo y orden (es) del modelo.

 

¿Qué nos dice un diagrama para la correlación automática (ACF) y / o autocorrelación parcial (PACF) sobre la dinámica subyacente del proceso?

 

Este tutorial es un poco más teórico que los tutoriales anteriores en la misma serie, pero haremos todo lo posible para esclarecer cualquier duda.

 

Antecedentes

Primero comenzaremos con una definición de la función de autocorrelación, la simplificaremos e investigaremos la función de autocorrelación teórica para un tipo de proceso ARMA.

 

Función de Autocorrelación (ACF)

Por definición, la autocorrelación para el retraso k se expresa de la siguiente manera:

$$ACF(k)=\rho _k=\frac{\gamma _k}{\gamma_0}$$ $$\gamma _k=E\left [ (x_t-\mu)(x_{t-k}-\mu_{t-k}) \right ]=E\left [ x_{t-k}x_t \right ]-\mu ^2$$ $$\gamma _0=E\left [ (x_t-\mu )^2 \right ]=E\left [ x_t^2 \right ]-\mu ^2$$

Donde

  • $\rho _k=$ Función de autocorrelación para el retraso k
  • $\gamma _k=$ auto-covarianza para el retraso k
  • $\gamma _0=\sigma ^2=$ varianza de las series de tiempo(incondicional)
  • $\mu_{t-k}=\mu_t=\mu=$ media incondicional de series de tiempo estacionaria

Además, supongamos que ${x_t}$ se genera a partir de un proceso débil-estacionario con una media cero (i.e.$\mu=0$).

$$\rho _k=\rho_{-k}=\frac{E\left [ x_tx_{t-k} \right ]}{E\left [ x_t^2 \right ]}=\frac{E\left [ x_tx_{t-k} \right ]}{\sigma ^2}$$

Para datos de muestra finita, la autocorrelación empírica se expresa de la siguiente manera:

$$\hat{\rho }_k=\frac{\sum_{t=k}^{N}(x_t-\bar{x})(x_{t-k}-\bar{x})}{\sum_{t=k}^{N}(x_t-\bar{x})^2}=\frac{\sum_{t=k}^{N}(x_{t-k}x_t)-(N-k)\bar{x}^2}{\sum_{t=k}^{N}x_t^2-(N-k)\bar{x}^2}$$

y

$$\hat{\rho }_k\sim N(0,\sigma _{\rho k}^2)$$ $$\sigma _{\rho k}=\frac{1+\sum_{\l =1}^{k-1}\bar{\rho _{\l}}^2}{N}$$

Donde

  • $N=$ Número de observaciones no faltantes en la serie de tiempo
  • $x^*=$ La muestra de la serie de tiempo promedio

NOTA: Utilizando la estimación de autocorrelación de la muestra$(\hat{\rho }_k )$ un error $(\sigma _{\rho k}^2 )$, Podemos realizar fácilmente una prueba de una muestra de la media para examinar su significación estadística, pero ¿qué pasa con una prueba conjunta para un conjunto de factores de autocorrelación? Para ello, utilizamos la prueba de Ljung-Box (prueba de ruido blanco).

$$H_0=\rho _1=\rho_2=\rho_3=...=\rho_m=0$$ $$H_1=\exists \rho _{1\leq k\leq m}\neq 0$$

La prueba de Ljung-Box se discute con mayor detalle como parte de nuestro "tutorial de ruido blanco". Consulte este documento para obtener más detalles.

 

Example 1 - MA(q) model

Empecemos con un simple modelo de movimiento promedio bajo el orden q.

$$x_t-\mu =a_t+\theta _1a_{t-1}+\theta _1a_{t-2}+...+\theta_qa_{t-q}$$ $$x_t-\mu =(1+\theta_1L+\theta_2L^2+...+\theta_qL^q)a_t$$

Donde

  • $a_t\sim i.i.d\sim N(0,\sigma^2)$
  • $E\left [ a_t\times a_{t-j} \right ]=\left\{\begin{matrix}0 & j\neq 0\\ \sigma^2 & j=0 \end{matrix}\right.$

Ahora, vamos a calcular el ACF para diferentes retrasos.

  • $\gamma _0=E\left [ x_tx_t \right ]=E\left [ a_t^2 +\theta_1^2a_{t-1}^2+\theta_2^2a_{t-2}^2+\theta_3^2a_{t-3}^2 +...+\theta_q^2a_{t-q}^2\right ]=\sigma^2\left ( 1+\sum_{j=1}^{q}\theta_j^2 \right )$
  • $\gamma _1=E\left [ x_{t-1}x_t \right ]=E\left [ \theta_1a_{t-1}^2 +\theta_1\theta_2a_{t-2}^2+\theta_2\theta_3a_{t-3}^2+...+\theta_{q-1}\theta_qa_{t-q-1}^2\right ]=\sigma^2\left ( \theta_1+\sum_{j=1}^{q-1}\theta_j\theta_{j+1} \right )$
  • $\gamma _2=E\left [ x_{t-2}x_t \right ]=E\left [ \theta_1a_{t-2}^2 +\theta_1\theta_3a_{t-3}^2+\theta_2\theta_4a_{t-4}^2+...+\theta_{q-2}\theta_qa_{t-q-2}^2\right ]=\sigma^2\left ( \theta_2+\sum_{j=1}^{q-2}\theta_j\theta_{j+2} \right )$
  • $\gamma _{k< q}=E\left [ x_{t-k}x_t \right ]=E\left [ \theta_ka_{t-k}^2 +\theta_1\theta_{k-1}a_{t-k-1}^2+\theta_2\theta_{k+2}a_{t-k-2}^2+...+\theta_{q-k}\theta_qa_{t-q-k}^2\right ]=\sigma^2\left ( \theta_3+\sum_{j=1}^{q-k}\theta_j\theta_{j+k} \right )$
  • $\gamma _{k< q}=E\left [ x_{t-k}x_t \right ]=0$
$$\rho_k=\left\{\begin{matrix} \frac{\theta_3+\sum_{j=1}^{q-k}\theta_j\theta_{j+k}}{1+\sum_{j=1}^{q}\theta_j^2} & k\leq q\\ 0&k\succ q \end{matrix}\right.$$

la gráfica de ACF para un proceso MA (q) no es cero para el primer retraso q.

Gráfica de la función de autocorrelación para un proceso MA (1) simulado

Gráfica de la función de autocorrelación para un proceso MA (1) simulado

INTUICIÓN

  1. El MA tiene una memoria finita de tamaño q
  2. La gráfica ACF muestra el requisito de tamaño de memoria del modelo
  3. Un modelo ARMAl con memoria finita puede ser descrito en su totalidad un tipo de modelo MA. Los valores de los coeficientes del modelo MA son los valores de la función de autocorrelación.

 

Ejemplo 2 - Modelo AR(1)

A continuación, veamos un modelo auto-regresivo (AR) sencillo de orden 1.

$$x_t=\phi _0+\phi_1x_{t-1}+a_t$$ $$(1-\phi_1L)x_t=\phi_0+a_t$$ $$(1-\phi_1L)(x_t-\mu )=a_t$$

Donde

    • $\mu=\frac{\phi_0}{1-\phi_1}$= Proceso de largo plazo (no condicional) promedio
    • $a_t\sim i.i.d\sim N(0,\sigma^2)$

Vamos a calcular la función de autocorrelación de un proceso AR (1)

      $$(x_t-\mu)=y_t=\frac{a_t}{(1-\phi L)}$$

Asumiendo $\left \| \phi_1 \right \|< 1$, entonces AR(1) Puede ser representado como un modelo de MA infinito como a continuación:

      $$(x_t-\mu)=y_t=\frac{a_t}{(1-\phi_1 L)}=(1+\sum_{k=1}^{\infty }\phi_1^kL^k)a_t$$ $$\gamma _0=E\left [ x_t^2 \right ]=\left ( 1 +\sum_{k=1}^{\infty }\phi_1^{2k} \right )\sigma_a^2=\frac{\sigma_a^2}{1-\phi_1^2}$$ $$\rho_k=\frac{\phi_1^k\left ( 1+\sum_{j=1}^{\infty }\phi_1^{2j} \right )}{1+\sum_{j=1}^{\infty }\phi_1^{2j}} =\phi_1^k$$

La gráfica ACF para un tipo de proceso AR es infinita, pero la $\rho_k$ disminuye exponencialmente.

Gráfica ACF para un proceso de AR (1) simulado

 

Ejemplo - Modelo AR(p)

Ahora, vamos a ser un poco más ambiciosos y buscar un modelo de AR con orden p.

      $$x_t=\phi_0+\phi_1x_{t-1}+\phi_2x_{t-2}+...+\phi_px_{t-p}+a_t$$ $$(1-\phi_1L-\phi_2L^2-...-\phi_pL^p)x_t=\phi_0+a_t$$ $$(1-\phi_1L-\phi_2L^2-...-\phi_pL^p)(x_t-\mu)=a_t$$ $$(1-r_1L)(1-r_2L)...(1-r_pL)(x_t-\mu)=a_t$$

Donde

      • $\mu=\frac{\phi_0}{1-\phi_1-\phi_2-...-\phi_p}=$ proceso de la media incondicional a largo plazo
      • $r_1,r_1,...,r_p=$ Raíces características del modelo AR (p)

Vamos a calcular la función de autocorrelación de un proceso AR (p). Utilizando la descomposición de fracciones parciales, rompemos un proceso AR (p) en un conjunto de proceso p AR (1).

      $$(x_t-\mu )=y_t=\frac{a_t}{(1-r_1L)(1-r_2L)...(1-r_pL)}=(\frac{\alpha_1}{(1-r_1L)}+\frac{\alpha_2}{(1-r_2L)}+...+\frac{\alpha_p}{(1-r_pL)})a_t$$

Asumamos que todas las raíces características caen fuera del círculo unitario, y por lo tanto la $\left \| r_k \right \|\prec 1$

      $$(x_t-\mu)=y_t=\left ( 1+\alpha_1\sum_{k=1}^{\infty }r_1^kL^k+\alpha_2\sum_{k=1}^{\infty }r_2^kL^k+...+\alpha_p\sum_{k=1}^{\infty }r_p^kL^k\right )a_t$$ $$(x_t-\mu)=y_t=\left ( 1+\sum_{k=1}^{\infty }\psi ^kL^k\right )a_t$$ $$\psi ^k=\sum_{j=1}^{p}\alpha_jr_j^k$$ $$\gamma_0=\left ( 1+\sum_{j=1}^{p}\psi _j^2 \right )\sigma_a^2$$ $$\rho_k=\frac{\gamma _k}{\gamma_0}=\frac{\psi _k+\sum_{j=1}^{\infty }\psi_j\psi_{j+k}]}{1+\sum_{j=1}^{\infty}\psi_j^2}$$

Este diagrama ACF también es infinito, pero la forma real puede seguir diferentes patrones.

Gráfica ACF para el proceso AR(2) simulado

INTUICIÓN DOS:

      1. Un proceso AR puede ser representado por un proceso de MA infinito
      2. El AR tiene memoria infinita, pero el efecto disminuye con el tiempo
      3. Las funciones de suavizado exponencial son casos especiales de un proceso AR y, también, poseen memoria infinita

 

Ejemplo 4 - Modelo ARMA (p,q)

Por ahora, vemos lo que parece el diagrama ACF de un proceso MA y AR puro, pero ¿qué pasa con una mezcla de los dos modelos?

Pregunta: ¿Por qué tenemos que considerar un modelo de mezcla como ARMA, ya que podemos representar cualquier modelo como un modelo MA o AR? Respuesta: Estamos tratando de reducir el requisito de memoria y la complejidad del proceso superponiendo los dos modelos.

      $$x_t=\phi_0+\phi_1x_{t-1}+\phi_2x_{t-2}+...+\phi_px_{t-p}+a_t+\theta_1a_{t-1}+\theta_2a_{t-2}+...+\theta_qa_{t-q}$$ $$(1-\phi_1L-\phi_2L^2-...-\phi_pL^p)x_t=\phi_0+(1+\theta_1L+\theta_2L^2+...+\theta_qL^q)a_t$$ $$(1-\phi_1L-\phi_2L^2-...-\phi_pL^p)(x_t-\mu)=(1+\theta_1L+\theta_2L^2+...+\theta_qL^q)a_t$$ $$(1-r_1L)(1-r_2L)...(1-r_pL)(x_t-\mu)=(1+\theta_1L+\theta_2L^2+...+\theta_qL^q)a_t$$ $$(x_t-\mu)=y_t=\frac{(1+\theta_1L+\theta_2L^2+...+\theta_qL^q)}{(1-r_1L)(1-r_2L)...(1-r_pL)}a_t$$ $$y_t=\left ( \frac{\alpha_1}{(1-r_1L)}+\frac{\alpha_2}{(1-r_2L)}+...+\frac{\alpha_p}{(1-r_pL)} \right )\times(1+\theta_1L+\theta_2L^2+...+\theta_qL^q)a_t$$ $$y_t=(1+\psi_1L+\psi_2L^2+\psi_3L^3+...)\times(1+\theta_1L+\theta_2L^2+...+\theta_qL^q)a_t$$ $$y_t=(1+\omega _1L+\omega_2L^2+...+\omega_qL^q+...)a_t$$

Donde

      • $\mu=\frac{\phi_0}{1-\phi_1}=$ proceso condicional de la media a largo plazo (Desde el componente AR)
      • $r_1,r_1,...,r_p=$ Inversa de las raíces características del modelo AR (p)
      • $\psi ^k=\sum_{j=1}^{p}\alpha_jr_j^k$
      • $\omega_1=\theta_1+\psi_1$
      • $\omega_2=\theta_2+\theta_1\times\psi_1+\psi_2$
      • $\omega_3=\theta_3+\theta_2\times\psi_1+\theta_1\times\psi_2+\psi_3$
      • $\omega_q=\theta_q+\sum_{j=1}^{q-1}\theta_{q-j}\times\psi_j+\psi_q$
      • $\omega_{q+k}=\sum_{j=0}^{q-1}\theta_{q-j}\times\psi_{j+k}+\psi_{q+k}$
      • $\gamma _o=\left ( 1+\sum_{j=1}^{\infty}\omega_j^2 \right )\sigma_a^2$

Utilizando la fórmula de autocorrelación MA (q), nosotros podemos calcular las funciones de autocorrelación ARMA (p, q) para su representación MA.

¡Esto es intenso! Algunos de ustedes podrían estar preguntándose por qué no hemos usado VAR o una representación de espacio de estado para simplificar las anotaciones. Enfaticé en permanecer en el dominio del tiempo evitando cualquier idea nueva o trucos de matemáticas, ya que éstos no nos servirán en este caso: Implicar el orden exacto AR/MA utilizando los valores de ACF por sí mismos, lo cual es cualquier cosa menos preciso.

      1. Intuición: Los valores ACF pueden considerarse como los valores de los coeficientes del modelo MA equivalente.
      2. Intuición: La varianza condicional no tiene barrera (efecto) en los cálculos de correlación.
      3. Intuición: La media a largo plazo $ \mu $ Tampoco tiene ninguna barrera (efecto) sobre las auto-correlaciones.

Gráfica ACF para ARMA simulado (1,1) Proceso

 

Función de autocorrelación parcial (PACF)

Por ahora, hemos visto que la identificación del orden del modelo (MA o AR) no es trivial para los casos no simples, por lo que necesitamos otra herramienta - función de autocorrelación parcial (PACF).

La función de autocorrelación parcial (PACF) juega un papel importante en el análisis de datos con el fin de identificar la magnitud del desfase en un modelo autorregresivo. El uso de esta función se introdujo como parte de la aproximación Box-Jenkins a la modelización de series de tiempo, con lo cual se podrían determinar los retrasos apropiados p en un modelo AR (p) o en un modelo ARIMA (p, d, q) graficando las funciones de correlación automática parcial.

Simplemente, el PACF para el lag o retraso k es el coeficiente de regresión para el k-ésimo término, como se muestra a continuación:

      $$x_t=b_{1,1}x_{t-1}+\varepsilon_{1,t}$$ $$x_t=b_{1,2}x_{t-1}+b_{2,2}x_{t-2}+\varepsilon_{2,t}$$ $$x_t=b_{1,3}x_{t-1}+b_{2,3}x_{t-2}+b_{3,3}x_{t-3}+\varepsilon_{2,t}$$ $$...$$ $$x_t=b_{1,k}x_{t-1}+b_{2,k}x_{t-2}+...+b_{k,k}x_{t-k}+\varepsilon_{k,t}$$

El PACF supone que el modelo subyacente es un AR (k) y utiliza regresiones múltiples para calcular el último coeficiente de regresión.

Tenga en cuenta that $PACF(k)=b_{k,k}$, and that $PACF^{b_{k,k}\neq b_{k,k+1}\neq b_{k,k+2}\neq b_{k,k+2}\neq b_{k,k+2}...}$

Rápida intuición:Los valores de PACF se pueden pensar (aproximadamente) como los valores de los coeficientes del modelo equivalente de AR.

¿Cómo nos ayuda el PACF? Suponiendo que tenemos un proceso AR (p), entonces el PACF tendrá valores significativos para los primeros retrasos p, y bajará a cero después.

¿Qué pasa con el proceso de MA?El proceso MA tiene valores PACF no cero para un número (teóricamente) infinito de retrasos.

 

Ejemplo 4: MA (1)

      $$x_t-\mu=y_t=(1+\theta L)a_t$$ $$\frac{y_t}{(1+\theta L)}=a_t$$

Asumiendo$\left \| \theta \right \| \prec 1$ (invertible), El proceso MA puede representarse como AR infinito:

      $$(1-\theta L+\theta^2 L^2-...)y_t=a_t$$ $$y_t=a_t+\theta y_{t-1}-\theta^2 y_{t-2}+\theta^3 y_{t-3}+...+(-1)^{n+1}\theta^n y_{t-n}+...$$

Se espera que el PACF de una MA tenga valores significativos para un gran número de retrasos.

Qué hay acerca de MA(q)? la misma conclusión sigue a través de aquí, de modo que el MA (q) se puede invertir a una secuencia de AR infinita.

Gráfica PACF para un proceso de MA (1) simulado

 

Conclusión

En este tutorial, discutimos las funciones de autocorrelación automática y parcial y su papel en la identificación del orden del proceso ARMA subyacente: ACF para el orden MA y el PACF para el orden AR.

Además, nosotros demostramos cómo más de un modelo se puede utilizar para generar las mismas gráficas ACF (y PACF),(es decir, correlograma).

Con la excepción de casos triviales, el proceso de identificar el orden correcto del modelo nunca es claro. El proceso exige que consideremos varios modelos candidatos, ajustemos sus parámetros, validemos los supuestos, comparemos su ajuste y finalmente escojamos el mejor.

¿Tiene más preguntas? Enviar una solicitud

0 Comentarios