1. AR模型

\qquad \mathbf{定义：}\quad对于时间序列X_1,X_2,\cdots,X_n,\cdots,一个值得研究的问题是X_t与时刻t之前的数据是否有关.若存在关系，自然的想法是建立X_t与之前数据之间的模型，以此来预测将来时刻的取值.

AR(p)模型的一般形式：

AR(p)：X_t=a_0+a_1X_{t-1}+a_2X_{t-2}+\cdots+a_pX_{t-p}+\varepsilon_t\\ 写成算子形式：

(1-a_1B-a_2B^2-\cdots-a_pB^p)X_t=a_0+\varepsilon_t,\\ 即,

\Phi(B)X_t=a_0+\varepsilon_t,\\ 其中\Phi(B)=1-a_1B-a_2B^2-\cdots-a_pB^p.

2. AR模型的平稳性判定

2.1 特征根方法

\qquad考虑零均值的AP(p)模型，

X_t = a_1X_{t-1}+a_2X_{t-2}+\cdots+a_pX_{t-p}+\varepsilon_t\\ 其自回归系数多项式为

\Phi(z)=1-a_1z-a_2z^2-\cdots-a_pz^p,\\ 对应的齐次差分方程的特征方程为

\lambda^p-a_1\lambda^{p-1}-\cdots-\lambda a_{p-1}-a_p=0.\\\qquad\mathbf{命题}\quad AR(p)模型的自回归系数多项式方程\Phi(z)=0的根是对应的齐次差分方程的特征方程的特征根的倒数，即

\qquad若\lambda为上述特征方程的特征根，则z=1/\lambda为\Phi(z)=0的根.

\qquad\mathbf{定理}\quad AR(p)模型平稳的充分必要条件是其自回归系数多项式的零点都在单位圆外，或者说单位圆内\Phi(z)没有零点，即

\Phi(z)\ne0,\left| z \right|<1.\\

2.2 平稳域判别法

\qquad \mathbf{对于低阶的}AR\mathbf{模型，可以采用平稳域的办法判定平稳性.}

• \mathbf对AR(1)\mathbf{模型}：X_t=a_1X_{t-1}+\varepsilon_t,

\qquad 其自回归系数多项式为

\Phi(z)=1-a_1z,\\ z_1=a_1^{-1}是a(z)=0的根.

\qquad模型对应的特征方程为

\lambda-a_1=0,\\ 特征根为\lambda=a_1.

\qquad AR(1)模型平稳的充分必要条件是：\left| a_1 \right|<1.

• \mathbf对AR(2)\mathbf{模型}：X_t=a_1X_{t-1}+a_2X_{t-2}+\varepsilon_t,

\qquad 其自回归系数多项式为

\Phi(z)=1-a_1z-a_2z^2,\\ \qquad对应的特征方程为

\lambda^2-a_1\lambda-a_2=0,\\ 特征根为\lambda=\lambda_1,\lambda_2.

\qquad 则AR(2)模型平稳的充分必要条件是：\left| \lambda_1 \right|<1,\left| \lambda_2 \right|<1.

\qquad根据一元二次方程的性质和AR(2)模型的平稳性条件，有

\left\{ \begin{aligned} &\lambda_1+\lambda_2=a_1, \\ &\lambda_1\lambda_2=-a_2 \\ \end{aligned} \right.\\ \qquad由此可以导出

\qquad1).-2

\qquad由此得出AR(2)模型的平稳域,如下图所示

\{(a_1,a_2):\left| a_2 \right|<1,且a_2\pm a_1<1\}.\\

3. 平稳AR模型的Green函数

3.1 Green函数及AR(p)模型的逆转形式

\qquad设零均值的AR(p)模型平稳，设\lambda_1,\lambda_2,\cdots,\lambda_p为相应特征方程的特征根，则

\left| \lambda_i \right|<1,i=1,2,\cdots,p.\\ 从而平稳AR(p)模型可以写成如下形式

\begin{aligned} X_t&=\Phi(B)^{-1}\varepsilon_t\\ &=\sum_{i=1}^p\frac{k_i}{1-\lambda_iB}\varepsilon_t=\sum_{i=1}^p\sum_{j=0}^\infty k_i(\lambda_iB)^j\varepsilon_t\\ &=\sum_{j=0}^\infty(\sum_{i=1}^pk_i\lambda_i^j)\varepsilon_{t-j}\\ &=\sum_{j=0}^\infty g_j\varepsilon_{t-j} \end{aligned}\\ 式中，系数

g_0=1,g_j=\sum_{i=1}^pk_i\lambda_i^j,j=1,2,\cdots.\\ 成为Green函数

\qquad由此，平稳AR(p)模型可由Green函数表示为

X_t=\sum_{j=0}^\infty g_j\varepsilon_{t-j}\\ 上式也被成为AR(p)模型的逆转形式.

\qquad \mathbf{注：}由AR(p)模型的逆转形式可以说明，平稳AR(p)序列t时刻的值可表示为t时刻之前的噪声序列的叠加

\qquad\mathbf{例}\quad 求AR(2)模型：X_t=a_1X_{t-1}+a_2X_{t-2}+\varepsilon_t的Green函数

\qquad\mathbf{解}\quad 则逆转形式

X_t=\sum_{j=0}^\infty g_j\varepsilon_{t-j}\\g_0=1,\quad g_1=k_1\lambda_1+k_2\lambda_2,\quad g_2=k_1\lambda_1^2+k_2\lambda_2^2, \cdots \quad g_j=k_1\lambda_1^j+k_2\lambda_2^j\cdots\\ \qquad \mathbf{注：}对低阶的AR(p)模型，可以通过设法求得k_i来计算Green函数g_j.

3.2 Green函数的递推公式

\qquad记G(B)=\Phi^{-1}(B)=\sum_{j=0}^\infty g_iB^j,于是

\Phi(B)G(B)\varepsilon_t=\varepsilon_t,\\ \qquad而\Phi(B)=1-\sum_{i=1}^pa_iB^i,则

(1-\sum_{i=1}^pa_iB^i)(\sum_{j=0}^\infty g_jB^j)\varepsilon_t=\varepsilon_t.\\ \qquad设

\bar{a_i}=\left\{ \begin{aligned} &a_i,\quad i\leq p. \\ &0,\quad i> p. \\ \end{aligned} \right.\\ \qquad则

(1-\sum_{i=1}^pa_iB^i)(\sum_{j=0}^\infty g_jB^j)\varepsilon_t=\varepsilon_t.\Leftrightarrow(1-\sum_{i=1}^\infty \bar{a_i}B^i)(\sum_{j=0}^\infty g_jB^j)\varepsilon_t=\varepsilon_t.\\ \qquad即

\begin{aligned} (1+\sum_{j=1}^\infty g_jB^j-\sum_{i=1}^\infty\sum_{j=0}^\infty\bar{a_i}g_jB^{i+j})\varepsilon_t&=\varepsilon_t.\\ \Rightarrow(1+\sum_{j=1}^\infty g_jB^j-\sum_{i=1}^\infty\sum_{j=i}^\infty\bar{a_i}g_{j-i}B^{j})\varepsilon_t&=\varepsilon_t.\\ \Rightarrow(1+\sum_{j=1}^\infty g_jB^j-\sum_{j=1}^\infty\sum_{i=1}^j\bar{a_i}g_{j-i}B^{j})\varepsilon_t&=\varepsilon_t. \end{aligned}\\ \qquad整理，得到

[1+\sum_{j=1}^\infty(g_j-\sum_{i=1}^j\bar{a}g_{j-i})B^j]\varepsilon_t=\varepsilon_t.\\ \qquad由此知,

g_j-\sum_{k=1}^j\bar{a_i}g_{j-i}=0,\quad j=1,2,\cdots\\ \qquad得Green函数的递推公式

\left\{ \begin{aligned} &g_0=1, \\ &g_j=\sum_{i=1}^j\bar{a_i}g_{j-i},j=1,2,\cdots. \\ \end{aligned} \right.\\ \qquad\mathbf{例}\quad以AR(2)模型为例

\left\{ \begin{aligned} &g_0=1, \\ &g_1=\bar{a}_1g_0=a_1, \\ &g_2=\bar{a}_1g_1+\bar{a}_2g_0=a_1g_1+a_2g_0,\\ &g_3=\bar{a}_1g_2+\bar{a}_2g_1+\bar{a}_3g_0=a_1g_2+a_2g_1,\\ &\cdots\cdots\\ &g_j=\bar{a}_1g_{j-1}+\bar{a}_2g_{j-2}+\sum_{i=3}^j\bar{a}_ig_{j-i}=a_1g_{j-1}+a_2g_{j-2},\quad j\geq3 \end{aligned} \right.\\

4. AR(p)模型的统计性质

4.1 均值

E(X_t)=a_0+\sum_{j=0}^pa_jEX_{t-j}+E\varepsilon_t.\\ 若该序列为平稳序列，则其均值为常数，即EX_t=\mu,\forall t\in\mathbb{Z}.由于E\varepsilon_t为白噪声序列，则E\varepsilon_t=0.可得

\mu=\frac{a_0}{1-a_1-a_2-\cdots-a_p}.\\ \qquad对于非零均值的平稳AR(p)序列，可通过Y_t=X_t-\mu，对\{X_t\}进行整体平移，得到零均值的平稳时间序列\{Y_t\}.

\qquad对于具体观测得到的平稳序列\{X_t,t=1,2,\cdots,N\},总体均值可用样本均值

\bar{X}_N=\frac{1}{N}\sum_{t=1}^NX_t\\ 估计.然后利用y_t=X_t-\bar{x}_N得到中心化的平稳AR(p)序列.

4.2 方差

\qquad平稳AR(p)可等价地由Green函数表示，两边求方差，得到

\begin{aligned} Var(X_t)&=\sum_{i=1}^\infty g_i^2Var(\varepsilon_t)\\ &=\sum_{i=1}^\infty g_i^2\sigma^2. \end{aligned}\\ 其中\sigma^2为\varepsilon的方差.

\qquad由于g_i随着i呈指数衰减，故\sum_{i=1}^\infty g_i^2<\infty,即AR(p)模型的方差为常数\sum_{i=1}^\infty g_i^2\sigma^2.

4.3 自协方差函数

\qquad对零均值的AR(p)模型：X_t=a_1X_{t-1}+a_2X_{t-2}+\cdots+a_pX_{t-p}+\varepsilon_t,两边同乘以X_{t-k},得自协方差函数

\begin{aligned} \gamma_k&=a_1E(X_{t-1}X_{t-k})+a_2E(X_{t-2}X_{t-k})+\cdots+a_pE(X_{t-p}X_{t-k}) +E(\varepsilon_tX_{t-k}).\\ \gamma_0&=a_1E(X_{t-1}X_{t})+a_2E(X_{t-2}X_{t})+\cdots+a_pE(X_{t-p}X_{t}) +E(\varepsilon_tX_t).\\ \end{aligned}\\ \qquad由于当前t时刻的随机干扰与之前的序列X_{t-k}(k\geq1)之间不相关，则

E(\varepsilon_tX_{t-k})=0,\quad E(\varepsilon_tX_{t})=\sigma^2.\\ 于是得到自相关函数的递推公式

\begin{aligned} \gamma_k&=a_1\gamma_{k-1}+a_2\gamma_{k-2}+\cdots+a_p\gamma_{k-p},\quad k\geq1.\\ \gamma_0&=a_1\gamma_{1}+a_2\gamma_{2}+\cdots+a_p\gamma_{p}+\sigma^2.\\ \end{aligned}\\ \qquad当n\geq p时，有

\left\{ \begin{aligned} &\gamma_1=a_1\gamma_0+a_2\gamma_1+\cdots+a_n\gamma_{n-1}, \\ &\gamma_2=a_1\gamma_1+a_2\gamma_0+\cdots+a_n\gamma_{n-2},\\ &\cdots\cdots\\ &\gamma_n=a_1\gamma_{n-1}+a_2\gamma_{n-2}+\cdots+a_n\gamma_{0} \end{aligned} \right.\\ 记\vec{\gamma}_n=(\gamma_1,\gamma_2,\cdots,\gamma_n)^T,\vec{a}_n=(a_1,a_2,\cdots,a_p,0,\cdots,0)^T

\Gamma_n\triangleq\left[ \begin{aligned} \gamma_0\quad\gamma_1\quad\cdots\quad\gamma_{n-1}\\ \gamma_1\quad\gamma_0\quad\cdots\quad\gamma_{n-2}\\ \cdots\quad\cdots\quad\cdots\quad\cdots\\ \gamma_{n-1}\quad\gamma_{n-2}\quad\cdots\quad\gamma_{0}\\ \end{aligned} \right]\\ 为\mathbf{自协方差矩阵},则方程组可以表示为

\vec{\gamma}_n=\Gamma_n\vec{a}_n,\quad n\geq p.\\ \qquad另外，可知

\gamma_0=a_1\gamma_1+a_2\gamma_2+\cdots+a_p\gamma_p+\sigma^2=\vec{a}_n^T\vec{\gamma}_n+\sigma^2.\\ 综合上式，我们就可以得到著名的Yule-Walker方程

\qquad \mathbf{定理}\quad平稳AR(p)序列的自协方差满足如下方程

\vec{\gamma}_n=\Gamma_n\vec{a}_n,\gamma_0=\vec{a}_n^T\vec{\gamma}_n+\sigma^2,\quad n\geq p.\\

4.4 自相关系数

\qquad对非零均值的AR(p)模型，其自相关系数定义为

\rho_k=\frac{E(X_t-\mu)(X_{t+k}-\mu)}{E(X_t-\mu)^2}\\ \qquad对零均值的AR(p)模型，其自相关系数定义为

\rho_k=\frac{E(X_tX_{t+k})}{EX_t^2}\\ \qquad由自协方差函数定义，自相关系数可表示为

\rho_k=\frac{\gamma_k}{\gamma_0}.\\\begin{aligned} \rho_k&=a_1\rho_{k-1}+a_2\rho_{k-2}+\cdots+a_p\rho_{k-p},k\geq1.\\ \rho_0&=1. \end{aligned}\\ \mathbf{自相关系数的性质}

\qquad1).对称性.\\ \qquad2).正定性.\\ \qquad3).拖尾性：X_t之前的每一个序列值X_{t-1},X_{t-1},\cdots都会对X_t产生影响.\\ \qquad4).短期相关性：间隔越远的序列值对当前值的影响越小.

4.5 偏相关系数

\qquad \mathbf{定义}\quad对于平稳序列AR(p)序列\{X_t\},滞后k阶的偏向关系是指在给定中间k-1个随机变量X_{t-1},X_{t-2},\cdots,X_{t-k+1}的条件下,X_{t-k}与X_t之间的相关系数，即

\rho_{X_tX_{t-k}|X_{t-1},X_{t-2},\cdots,X_{t-k+1}}=\frac{E(X_t-\tilde{\mu}_t)(X_{t-k}-\tilde{\mu}_{t-k})}{E(X_{t-k}-\tilde{\mu}_{t-k})^2}.\\ 其中\tilde{\mu}_t=E(X_t|X_{t-1},X_{t-2},\cdots,X_{t-k+1}),\tilde{\mu}_{t-k}=E(X_{t-k}|X_{t-1},X_{t-2},\cdots,X_{t-k+1}).

\qquad AR模型的偏相关系数具有截尾性.