AR MA ARMA 总结 2

一、AP模型

AR(p)模型的均值、方差、自相关函数（ACF）和偏自相关函数（PACF）推导如下：

1. 均值（Mean）

AR(p)模型形式为：

\[X_t = c + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \dots + \phi_p X_{t-p} + \varepsilon_t \]

其中 \(\varepsilon_t\) 是白噪声，满足 \(E[\varepsilon_t] = 0\)，$ \text{Var}(\varepsilon_t) = \sigma^2 $。
推导：
假设平稳性，均值为常数 \(E[X_t] = \mu\)，则：

\[\mu = c + \phi_1 \mu + \phi_2 \mu + \dots + \phi_p \mu \]

解得：

\[\mu = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p} \]

均值：

\[\boxed{E[X_t] = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}} \]

2. 方差（Variance）

推导：
对于平稳AR(p)模型，方差 \(\gamma_0 = \text{Var}(X_t)\) 满足：

\[\gamma_0 = \phi_1 \gamma_1 + \phi_2 \gamma_2 + \dots + \phi_p \gamma_p + \sigma^2 \]

其中 \(\gamma_k\) 是滞后 \(k\) 的自协方差。通过Yule-Walker方程求解 \(\gamma_0\)。
方差：

\[\boxed{\text{Var}(X_t) = \gamma_0} \]

需通过Yule-Walker方程求解。

3. 自相关函数（ACF）

自协方差函数 \(\gamma_k\) 满足：

\[\gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \dots + \phi_p \gamma_{k-p}, \quad k > 0 \]

自相关系数 \(\rho_k = \frac{\gamma_k}{\gamma_0}\) 满足：

\[\rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \dots + \phi_p \rho_{k-p}, \quad k > 0 \]

ACF特性： \(\boxed{\text{ACF拖尾}}\)
指数或震荡衰减，无限延续。

4. 偏自相关函数（PACF）

PACF \(\phi_{kk}\) 表示剔除中间 \(k-1\) 个变量影响后，\(X_t\) 与 \(X_{t-k}\) 的相关系数。
对于AR(p)模型，PACF在滞后 \(p\) 后截尾。
推导：
PACF \(\phi_{kk}\) 可通过Yule-Walker方程或递归公式计算。对于AR(p)模型：

\[\phi_{kk} = 0, \quad k > p \]

PACF特性：

• \(\boxed{\text{PACF截尾}}\)，当 \(k > p\) 时 \(\phi_{kk} = 0\)。

---

总结

统计量	AR(p) 模型特性
均值	\(E[X_t] = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}\)
方差	\(\text{Var}(X_t) = \gamma_0\)，需通过Yule-Walker方程求解
ACF	拖尾：指数或震荡衰减（无限延续）
PACF	截尾：当 \(k > p\) 时 \(\phi_{kk} = 0\)
示例（AR(1))：

• 均值：\(\mu = \frac{c}{1 - \phi_1}\)
• 方差：\(\gamma_0 = \frac{\sigma^2}{1 - \phi_1^2}\)
• ACF：\(\rho_k = \phi_1^k\)（指数衰减）
• PACF：\(\phi_{11} = \phi_1\)，\(\phi_{kk} = 0\)（\(k > 1\)）

二、MA模型

MA(q)模型的均值、方差、自相关函数（ACF）和偏自相关函数（PACF）推导如下：

1. 均值（Mean）

MA(q)模型形式为：

\[X_t = \mu + \varepsilon_t + \theta_1 \varepsilon_{t-1} + \theta_2 \varepsilon_{t-2} + \dots + \theta_q \varepsilon_{t-q} \]

其中 \(\varepsilon_t\) 是白噪声，满足 \(E[\varepsilon_t] = 0\)，$ \text{Var}(\varepsilon_t) = \sigma^2 $。
推导：

\[E[X_t] = \mu + E[\varepsilon_t] + \theta_1 E[\varepsilon_{t-1}] + \dots + \theta_q E[\varepsilon_{t-q}] = \mu \]

均值：

\[\boxed{E[X_t] = \mu} \]

2. 方差（Variance）

推导：

\[\text{Var}(X_t) = \text{Var}\left( \varepsilon_t + \theta_1 \varepsilon_{t-1} + \dots + \theta_q \varepsilon_{t-q} \right) \]

由于 \(\varepsilon_t\) 独立，方差为各分量方差之和：

\[\text{Var}(X_t) = \sigma^2 \left( 1 + \theta_1^2 + \theta_2^2 + \dots + \theta_q^2 \right) \]

方差：

\[\boxed{\text{Var}(X_t) = \sigma^2 \left( 1 + \sum_{i=1}^q \theta_i^2 \right)} \]

---

3. 自相关函数（ACF）

自协方差函数为：

\[\gamma_k = \text{Cov}(X_t, X_{t-k}) = E\left[ (X_t - \mu)(X_{t-k} - \mu) \right] \]

对于 \(k > q\)，\(X_t\) 和 \(X_{t-k}\) 无重叠的 \(\varepsilon\) 项，故 \(\gamma_k = 0\)。
对于 \(1 \leq k \leq q\)，协方差由共同的白噪声项贡献：

\[\gamma_k = \sigma^2 \sum_{j=0}^{q-k} \theta_j \theta_{j+k} \quad \text{（其中 } \theta_0 = 1\text{）} \]

自相关系数：

\[\rho_k = \frac{\gamma_k}{\gamma_0} = \frac{\sum_{j=0}^{q-k} \theta_j \theta_{j+k}}{1 + \sum_{i=1}^q \theta_i^2} \]

ACF特性：

• 当 \(k > q\) 时，\(\boxed{\rho_k = 0}\)（截尾现象）。
• 当 \(k \leq q\) 时，\(\rho_k\) 由上述公式给出。

---

4. 偏自相关函数（PACF）

PACF \(\phi_{kk}\) 表示剔除中间 \(k-1\) 个变量影响后，\(X_t\) 与 \(X_{t-k}\) 的相关系数。
对于MA(q)模型，PACF不截尾，而是拖尾（指数或震荡衰减），可通过以下方式理解：

• MA(q)可逆时，可表示为AR(∞)，因此PACF无限延伸。
• 例（MA(1)）： PACF满足

\[\phi_{kk} = (-1)^k \frac{\theta^k (1 - \theta^2)}{1 - \theta^{2(k+1)}} \]

（绝对值指数衰减）。
PACF特性：

• \(\boxed{\text{PACF拖尾}}\)，无闭合表达式，需通过Yule-Walker方程递归计算。

---

5. 总结

统计量	MA(q) 模型特性
均值	\(E[X_t] = \mu\)
方差	\(\text{Var}(X_t) = \sigma^2 \left(1 + \sum_{i=1}^q \theta_i^2\right)\)
ACF	截尾：\(\rho_k = 0\)（当 \(k > q\)）
PACF	拖尾：指数或震荡衰减（无限延续）
示例（MA(1))：

• ACF: \(\rho_1 = \frac{\theta}{1 + \theta^2}\)，\(\rho_k = 0\)（\(k > 1\)）
• PACF: \(\phi_{kk} \propto (-\theta)^k\)（逐步衰减）

三、ARMA模型

ARMA(p, q)模型的均值、方差、自相关函数（ACF）和偏自相关函数（PACF）推导如下：

1. 均值（Mean）

ARMA(p, q)模型形式为：

\[X_t = c + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \dots + \phi_p X_{t-p} + \varepsilon_t + \theta_1 \varepsilon_{t-1} + \theta_2 \varepsilon_{t-2} + \dots + \theta_q \varepsilon_{t-q} \]

其中 \(\varepsilon_t\) 是白噪声，满足 \(E[\varepsilon_t] = 0\)，$ \text{Var}(\varepsilon_t) = \sigma^2 $。
推导：
假设平稳性，均值为常数 \(E[X_t] = \mu\)，则：

\[\mu = c + \phi_1 \mu + \phi_2 \mu + \dots + \phi_p \mu \]

解得：

\[\mu = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p} \]

均值： $ \boxed{E[X_t] = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}} $

2. 方差（Variance）

推导：
对于平稳ARMA(p, q)模型，方差 \(\gamma_0 = \text{Var}(X_t)\) 满足：

\[\gamma_0 = \sum_{i=1}^p \phi_i \gamma_i + \sigma^2 \left( 1 + \sum_{j=1}^q \theta_j^2 \right) \]

其中 \(\gamma_k\) 是滞后 \(k\) 的自协方差。通过Yule-Walker方程或递归公式求解 \(\gamma_0\)。
方差： \(\boxed{\text{Var}(X_t) = \gamma_0}\)，需通过递归或Yule-Walker方程求解。

3. 自相关函数（ACF）

自协方差函数 \(\gamma_k\) 满足：

\[\gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \dots + \phi_p \gamma_{k-p}, \quad k > q \]

自相关系数 \(\rho_k = \frac{\gamma_k}{\gamma_0}\) 满足：

\[\rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \dots + \phi_p \rho_{k-p}, \quad k > q \]

ACF特性：

• \(\boxed{\text{ACF拖尾}}\)，指数或震荡衰减，无限延续。

---

4. 偏自相关函数（PACF）

PACF \(\phi_{kk}\) 表示剔除中间 \(k-1\) 个变量影响后，\(X_t\) 与 \(X_{t-k}\) 的相关系数。
对于ARMA(p, q)模型，PACF在滞后 \(p\) 后拖尾。
推导：
PACF \(\phi_{kk}\) 通过Yule-Walker方程或递归公式计算。对于ARMA(p, q)模型：

\[\phi_{kk} \text{ 拖尾，无限延续} \]

PACF特性：

• \(\boxed{\text{PACF拖尾}}\)，无闭合表达式，需通过递归计算。

---

总结

统计量	ARMA(p, q) 模型特性
均值	\(E[X_t] = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}\)
方差	\(\text{Var}(X_t) = \gamma_0\)，需通过递归或Yule-Walker方程求解
ACF	拖尾：指数或震荡衰减（无限延续）
PACF	拖尾：无限延续，无闭合表达式

---

补充说明

1. ARMA(1,1) 示例：
   • 均值：\(\mu = \frac{c}{1 - \phi_1}\)
   • 方差：\(\gamma_0 = \frac{1 + \theta_1^2 + 2 \phi_1 \theta_1}{1 - \phi_1^2} \sigma^2\)
   • ACF：\(\rho_1 = \frac{(1 + \phi_1 \theta_1)(\phi_1 + \theta_1)}{1 + \theta_1^2 + 2 \phi_1 \theta_1}\)，\(\rho_k = \phi_1 \rho_{k-1}\)（\(k > 1\)）
   • PACF：拖尾，无限延续。
2. ARMA模型特性：
   • ACF 和 PACF 均拖尾，无法通过简单截尾判断阶数，需结合其他方法（如AIC、BIC）确定 \(p\) 和 \(q\)。