平稳过程与遍历性

遍历性问题

两类平均

统计平均（样本平均）是随机变量的数学期望 $\mu$，靠大量独立重复观测近似。时间平均 $\bar{X}_N=\frac1N\sum_{k=0}^{N-1}X_k$ 沿单条样本路径对前 $N$ 个时刻取平均。

天气、金融市场等现象一去不复返，只能沿时间观察到唯一一条样本路径，无法对同一时刻反复获取数据。核心问题：时间平均能否代替统计平均？一般情形不能，只在特定条件下成立，首先要求过程平稳；成立的这种性质称为遍历性。遍历性由希腊词 ergon（功）与 hodos（道路）合成，源自统计力学，意为以时间为代价把所有状态走遍。玻尔兹曼于 1868 年提出概率分布可解释为时间平均的假设，该假设在大多数情形并不成立。

平稳过程的例子

弱平稳过程 $\{X_n\}$ 满足二阶矩存在、均值为常数 $E[X_n]=\mu$、相关函数只依赖时间间隔 $E[X_nX_{n+k}]=R_X(k)$。余弦波过程 $X(t)=A\cos(\omega t+\Theta)$、$\Theta\sim U(0,2\pi)$ 是弱平稳过程；简单随机游动的相关函数 $E[S_mS_n]=\min(m,n)$ 依赖绝对位置，不是平稳过程。

代表性直观

时间平均不代表状态平均。杭州市区二十余家公园，衡量标准为去的人数多与经常去。两种调查方法：定一个时间点在各公园蹲点统计人数；选一个市民跟踪一年 365 天记录其去处。两种方法结论一般不一致：5 月 1 日与平日差异极大，退休老人天天去六公园、孩子爱去儿童公园，被跟踪个体的选择不能代表全市人口的平均行为。时间点与个体都不具代表性，人群活动现象不具有遍历性。

两个极端过程。独立同分布序列 $x_1,x_2,\dots$ 的大数定律成立，时间平均 $\frac1N\sum_{k=0}^{N-1}x_k\to E[X]=\mu$，由过去数据估计明天的均值；常值重复过程 $X_n=K$ 的时间平均恒为 $K$，不等于期望 $\mu$，时间再多也不带来关于 $\mu$ 的新信息。现实情形介于两者之间：天气、股票与过去相关但不独立，相关性随时间间隔增大而衰减，用相关函数刻画。

均值遍历性

定义

均值遍历性：平稳过程的时间平均 $\bar{X}_N$ 在 $N\to\infty$ 时收敛于统计平均 $\mu$（几乎处处、依概率或均方意义），则称过程具有均值遍历性。均方收敛指 $E[(\bar{X}_N-\mu)^2]\to0$。

反例：$X_n=K$（随机常值重复）过程平稳，但时间平均恒等于 $K$，不等于期望 $\mu$，时间推移不带来关于随机现象的新知识，不具遍历性。平稳不足以保证遍历性。

判别定理

均值遍历性判别定理：设 $\{X_n\}$ 为弱平稳过程，则 $\bar{X}_N$ 均方收敛到 $\mu$ 的判别条件为 $$\lim_{N\to\infty}\frac1N\sum_{r=0}^{N-1}\left(1-\frac rN\right)R_X(r)=\mu^2.$$ 证明中心化后展开均方 $E[(\bar{X}_N)^2]$，对角项除以 $N$ 趋于 0，交叉项按间隔 $r=j-i$ 归类，间隔为 $r$ 的配对共 $N-r$ 个。

渐近不相关（渐近独立）：$R_X(r)\to\mu^2$，即协方差 $C_X(r)\to0$。此时两个时刻的变量不独立，但相关系数随时间间隔增大趋于 0，一定满足判别条件。相关函数级数绝对可和是更强的充分条件。

马尔可夫链例子：$Y_n$ 为有限状态、非周期、不可约马尔可夫链，以平稳分布 $\pi$ 为初始分布。令 $X_n=\mathbf1\{Y_n=m\}$，则 $E[X_0]=\pi_m$，$E[X_0X_r]=\pi_m p^{(r)}(m,m)\to\pi_m^2$，满足判别条件，故 $$\frac1N\sum_{k=0}^{N-1}\mathbf1\{Y_k=m\}\to\pi_m.$$ 前 $N$ 步中访问状态 $m$ 的时间频率收敛于平稳概率。估计 $\pi_m$ 不必反复运行链，只需让链跑一条足够长的样本路径，统计其中处于状态 $m$ 的时间比例，用时间平均替代统计平均。

连续时间与遍历定理

时间平均的推广

双向离散时间 $\{X_n,n\in\mathbb{Z}\}$ 的时间平均以 0 为中心对称取， $$\bar{X}_N=\frac1{2N+1}\sum_{i=-N}^{N}X_i,$$ 共 $2N+1$ 项；若其在 $L^2$ 意义下趋于 $\mu$，则时间平均等于统计平均。

连续时间先定义随机积分。对 $[0,T]$ 分割成若干小区间，每段任取一点 $\tau_k$，作和 $\sum X_{\tau_k}\Delta t_k$；分割加密时该和随分割在均方意义下收敛，极限定义为 $\int_0^TX_t\,dt$。二阶矩过程 $X_t$ 在 $[0,T]$ 上均方可积的充要条件是其样本协方差函数 $R(s,t)$ 在 $[0,T]^2$ 上可积，把随机问题化为确定性二元函数的可积性判定。时间平均 $\bar{X}_T=\frac1T\int_0^TX_t\,dt$ 再取 $T\to\infty$ 的极限。

双向连续时间取 $\frac1{2T}\int_{-T}^{T}X_t\,dt$：时间轴为 $(-\infty,\infty)$ 的过程应对称地取两端的平均，单看 $t\to+\infty$ 一段不够。

连续时间均值遍历定理

连续时间的时间平均是积分 $\bar{X}_T=\frac1T\int_0^TX_t\,dt$，先保证积分存在。相关函数 $R(\tau)=E[X_{t+\tau}X_t]$ 在 $[0,T]$ 上可积时，有限时间平均在均方意义下存在极限。

连续时间判别条件：时间平均的均方极限等于 $\mu$ 当且仅当 $$\frac{2}{T^2}\int_0^T(T-\tau)R(\tau)\,d\tau\to0.$$ 证明把平方化为二重积分 $(\int_0^TX_t\,dt)^2=\int_0^T\int_0^TX_sX_t\,ds\,dt$，交换期望与积分后用平稳性得 $\int\int R(t-s)\,ds\,dt$，在正方形 $[0,T]^2$ 上由对称性化为三角形区域上的积分，换元 $\tau=t-s$ 即得。

渐近独立推论：$R(\tau)\to\mu^2$ 时过程满足均值遍历性。余弦波过程 $R(\tau)=\frac{A^2}{2}\cos\omega\tau$ 是周期函数，不趋于 0，不满足渐近独立；但直接计算时间平均 $\frac{1}{2T}\int_{-T}^{T}A\cos(\omega t+\Theta)\,dt\to0$，仍满足均值遍历性。该条件只是充分条件。

遍历定理

冯·诺伊曼遍历定理：设 $\{X_n\}$ 为平稳过程，均值为 $\mu$，则存在随机变量 $\eta$ 满足 $E[\eta]=\mu$，前 $n$ 个时刻的时间平均在均方意义下收敛到 $\eta$；$\eta$ 一般不退化时等于 $\mu$。该定理无附加条件，只要平稳且期望存在。

伯克霍夫个体遍历定理：把冯·诺伊曼定理的均方收敛加强为几乎处处收敛，代价是要求过程严平稳。严平稳过程若期望、方差存在，则必为弱平稳。

工程经验：应用学科直接假定过程满足遍历性，用时间平均代替统计平均；使用中出现矛盾再回头验证定理条件。对与时间有关的随机过程，遍历定理相当于独立同分布情形的大数定律，几乎是唯一的工具。

发现错误？想一起完善？在 GitHub 上编辑此页！
本页面贡献者：AI-PM Wiki Team
本页面的全部内容在 CC BY-SA 4.0 和 SATA 协议之条款下提供，附加条款亦可能应用