随机过程课程导论

概率论基础

概率空间与随机变量

概率空间由三要素构成。样本空间 $\Omega$ 是随机现象所有可能结果的全体，其中的点称为样本点。事件类 $\mathcal{F}$ 是所关心事件的 σ-代数，对可列次并、交运算封闭。概率测度 $P$ 是定义在 $\mathcal{F}$ 上、取值于 $[0,1]$ 的集函数，满足非负正规化 $P(\varnothing)=0$、$P(\Omega)=1$ 与可列可加性。概率的公理化定义由柯尔莫哥洛夫于 1933 年给出。

随机变量是定义在概率空间 $(\Omega,\mathcal{F},P)$ 上、满足可测性的映射 $X:\Omega\to\mathbb{R}$。可测性保证对任意博雷尔集 $B$，事件 $\{X\in B\}$ 有概率可谈。分布函数 $F(x)=P(X\le x)$ 与特征函数相互唯一确定。

特征函数 $\varphi(t)=E[e^{itX}]$ 对任何随机变量都存在，并唯一确定分布。独立随机变量和的特征函数等于各自特征函数之积，逆转公式由特征函数恢复密度。标准正态分布的特征函数为 $e^{-t^2/2}$。

极限定理与随机过程的引入

概率极限定理研究独立随机变量和的收敛。大数定律断言经验均值 $\frac{1}{n}\sum_i X_i$ 收敛于理论均值 $\mu$；中心极限定理断言标准化和 $\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma}$ 依分布收敛于标准正态分布；泊松极限定理给出稀有事件计数收敛于泊松分布。

三大定理均建立在独立同分布条件之上。同一现象不同时刻的表现（气温、股价）明显不独立，独立同分布条件需要检验。这个矛盾把课程引向随机过程——一族随机变量，用于描述与时间相关的随机现象。

随机过程基本概念

定义与构成要素

随机过程是一族随机变量 $(X_t,t\in T)$，记为 $\mathbf{X}=(X_t,t\in T)$。参数集 $T$ 通常取自然时间，可离散（随机游动）可连续（布朗运动）。固定时刻 $t$，$X_t$ 是随机变量，其取值称为状态，所有可能状态的集合为状态空间；状态可为实数（股票价格）或抽象点（晴天、开/关），抽象状态不能做算术运算。固定样本点 $\omega$，$X(\cdot,\omega)$ 是时间的确定函数，即样本路径。

数字特征

均值函数 $\mu_t=E[X_t]$ 是确定性曲线，随机性围绕它波动。方差函数 $\sigma_t^2=\mathrm{Var}(X_t)$ 刻画波动幅度。协方差函数 $r(s,t)=\mathrm{Cov}(X_s,X_t)$ 与相关函数 $\rho(s,t)=E[X_sX_t]$ 刻画不同时刻状态的相关性，是过程层面的新对象。二阶矩过程指任意时刻 $E[X_t^2]<\infty$ 的过程；均值函数与自相关函数存在当且仅当过程是二阶矩过程。

有限维分布与内在机制

有限维分布族 $\{\nu_{t_1,\dots,t_k}\}$ 由 $k$ 维分布 $$\nu_{t_1,\dots,t_k}(A_1,\dots,A_k)=P(X_{t_1}\in A_1,\dots,X_{t_k}\in A_k)$$ 构成。两个过程同分布当且仅当所有有限维分布相同；理论上有限维分布是过程分布规律的完整刻画。

一般过程写不出所有有限维分布，须借助过程生成的内在机制。两种机制对应本课程的两类主体过程。独立平稳增量机制把状态向量分解为增量 $X_{t_1},X_{t_2}-X_{t_1},\dots$，增量独立且增量分布只依赖时间长度时，只需知道一个增量的分布即可确定整个过程分布，对应 Poisson 过程与布朗运动。马尔可夫性质要求给定当前状态，未来与过去条件独立，条件概率只需保留最近一项，对应马尔可夫链与分支过程。

随机过程的分类

平稳性

弱平稳（宽平稳）要求均值函数为常数且相关函数只依赖时间间隔。强平稳（严平稳）要求任意有限维分布具有平移不变性。强平稳蕴含弱平稳；弱平稳推不出强平稳。正态过程（高斯过程）任意有限维分布均为联合正态，由均值函数与协方差函数唯一确定，对正态过程强平稳与弱平稳等价。

白噪声是均值恒为 0、不同时刻互不相关的过程。若进一步要求联合分布为正态，则称高斯白噪声。

重要过程族

独立增量过程要求不重叠区间上的增量相互独立；平稳增量过程要求增量分布只与时间差有关。二项过程是每单位时间做一次 Bernoulli 试验的累计成功次数，是平稳独立增量过程。计数过程是连续时间、取非负整数值、单调不减的过程，记录 $(0,t]$ 内事件累计发生次数。

本课程后续依次研究 Poisson 过程、马尔可夫链、分支过程、平稳过程与布朗运动。

发现错误？想一起完善？在 GitHub 上编辑此页！
本页面贡献者：AI-PM Wiki Team
本页面的全部内容在 CC BY-SA 4.0 和 SATA 协议之条款下提供，附加条款亦可能应用