大数定律及中心极限定理

一、依概率收敛

1.1 依概率收敛的定义

设 $Y_1,Y_2,\cdots,Y_n,\cdots$ 为一个随机变量序列，$c$ 为一常数，若对于 $\forall\varepsilon>0$，均有：

$\lim_{n\rightarrow{+\infty}}P\{|Y_n-c|\ge{\varepsilon}\}=0$

成立，则称随机变量序列 $\{Y_n,n\ge{1}\}$ 依概率收敛于 $c$，记为

$Y_n\xrightarrow{P}c，当 n\rightarrow{+\infty}$

1.2 依概率收敛的性质

若 $X_n\xrightarrow{P}a,Y_n\xrightarrow{P}b$，当 $n\rightarrow{+\infty}$ 时，函数 $g(x,y)$ 在点 $(a,b)$ 处连续，那么

$g(X_n,Y_n)\xrightarrow{P}g(a,b)，当 n\rightarrow{+\infty}$

特别地，若 $X_n\xrightarrow{P}a$，$f(x)$ 在点 $a$ 连续，则

$f(X_n)\xrightarrow{P}f(a)，当 n\rightarrow{+\infty}$

二、切比雪夫不等式

2.1 切比雪夫不等式的定义

设随机变量 $X$ 具有数学期望 $E(X)=\mu$，方差 $D(X)=\sigma^2$，则对于任意 $\varepsilon>0$，都有：

$P\{|X-\mu|\ge{\varepsilon}\}\le{\frac{\sigma^2}{\varepsilon^2}}$

定理的等价形式为：

$P\{|X-\mu|<\varepsilon\}\ge{1-\frac{\sigma^2}{\varepsilon^2}}$

2.2 切比雪夫不等式的适用范围

对于期望、方差存在的随机变量（范围广）。

2.3 切比雪夫不等式的重要性

可以对于随机变量落在期望附近的区域内或外给出一个界的估计。

三、大数定律

设 $X_1,X_2,\cdots,X_n,\cdots$ 是一列随机变量，则在一定条件下，随机变量序列 $Y_n=\frac{X_1+X_2+\cdots+X_n}{n}$，收敛到 $\mu$，当 $n\rightarrow{+\infty}$。

3.1 切比雪夫大数定律

$X_1,X_2,\cdots,X_n,\cdots$ 为相互独立的随机变量，且存在期望 $E(X_i)=\mu_i$，方差存在且有共同上界 $D(X_i)=\sigma_i^2<M$，则对于 $\forall{\varepsilon}>0$，有

$\lim\limits_{n\rightarrow{+\infty}}P\{|\frac{1}{n}\sum\limits_{i=1}^{n}X_i-\frac{1}{n}\sum\limits_{i=1}^{n}\mu_i|<\varepsilon\}=1$

即 $\frac{1}{n}\sum\limits_{i=1}^{n}X_i\xrightarrow{P}\frac{1}{n}\sum\limits_{i=1}^{n}\mu_i$，$当 n\rightarrow{+\infty}$。

3.2 贝努利大数定律

内容

记 $n_A$ 为 $n$ 重贝努利试验中事件 $A$ 发生的次数，并记事件 $A$ 在每次试验中发生的概率为 $p(0<p<1)$，则对于 $\forall{\varepsilon}>0$，有

$\lim_{n\rightarrow{+\infty}}P\{|\frac{n_A}{n}-p|<{\varepsilon}\}=1$

即 $\frac{n_A}{n}\xrightarrow{P}p$，当 $n\rightarrow{+\infty}$。

意义

• 提供了用大量重复独立试验中事件出现频率的极限值来确定概率的理论依据。
• 提供了通过试验来确定事件概率的方法：可以通过做试验确定某事件发生的频率并把它作为相应的概率估计。

3.3 辛钦大数定律

内容

$X_1,X_2,\cdots,X_n,\cdots$ 为独立同分布的随机变量，且其期望存在，记为 $\mu$，那么

$\frac{1}{n}\sum\limits_{i=1}^{n}X_i\xrightarrow{P}\mu，当 n\rightarrow{+\infty}$

意义

提供了求随机变量 $X$ 的数学期望 $E(X)$ 的近似值的方法：将随机变量 $X$ 独立重复地观察 $n$ 次，记第 $k$ 次观测值为 $X_k$，则 $X_1,X_2,\cdots,X_n$ 相互独立，且与 $X$ 具有同样的分布。

那么，当 $E(X)$ 存在时，由辛钦大数定律，可知当 $n$ 充分大时，可将 $n$ 次的平均 $\frac{1}{n}\sum\limits_{i=1}^{n}X_i$ 作为 $E(X)$ 的近似。

四、中心极限定理

4.1 问题的提出

有许多随机变量，它们是由大量的相互独立的随机变量的综合影响所形成的，而其中每个个别的因素作用都很小，这种随机变量往往服从或近似服从正态分布，或者说它的极限分布是正态分布，中心极限定理正是从数学上论证了这一现象。

4.2 独立同分布的中心极限定理（CLT）

设随机变量 $X_1,X_2,\cdots,X_n,\cdots$ 相互独立且同分布，$E(X_i)=\mu$，$D(X_i)=\sigma^2$，$i=1,2,\cdots$，则对于充分大的 $n$，有

$\sum\limits_{i=1}^{n}X_i\stackrel{近似}\sim{N(n\mu,n\sigma^2)}$

此时

$P(a<\sum\limits_{i=1}^{n}X_i\le{b})\approx{\Phi(\frac{b-n\mu}{\sqrt{n}\sigma})-\Phi(\frac{a-n\mu}{\sqrt{n}\sigma})}$

4.3 德莫弗-拉普拉斯中心极限定理

记 $n_A$ 为 $n$ 重贝努利试验中事件 $A$ 发生的次数，并记事件 $A$ 在每次试验中发生的概率为 $p(0<p<1)$，则对于充分大的 $n$ 有

$n_A\stackrel{近似}\sim{N(np,np(1-p))}$

即，对于二项分布 $B(n,p)$，当 $n$ 充分大时，可用正态分布来近似。