随机变量的数字特征

一、期望

1.1 离散型随机变量的期望

设离散型随机变量 $X$ 的分布律为：$P(X=x_k)=p_k,k=1,2,\cdots$，若级数 $\sum\limits_{k=1}^{+\infty}x_kp_k$ 绝对收敛，则称级数 $\sum\limits_{k=1}^{+\infty}x_kp_k$ 的值为随机变量 $X$ 的数学期望，记为 $E(X)$，即

$E(X)=\sum\limits_{k=1}^{+\infty}x_kp_k$

注：$p_k$ 可以理解成为“加权平均”中 $x_k$ 的权重。数学期望简称期望，又称均值（$mean$）。

1.2 连续型随机变量的期望

设连续型随机变量 $X$ 的概率密度函数为 $f(x)$，若积分 $\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$ 绝对收敛，则称积分 $\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$ 的值为随机变量 $X$ 的数学期望，即

$E(X)=\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$

1.3 一元随机变量函数的期望

设 $Y$ 是随机变量 $X$ 的函数：$Y=g(X)$，$X$ 是离散型随机变量，它的分布律为：$P(X=x_k)=p_k,k=1,2,\cdots$，若 $\sum\limits_{k=1}^{+\infty}g(x_k)p_k$ 绝对收敛，则

$E(Y)=E(g(X))=\sum\limits_{k=1}^{+\infty}g(x_k)p_k$

设 $Y$ 是随机变量 $X$ 的函数：$Y=g(X)$，$X$ 是连续型随机变量，它的概率密度函数为 $f(x)$，若 $\int_{-\infty}^{+\infty}g(x)f(x)\mathrm{d}x$ 绝对收敛，则

$E(Y)=E(g(x))=\int_{-\infty}^{+\infty}g(x)f(x)\mathrm{d}x$

1.4 二元随机变量函数的期望

设 $Z$ 是随机变量 $X,Y$ 的函数：$Z=h(X,Y)$，若二元离散型随机变量 $(X,Y)$ 的分布律为：$P(X=x_i,Y=y_j)=p_{ij},i=1,2,\cdots$，若 $\sum\limits_{i=1}^{+\infty}\sum\limits_{j=1}^{+\infty}h(x_i,y_j)p_{ij}$ 绝对收敛，则

$E(Z)=E(h(X,Y))=\sum\limits_{i=1}^{+\infty}\sum\limits_{j=1}^{+\infty}h(x_i,y_j)p_{ij}$

设 $Z$ 是随机变量 $X,Y$ 的函数：$Z=h(X,Y)$，若二元连续型随机变量 $(X,Y)$ 的概率密度函数为 $f(x,y)$，若 $\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}h(x,y)f(x,y)\mathrm{d}x\mathrm{d}y$ 绝对收敛，则

$E(Z)=E(h(X,Y))=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}h(x,y)f(x,y)\mathrm{d}x\mathrm{d}y$

特别地，

$E(X)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xf(x,y)\mathrm{d}x\mathrm{d}y$

$E(Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}yf(x,y)\mathrm{d}x\mathrm{d}y$

1.5 数学期望的性质

• 设 $c$ 是常数，则有 $E(c)=c$；
• 设 $X$ 是一个随机变量，$c$ 是常数，则有 $E(cX)=cE(X)$；
• 设 $X,Y$ 是两个随机变量，则有 $E(X+Y)=E(X)+E(Y)$；
• 设 $X,Y$ 是相互独立的两个随机变量，则有 $E(XY)=E(X)E(Y)$。

二、方差

2.1 方差定义和计算公式

设 $X$ 是一个随机变量，若 $E\{[X-E(X)]^2\}$ 存在，则称其为 $X$ 的方差，记为 $D(X)$ 或 $Var(X)$，即

$D(X)=Var(X)=E\{[X-E(X)]^2\}$

将 $\sqrt{D(X)}$ 记为 $\sigma(X)$，称为 $X$ 的标准差或均方差。

利用数学期望的性质，可得方差的计算公式：

$D(X)=E(X^2)-[E(X)]^2$

2.2 方差的性质

• 设 $c$ 是常数，则 $D(c)=0$；
• 设 $X$ 是随机变量，$c$ 是常数，则有 $D(cX)=c^2D(X)$；
• 设 $X,Y$ 是两个随机变量，则有 $D(X+Y)=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)]\}$；
• $D(X)=0\Leftrightarrow{P(X=c)=1}$ 且 $c=E(X)$。

三、协方差

3.1 协方差定义和计算公式

数值 $E\{[X-E(X)][Y-E(Y)]\}$ 为随机变量 $X$ 与 $Y$ 的协方差，记为 $Cov(X,Y)$，即

$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$

此时，$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$。

协方差 $Cov(X,Y)$ 反映了随机变量 $X$ 与 $Y$ 的线性相关性：

• 当 $Cov(X,Y)>0$ 时，称 $X$ 与 $Y$ 正相关；
• 当 $Cov(X,Y)<0$ 时，称 $X$ 与 $Y$ 负相关；
• 当 $Cov(X,Y)=0$ 时，称 $X$ 与 $Y$ 不相关。

利用数学期望的性质，可得协方差的计算公式：

$Cov(X,Y)=E(XY)-E(X)E(Y)$

3.2 协方差的性质

• $Cov(X,Y)=Cov(Y,X)$；
• $Cov(X,X)=D(X)$；
• $Cov(aX,bY)=ab\cdot{Cov(X,Y)}$，其中 $a,b$ 为两个实数；
• $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$。

四、相关系数

4.1 相关系数的定义

协方差是有量纲的数字特征，为了消除其量纲的影响，引入一个新概念：

数值 $\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$ 称为随机变量 $X$ 与 $Y$ 的相关系数，是没有量纲的。

若记标准化变量 $X^*=\frac{X-E(X)}{\sqrt{D(X)}},Y^*=\frac{Y-E(Y)}{\sqrt{D(Y)}}$，则 $\rho_{XY}=Cov(X^*,Y^*)$。

4.2 相关系数的性质

当 $D(X)D(Y)\not=0$ 时，有 $[Cov(X,Y)]^2\le{D(X)D(Y)}$，其中等号当且仅当 $X$ 与 $Y$ 之间有严格的线性关系，即：存在常数 $a,b$，使 $P(Y=a+bX)=1$。特别地，$\rho_{XY}=1$ 时，$b>0$；$\rho_{XY}=-1$ 时，$b<0$。

相关系数是一个用来表征两个随机变量之间线性关系密切程度的特征数，有时也称为“线性相关系数”。

当 $|\rho_{XY}|$ 较大时，表明 $X$ 与 $Y$ 的线性关系程度较好； 当 $|\rho_{XY}|$ 较小时，表明 $X$ 与 $Y$ 的线性关系程度较差。

特别地，

当 $|\rho_{XY}|=1$ 时，表明 $X$ 与 $Y$ 之间以概率 $1$ 存在线性关系； 当 $\rho_{XY}=0$ 时，表明 $X$ 与 $Y$ 之间没有线性关系，称两个变量不相关。

五、不相关与独立

若 $\rho_{XY}=0$，则称随机变量 $X$ 与 $Y$ 不相关或零相关。

随机变量 $X$ 与 $Y$ 不相关的等价条件：

1. $Cov(X,Y)=0$；
2. $E(XY)=E(X)E(Y)$。

性质：

$X$ 与 $Y$ 相互独立，则 $X$ 与 $Y$ 不相关；反之不然。说明如下：

$X$ 与 $Y$ 不相关，仅针对线性关系而言；而 $X$ 与 $Y$ 相互独立，是就一般关系而言。

六、矩

• $X$ 为一个随机变量，若 $E(X^k),k=1,2,\cdots$ 存在，则称之为 $X$ 的 $k$ 阶（原点）矩。
• $X$ 为一个随机变量，若 $E\{[X-E(X)]^k\},k=1,2,\cdots$ 存在，则称之为 $X$ 的 $k$ 阶中心矩。
• $X$ 与 $Y$ 为两个随机变量，若 $E\{X^kY^l\},k,l=1,2,\cdots$ 存在，则称之为 $X$ 与 $Y$ 的 $k+l$ 阶混合（原点）矩。
• $X$ 与 $Y$ 为两个随机变量，若 $E\{[X-E(X)]^k[Y-E(Y)]^l\},k,l=1,2,\cdots$ 存在，则称之为 $X$ 与 $Y$ 的 $k+l$ 阶混合中心矩。

说明：

• 随机变量的期望是其 $1$ 阶原点矩。
• 随机变量的方差是其 $2$ 阶中心矩。
• 随机变量的协方差是其 $1+1$ 阶混合中心矩。

七、协方差矩阵

设 $n$ 元随机变量 $\tilde{X}=(X_1,X_2,\cdots,X_n)^{\rm{T}}$，$n\ge{1}$，若 $Cov(X-i,X_j)i,j=1,2,\cdots,n$ 都存在，则称

$C=Cov(\tilde{X})=\left[\begin{matrix}D(X_1)&Cov(X_1,X_2)&\cdots&Cov(X_1,X_n)\\Cov(X_2,X_1)&D(X_2)&\cdots&Cov(X_2,X_n)\\\vdots&\vdots&\ddots&\vdots\\Cov(X_n,X_1)&Cov(X_n,X_2)&\cdots&D(X_n)\\\end{matrix}\right]$

为 $n$ 元随机变量 $\tilde{X}$ 的协方差矩阵（是对称非负定矩阵）。

七、多元正态分布的性质

7.1 性质一

$n$ 元正态随机变量 $\tilde{X}=(X_1,X_2,\cdots,X_n)^T,n\ge{1}$，其任意子向量 $(X_{i_1},X_{i_2},\cdots,X_{i_k})^T$，$1\le{k}\le{n}$ 均服从 $k$ 元正态分布。

7.2 性质二

$n$ 元正态随机变量 $\tilde{X}=(X_1,X_2,\cdots,X_n)^T,n\ge{1}$，服从 $n$ 元正态分布 $\Leftrightarrow$ $X_1,X_2,\cdots,X_n$ 的任意线性组合 $l_0+l_1X_1+l_2X_2+\cdots+l_nX_n$ 均服从一元正态分布，其中 $l_1,l_2,\cdots,l_n$ 不全为 $0$。

7.3 性质三

$n$ 元正态随机变量 $\tilde{X}=(X_1,X_2,\cdots,X_n)^T,n\ge{1}$，若 $Y_1,Y_2,\cdots,Y_k,k\ge{1}$，均为 $X_i,i=1,2,\cdots,n$ 的线性函数，则 $(Y_1,Y_2,\cdots,Y_k)^T$ 也服从 $k$ 元正态分布。

这一性质称为正态变量的线性变换不变性。

7.4 性质四

设 $\tilde{X}=(X_1,X_2,\cdots,X_n)^T,n\ge{1}$，服从 $n$ 元正态分布，则

$X_1,X_2,\cdots,X_n$ 相互独立 $\Leftrightarrow$ $X_1,X_2,\cdots,X_n$ 两两不相关 $\Leftrightarrow$ $\tilde{X}$ 的协方差矩阵为对角矩阵。