鲤鱼笔记

参数估计

2021-07-17 数学基础 数理统计

# 一、估计量的评价标准

# 1.1 无偏性准则

若参数 θ\theta 的估计量 θ^=θ^(X1,⋯,Xn)\hat{\theta}=\hat{\theta}(X_1,\cdots,X_n)，满足

E(θ^)=θE(\hat{\theta})=\theta

则称 θ^\hat{\theta} 是 θ\theta 的一个无偏估计量。

  • 若 E(θ^)≠θE(\hat{\theta})\not=\theta，那么 ∣E(θ^)−θ∣|E(\hat{\theta})-\theta| 称为估计量 θ^\hat{\theta} 的偏差；
  • 若 lim⁡n→∞E(θ^)=θ\lim\limits_{n\rightarrow\infty}E(\hat{\theta})=\theta，则称 θ^\hat{\theta} 是 θ\theta 的渐近无偏估计量。

统计意义

无偏性的统计意义是指在大量重复试验下，由 θ^(X1,⋯,Xn)\hat{\theta}(X_1,\cdots,X_n) 给出的估计的平均恰好是 θ\theta，从而无偏性保证了 θ^\hat{\theta} 没有系统误差。

纠偏方法

如果 E(θ^)=aθ+b,θ∈ΘE(\hat{\theta})=a\theta+b,\theta\in\Theta，其中 a,ba,b 是常数，且 a≠0a\not=0，则 1a(θ^−b)\frac{1}{a}(\hat{\theta}-b) 是 θ\theta 的无偏估计。

# 1.2 有效性准则

设 θ1^,θ2^\hat{\theta_1},\hat{\theta_2} 是 θ\theta 的两个无偏估计，如果 D(θ1^)≤D(θ2^)D(\hat{\theta_1})\le{D(\hat{\theta_2})}，对于一切 θ∈Θ\theta\in\Theta 成立，且不等号至少对某一 θ∈Θ\theta\in\Theta 成立，则称 θ1^\hat{\theta_1} 比 θ2^\hat{\theta_2} 有效。

即：方差较小的无偏估计量是一个更有效的估计量。

# 1.3 均方误差准则

设 θ^\hat{\theta} 是参数 θ\theta 的点估计，方差存在，则称 E(θ^−θ)2E(\hat{\theta}-\theta)^2 是估计量 θ^\hat{\theta} 的均方误差，记为 Mse(θ^)Mse(\hat{\theta})。若 θ^\hat{\theta} 是 θ\theta 的无偏估计，则有 Mse(θ^)=D(θ^)Mse(\hat{\theta})=D(\hat{\theta})。

设 θ1^,θ2^\hat{\theta_1},\hat{\theta_2} 是 θ\theta 的点估计，如果 Mse(θ1^)≤Mse(θ2^)Mse(\hat{\theta_1})\le{Mse(\hat{\theta_2})}，对于一切 θ∈Θ\theta\in\Theta 成立，且不等号至少对某一 θ∈Θ\theta\in\Theta 成立，则称在均方误差准则下 θ1^\hat{\theta_1} 优于 θ2^\hat{\theta_2}。

在实际应用中，均方误差准则比无偏性准则更重要。

# 1.4 相合性准则

设 θ^(X1,⋯,Xn)\hat{\theta}(X_1,\cdots,X_n) 为参数 θ\theta 的估计量，若对于任意 θ∈Θ\theta\in\Theta，当 n→+∞n\rightarrow{+\infty} 时，

θn^→Pθ\hat{\theta_n}\xrightarrow{P}\theta

即 ∀ε>0\forall{\varepsilon}>0，有 lim⁡n→∞P{∣θn^−θ∣≥ε}=0\lim\limits_{n\rightarrow{\infty}}P\{|\hat{\theta_n}-\theta|\ge\varepsilon\}=0 成立，则称 θn^\hat{\theta_n} 为 θ\theta 的相合估计量或一致估计量。

# 二、点估计

设总体 XX 的分布函数的形式已知，但它的一个或多个参数未知。

借助于总体 XX 的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。

# 2.1 矩估计

统计思想

以样本矩估计总体矩，以样本矩的函数估计总体矩的函数。

理论基础

辛钦大数定律和依概率收敛的性质。

假设 μj=E(Xj),j=1,⋯,k\mu_j=E(X^j),j=1,\cdots,k 存在，则

μj^=Aj=1n∑i=1nXij,j=1,⋯,k→Pμj,j=1,⋯,k\hat{\mu_j}=A_j=\frac{1}{n}\sum\limits_{i=1}^{n}X_i^j,j=1,\cdots,k\xrightarrow{P}\mu_j,\ j=1,\cdots,k
h^(μ1,⋯,μk)=h(A1,⋯,Ak)→Ph(μ1,⋯,μk)\hat{h}(\mu_1,\cdots,\mu_k)=h(A_1,\cdots,A_k)\xrightarrow{P}h(\mu_1,\cdots,\mu_k)

计算步骤

设总体有 kk 个未知参数 θ1,⋯,θk,X1,⋯,Xk\theta_1,\cdots,\theta_k,\ X_1,\cdots,X_k 是来自总体 XX 的样本，假设总体的前 kk 阶矩存在，则矩估计的步骤为：

  1. 建立 (θ1,⋯,θk)(\theta_1,\cdots,\theta_k) 与 (μ1,⋯,μk)(\mu_1,\cdots,\mu_k) 的联系：求总体前 kk 阶矩关于 kk 个参数的函数。
μi=E(Xi)=hi(θ1,⋯,θk),i=1,⋯,k\mu_i=E(X^i)=h_i(\theta_1,\cdots,\theta_k),\ i=1,\cdots,k
  1. 求各参数关于 kk 阶矩的反函数。
θi=gi(μ1,⋯,μk),i=1,⋯,k\theta_i=g_i(\mu_1,\cdots,\mu_k),\ i=1,\cdots,k
  1. 以样本各阶矩 A1,⋯,AkA_1,\cdots,A_k 代替总体 XX 各阶矩 μ1,⋯,μk\mu_1,\cdots,\mu_k，得各参数得矩估计。
θi^=gi(A1,⋯,Ak),i=1,⋯,k\hat{\theta_i}=g_i(A_1,\cdots,A_k),\ i=1,\cdots,k

在实际应用中，为求解方便，也可用总体中心矩 viv_i 替换总体原点矩 μi\mu_i，相应的，以样本中心矩 BiB_i 估计总体中心矩 viv_i。

注：采用的矩不同，得出的矩估计也可能不同。

# 2.2 极大似然估计

离散型

设离散型总体 X∼p(x;θ),θ∈Θ,θ 未知X\sim{p(x;\theta)},\theta\in{\Theta},\theta\ 未知，X1,⋯,XnX_1,\cdots,X_n 为样本，其观察值为 x1,⋯,xnx_1,\cdots,x_n，则事件 {X=x1,⋯,Xn=xn}\{X=x_1,\cdots,X_n=x_n\} 发生的概率为

似然函数：L(θ)=∏i=1np(xi;θ)极大似然原理：L(θ^(x1,⋯,xn))=max⁡θ∈ΘL(θ)似然函数：L(\theta)=\prod\limits_{i=1}^{n}p(x_i;\theta)\\极大似然原理：L(\hat{\theta}(x_1,\cdots,x_n))=\max_{\theta\in{\Theta}}L(\theta)

θ^(x1,⋯,xn)\hat{\theta}(x_1,\cdots,x_n) 称为 θ\theta 的极大似然估计值，相应统计量 θ^(X1,⋯,Xn)\hat{\theta}(X_1,\cdots,X_n) 称为 θ\theta 的极大似然估计量（MLE）。

连续型

设连续型总体 XX 的概率密度为 f(x;θ),θ∈Θ,θf(x;\theta),\theta\in{\Theta},\theta 未知，X1,⋯,XnX_1,\cdots,X_n 为样本，则样本在观察值 (x1,x2,⋯,xn)(x_1,x_2,\cdots,x_n) 邻域发生的概率 ∏i=1nP(xi<Xi<xi+Δxi)≈∏i=1nf(xi;θ)Δxi\prod\limits_{i=1}^{n}P(x_i<X_i<x_i+\Delta{x_i})\approx\prod\limits_{i=1}^{n}f(x_i;\theta)\Delta{x_i}，其中 Δxi\Delta{x_i} 与参数 θ\theta 无关，因此

似然函数：L(θ)=∏i=1nf(xi;θ)极大似然原理：L(θ^(x1,⋯,xn))=max⁡θ∈ΘL(θ)似然函数：L(\theta)=\prod\limits_{i=1}^{n}f(x_i;\theta)\\极大似然原理：L(\hat{\theta}(x_1,\cdots,x_n))=\max_{\theta\in{\Theta}}L(\theta)

说明

  1. 未知参数可能不是一个，设为 θ=(θ1,θ2,⋯,θk)\theta=(\theta_1,\theta_2,\cdots,\theta_k)。
  2. 求 L(θ)L(\theta) 的最大值时，可转换为求 ln⁡L(θ)\ln{L(\theta)} 的最大值，ln⁡L(θ)\ln{L(\theta)} 称为对数似然函数。
  3. 若 L(θ)L(\theta) 关于某个 θi\theta_i 是单调增（减）函数，则 θi\theta_i 的极大似然估计值为 θi\theta_i 的最大（小）值（与样本有关）。
  4. 若 θ^\hat{\theta} 是 θ\theta 的极大似然估计，则 g(θ)g(\theta) 的极大似然估计为 g(θ^)g(\hat{\theta})。

# 三、区间估计

根据具体样本观测值，点估计提供了一个明确的数值。

但这种判断的把握有多大，点估计本身并没有告诉人们，为了弥补这种不足，提出了区间估计的概念。

# 3.1 置信区间与置信限

设总体 XX 的分布函数 F(x;θ),θ 未知F(x;\theta),\theta\ 未知，对给定值 α(0<α<1)\alpha(0<\alpha<1)，有两个统计量 θ^L=θ^L(X1,⋯,Xn)\hat{\theta}_L=\hat{\theta}_L(X_1,\cdots,X_n)，θ^U=θ^U(X1,⋯,Xn)\hat{\theta}_U=\hat{\theta}_U(X_1,\cdots,X_n)，使得

P{θ^L(X1,⋯,Xn)<θ<θ^U(X1,⋯,Xn)}≥1−αP\{\hat{\theta}_L(X_1,\cdots,X_n)<\theta<\hat{\theta}_U(X_1,\cdots,X_n)\}\ge{1-\alpha}

(θ^L,θ^U)(\hat{\theta}_L,\hat{\theta}_U) 称为 θ\theta 的置信水平为 1−α1-\alpha 的双侧置信区间；θ^L\hat{\theta}_L 和 θ^U\hat{\theta}_U 分别称为双侧置信下限和双侧置信下限。

  • 如果 P{θ^L(X1,⋯,Xn)<θ}≥1−αP\{\hat{\theta}_L(X_1,\cdots,X_n)<\theta\}\ge{1-\alpha}，则 θ^L\hat{\theta}_L 称为参数 θ\theta 的置信水平为 1−α1-\alpha 的单侧置信下限。
  • 如果 P{θ<θ^U(X1,⋯,Xn)}≥1−αP\{\theta<\hat{\theta}_U(X_1,\cdots,X_n)\}\ge{1-\alpha}，则 θ^U\hat{\theta}_U 称为参数 θ\theta 的置信水平为 1−α1-\alpha 的单侧置信上限。

说明

参数 θ\theta 虽然未知，但是是确定的值。

θ^L,θ^U\hat{\theta}_L,\hat{\theta}_U 是统计量，随机的，依赖于样本，因此样本不同，算出的置信区间 (θ^L,θ^U)(\hat{\theta}_L,\hat{\theta}_U) 也不同。

一般地，P{θ^L(X1,⋯,Xn)<θ<θ^U(X1,⋯,Xn)}=1−αP\{\hat{\theta}_L(X_1,\cdots,X_n)<\theta<\hat{\theta}_U(X_1,\cdots,X_n)\}={1-\alpha}，则置信区间 (θ^L,θ^U)(\hat{\theta}_L,\hat{\theta}_U) 的含义为：

反复抽样多次（各次样本容量都为 nn），每个样本值确定一个区间 (θ^L,θ^U)(\hat{\theta}_L,\hat{\theta}_U) ，每个这样的区间或包含 θ\theta 的真值，或不包含 θ\theta 的真值。按伯努利大数定律，在这些区间中，包含 θ\theta 真值的比例约为 1−α1-\alpha。

# 3.2 精确度与误差限

我们称置信区间 (θ^L,θ^U)(\hat{\theta}_L,\hat{\theta}_U) 的平均长度 E(θ^U−θ^L)E(\hat{\theta}_U-\hat{\theta}_L) 为区间的精确度，精确度的一半为误差限。

在给定的样本容量下，置信水平和精确度是相互制约的。即：

  • 置信水平高，精确度低；
  • 精确度高，置信水平低。

Neyman 原则

在置信水平达到 1−α1-\alpha 的置信区间中，选精确度尽可能高（区间长度较短）的置信区间。

# 3.3 枢轴量

设总体 XX 有概率密度（或分布律）f(x;θ)f(x;\theta)，其中 θ\theta 是待估的未知参数，设 X1,⋯,XnX_1,\cdots,X_n 是一样本，记

G=G(X1,⋯,Xn;θ)G=G(X_1,\cdots,X_n;\theta)

为样本和待估参数 θ\theta 的函数，如果 GG 的分布已知，不依赖于任何未知参数，则称 GG 为枢轴量。

枢轴量和统计量的区别

  1. 枢轴量是样本和待估参数的函数，其分布不依赖于任何未知参数。
  2. 统计量只是样本的函数，其分布常依赖于未知参数。

# 四、正态总体的区间估计

设总体 X∼N(μ,σ2)X\sim{N(\mu,\sigma^2)}，X1,X2,⋯,XnX_1,X_2,\cdots,X_n 为样本，X‾\overline{X} 和 S2S^2 分别为样本均值和样本方差，置信水平为 1−α1-\alpha。

# 4.1 期望的置信区间

σ2\sigma^2 已知

σ2\sigma^2 已知时，取枢轴量 G=X‾−μσ/n∼N(0,1)G=\frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\sim{N(0,1)}，设常数 a<ba<b 满足：

P{a<G<b}≥1−αP\{a<G<b\}\ge{1-\alpha}

等价于

P{X‾−σnb<μ<X‾−σn}≥1−αP\{\overline{X}-\frac{\sigma}{\sqrt{n}}b<\mu<\overline{X}-\frac{\sigma}{\sqrt{n}}\}\ge{1-\alpha}

此时区间长度为 (b−a)σn(b-a)\frac{\sigma}{\sqrt{n}}，由正态分布的对称性可知，a=−b=−zα/2a=-b=-z_{\alpha/2} 时，区间长度达到最短 L=2zα/2σnL=2z_{\alpha/2}\frac{\sigma}{\sqrt{n}}。

nn 固定，置信水平提高，即 (1−α)(1-\alpha) 增大，则 zα/2z_{\alpha/2} 增大，所以 LL 变大，精确度降低；反之亦然。

故此时 μ\mu 的双侧置信区间为：

(X‾−σnzα/2,X‾+σnzα/2)(\overline{X}-\frac{\sigma}{\sqrt{n}}z_{\alpha/2}, \overline{X}+\frac{\sigma}{\sqrt{n}}z_{\alpha/2})

单侧置信下限为 X‾−σnzα\overline{X}-\frac{\sigma}{\sqrt{n}}z_{\alpha}，单侧置信上限为 X‾+σnzα\overline{X}+\frac{\sigma}{\sqrt{n}}z_{\alpha}。

σ2\sigma^2 未知

以 S2S^2 估计 σ2\sigma^2，得枢轴量 G=X‾−μS/n∼t(n−1)G=\frac{\overline{X}-\mu}{S/\sqrt{n}}\sim{t(n-1)}，由 −tα/2(n−1)<G<tα/2(n−1)-t_{\alpha/2}(n-1)<G<t_{\alpha/2}(n-1) 解得

X‾−Sntα/2(n−1)<μ<X‾+Sntα/2(n−1)\overline{X}-\frac{S}{\sqrt{n}}t_{\alpha/2}(n-1)<\mu<\overline{X}+\frac{S}{\sqrt{n}}t_{\alpha/2}(n-1)

故此时 μ\mu 的双侧置信区间为：

(X‾−Sntα/2(n−1),X‾+Sntα/2(n−1))(\overline{X}-\frac{S}{\sqrt{n}}t_{\alpha/2}(n-1), \overline{X}+\frac{S}{\sqrt{n}}t_{\alpha/2}(n-1))

单侧置信下限为 X‾−Sntα(n−1)\overline{X}-\frac{S}{\sqrt{n}}t_{\alpha}(n-1)，单侧置信上限为 X‾+Sntα(n−1)\overline{X}+\frac{S}{\sqrt{n}}t_{\alpha}(n-1)。

# 4.2 方差的置信区间

μ\mu 已知

μ\mu 已知时，取枢轴量 G=1σ2∑i=1n(Xi−μ)2∼χ2(n)G=\frac{1}{\sigma^{2}} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\sim \chi^2(n)，由 χ1−α/22(n−1)<G<χα/22(n−1)\chi_{1-\alpha/2}^2(n-1)<G<\chi_{\alpha/2}^2(n-1) 解得

∑i=1n(Xi−μ)2χα/22(n)<σ2<∑i=1n(Xi−μ)2χ1−α/22(n)\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{\alpha / 2}^{2}(n)}<\sigma^2<\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{1-\alpha/ 2}^{2}(n)}

故此时 σ2\sigma^2 的双侧置信区间为：

(∑i=1n(Xi−μ)2χα/22(n),∑i=1n(Xi−μ)2χ1−α/22(n))\left(\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{\alpha / 2}^{2}(n)}, \frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{1-\alpha/ 2}^{2}(n)}\right)

单侧置信下限为 ∑i=1n(Xi−μ)2χα/22(n)\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{\alpha / 2}^{2}(n)}，单侧置信上限为 ∑i=1n(Xi−μ)2χ1−α/22(n)\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{1-\alpha/ 2}^{2}(n)}。

μ\mu 未知

以 σ2\sigma^2 估计 S2S^2，得枢轴量 G=(n−1)S2σ2∼χ2(n−1)G=\frac{(n-1) S^{2}}{\sigma^{2}} \sim \chi^{2}(n-1)，由 χ1−α/22(n−1)<G<χα/22(n−1)\chi_{1-\alpha/2}^2(n-1)<G<\chi_{\alpha/2}^2(n-1) 解得

(n−1)S2χα/22(n−1)<σ2<(n−1)S2χ1−α/22(n−1) \frac{(n-1) S^{2}}{\chi_{\alpha / 2}^{2}(n-1)}<\sigma^{2}<\frac{(n-1) S^{2}}{\chi_{1-\alpha / 2}^{2}(n-1)}

故此时 σ2\sigma^2 的双侧置信区间为：

((n−1)S2χα/22(n−1),(n−1)S2χ1−α/22(n−1))\left(\frac{(n-1) S^{2}}{\chi_{\alpha / 2}^{2}(n-1)}, \frac{(n-1) S^{2}}{\chi_{1-\alpha / 2}^{2}(n-1)}\right)

单侧置信下限为 (n−1)S2χα/22(n−1)\frac{(n-1) S^{2}}{\chi_{\alpha / 2}^{2}(n-1)}，单侧置信上限为 (n−1)S2χ1−α/22(n−1)\frac{(n-1) S^{2}}{\chi_{1-\alpha / 2}^{2}(n-1)}。

# 4.3 置信区间的总结

待估参数其它参数情况估计函数及其分布置信区间μσ2已知X‾−μσ/n∼N(0,1)(X‾±σnzα/2)μσ2未知X‾−μS/n∼t(n−1)(X‾±Sntα/2(n−1))σ2μ已知1σ2∑i=1n(Xi−μ)2∼χ2(n)(∑i=1n(Xi−μ)2χα/22(n),∑i=1n(Xi−μ)2χ1−α/22(n))σ2μ未知(n−1)S2σ2∼χ2(n−1)((n−1)S2χα/22(n−1),(n−1)S2χ1−α/22(n−1)) \begin{array}{c|c} \hline \quad 待估参数\quad&\quad 其它参数情况\quad&\quad 估计函数及其分布\quad&\quad 置信区间\quad\\ \hline \\ \mu & \sigma^2已知 & \frac{\overline{X}-\mu}{\sigma / \sqrt{n}} \sim \mathrm{N}(0,1) & \left(\overline{X} \pm \frac{\sigma}{\sqrt{n}} z_{\alpha / 2}\right) \\ \\ \mu & \sigma^2未知 & \frac{\overline{X}-\mu}{S / \sqrt{n}} \sim t(n-1) &\left(\overline{X} \pm \frac{S}{\sqrt{n}} t_{\alpha / 2}(n-1)\right) \\ \\ \sigma^2 & \mu已知 & \begin{array}{l}{\frac{1}{\sigma^{2}} \displaystyle\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}} \\ {\sim \chi^{2}(n)}\end{array} &\left(\frac{\displaystyle\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{\alpha / 2}^{2}(n)}, \frac{\displaystyle\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{1-\alpha / 2}^{2}(n)}\right) \\ \\ \sigma^2 & \mu未知 & \begin{array}{l}{\frac{(n-1) S^{2}}{\sigma^{2}} \sim} \\ {\chi^{2}(n-1)}\end{array} &\left(\frac{(n-1) S^{2}}{\chi_{\alpha / 2}^{2}(n-1)}, \frac{(n-1) S^{2}}{\chi_{1-\alpha / 2}^{2}(n-1)}\right) \\ \\ \hline \end{array}
Last Updated: 2023-01-28 4:31:25