随机事件与概率

事件关系与运算

互斥事件：若事件A与B不同时发生，即 $AB = \varnothing$
对立事件：若 $AB = \varnothing$ 且 $A \cup B = \Omega$ ，则A与B互为对立事件。
德摩根律： $\overline{A \cup B} = \overline{A} \cap \overline{B}$

概率性质

非负性: $0 \leq P(A) \leq 1$
规范性: $P(S)=1$
加法公式： $P(A \cup B) = P(A) + P(B) - P(AB)$
对立事件概率： $P(\overline{A}) = 1 - P(A)$

古典概型

基本原理

加法原理
乘法原理
容斥原理

排列组合

排列数 $A^k_n = \dfrac{n!}{(n-k)!}$
组合数 $C^k_n = \dfrac{n!}{(n-k)!k!}$

条件概率

条件概率： $P(A|B) = \frac{P(AB)}{P(B)}$ （ $P(B) > 0$ ）
独立性：若 $P(AB) = P(A)P(B)$ ，则事件A与B独立，此时 $P(A|B) = P(A)$

全概率公式: $P(A)=\sum\limits_{i = 1}^{n}P(B_i)P(A|B_i)$

贝叶斯公式： $P(B_j|A)=\dfrac{P(B_j)P(A|B_j)}{\sum_{i = 1}^{n}P(B_i)P(A|B_i)}$

一维随机变量分布

分布类型	分布记法	概率分布/概率密度函数	期望 $E(X)$	方差 $D(X)$
离散型	0-1分布 $X \sim B(1, p)$	$P(X = k) = p^k(1 - p)^{1 - k}, \, k = 0, 1$	$p$	$p(1 - p)$
	二项分布 $X \sim B(n, p)$	$P(X = k) = \mathrm{C}_n^k p^k (1 - p)^{n - k}, \, k = 0, 1, \dots, n$ （其中 $\mathrm{C}_n^k = \frac{n!}{k!(n - k)!}$ ）	$np$	$np(1 - p)$
	泊松分布 $X \sim P(\lambda)$	$P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \, k = 0, 1, 2, \dots$ （ $\lambda > 0$ 为参数）	$\lambda$	$\lambda$
	几何分布 $X \sim G(p)$	$P(X = k) = p(1 - p)^{k-1}, \, k = 1, 2, \dots$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
连续型	均匀分布 $X \sim U(a, b)$	概率密度： $f(x) = \begin{cases} \frac{1}{b-a}, & a < x < b \\ 0, & \text{其他} \end{cases}$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$
	指数分布 $X \sim E(\lambda)$	概率密度： $f(x) = \begin{cases} \lambda e^{-\lambda x}, & x \geq 0 \\ 0, & x < 0 \end{cases}$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$
	正态分布 $X \sim N(\mu, \sigma^2)$	概率密度： $f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}, \, -\infty < x < +\infty$	$\mu$	$\sigma^2$
	伽马分布 $X \sim \Gamma(\alpha, \beta)$	概率密度： $f(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}, \, x > 0$ （其中 $\Gamma(\alpha)$ 为伽马函数）	$\frac{\alpha}{\beta}$	$\frac{\alpha}{\beta^2}$

求 $Y =g(x)$ 的概率密度函数
$F_Y(y) = P(Y\le y) = P(g(x)\le y) = P(x\le h(y) = F_x(h(y)))$

$f_Y(y) = f_x(h(y))\left|h'(y)\right|$

二维随机变量相关公式

分布函数:

F(x,y)=\int_{-\infty}^{x}\int_{-\infty}^{y}f(u,v)dudv

边缘分布函数：

F_X(x)=\int_{-\infty}^{x}\int_{-\infty}^{+\infty}f(u,v)dvdu

$X$ 的边缘概率密度：

f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy

条件概率密度

f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}

条件分布函数：

F_{X|Y}(x|y)=\int_{-\infty}^{x}\frac{f(u,y)}{f_Y(y)}du

独立条件

若 $X,Y$ 相互独立，则 $f(x,y)=f_X(x)f_Y(y)$ ， $F(x,y)=F_X(x)F_Y(y)$

随机变量函数的分布
设 $Z = g(X,Y)$ ，求其分布通常先求分布函数 $F_Z(z)$ ，再通过对分布函数求导等方式得概率密度。

当 $Z = X + Y$ 时，概率密度

f_Z(z)=\int_{-\infty}^{+\infty}f(x,z - x)dx

当 $M = \max\{X,Y\}$ 时，分布函数 $F_M(m)=F_X(m)F_Y(m)$
当 $N = \min\{X,Y\}$ 时，分布函数 $F_N(n)=1 - [1 - F_X(n)][1 - F_Y(n)]$

二维正态分布

\scriptsize f(x, y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \exp\left\{ -\frac{1}{2(1 - \rho^2)} \left[ \left( \frac{x - \mu_1}{\sigma_1} \right)^2 - 2\rho \left( \frac{x - \mu_1}{\sigma_1} \right)\left( \frac{y - \mu_2}{\sigma_2} \right) + \left( \frac{y - \mu_2}{\sigma_2} \right)^2 \right] \right\}

标准二维正态分布概率密度函数 $(μ₁=μ₂=0，σ₁²=σ₂²=1)$

\scriptsize f(x, y) = \frac{1}{2\pi\sqrt{1 - \rho^2}} \exp\left\{ -\frac{1}{2(1 - \rho^2)} \left( x^2 - 2\rho xy + y^2 \right) \right\}

数字特征

数学期望
- 对于 $X$ ： $E(X)=\int_{-\infty}^{+\infty}xf_X(x)dx$
- 对于 $Y = g(X)$ ： $E(Y)=\int_{-\infty}^{+\infty}g(x)f_X(x)dx$ （连续型，离散型为求和形式）
方差： $D(X)=E[(X - E(X))^2]$ ，也常用公式 $D(X)=E(X^2)-[E(X)]^2$
标准差： $\sigma(X)=\sqrt{D(X)}$
原点矩： $E(X^k)$
中心矩： $E[(X - E(X))^k]$
协方差： $Cov(X,Y)=E[(X - E(X))(Y - E(Y))]=E(XY)-E(X)E(Y)$
相关系数： $\rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

期望、方差相关的性质

$E(cX)=cE(X)$ （ $c$ 为常数）
$E(X_1 + X_2)=E(X_1)+E(X_2)$
若 $X,Y$ 相互独立，则 $E(XY)=E(X)E(Y)$ ，且 $E(X^2)\neq[E(X)]^2$
$D(X)=E(X^2)-[E(X)]^2$ ，其中 $E(X^2)=D(X)+[E(X)]^2$ (常用计算 E(X^2) 的方法 )
$D(cX)=c^2D(X)$ （ $c$ 为常数）
若 $X,Y$ 相互独立，则 $D(X + Y)=D(X)+D(Y)$ ；一般情况 $D(X + Y)=D(X)+D(Y)+2Cov(X,Y)$
$Cov(X,c)=0$ （ $c$ 为常数）
$Cov(aX,bY)=abCov(X,Y)$ （ $a,b$ 为常数）
$Cov(X_1 + X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
$Cov(X,Y)=E(XY)-E(X)E(Y)$

极限定理

切比雪夫不等式

$P(|X - E(X)| \geq \varepsilon) \leq \dfrac{D(X)}{\varepsilon^2}$

依概率收敛： $\lim\limits_{n\to \infty } P(|Y_n-a|< \varepsilon) = 1$

切比雪夫大数定律

若 $X_1, X_2, \cdots, X_n$ 独立同分布， $E(X_i) = \mu$ ， $D(X_i) = \sigma^2 < \infty$ ，则 $\bar{X} = \frac{1}{n}\sum\limits_{i=1}^n X_i \stackrel{P}{\to} \mu$

辛钦大数定理

若 $X_1, X_2, \cdots, X_n$ 独立同分布，数学期望 $E(X_i) = \mu$ ，
$\exists \varepsilon \ \ st. \lim\limits_{n\to \infty} P\left(\left|\frac{1}{n}\sum\limits_{i=1}^n X_i - \mu \right| < \varepsilon \right) = 1$

中心极限定理

若 $X_1, X_2, \cdots, X_n$ 独立同分布， $E(X_i) = \mu$ ， $D(X_i) = \sigma^2$ ，则 $\dfrac{\sum_{i=1}^n X_i - n\mu}{\sqrt{n}\sigma} = \dfrac{\bar{x} - \mu }{\delta/\sqrt{n}} \sim N(0,1)$ （ $n$ 充分大）

棣莫佛-拉普拉斯极限定理

$X_n \sim B(n,p)$ 泊松定理要求 λ=np (n很大时 p 很小)

$\dfrac{X_n - np}{\sqrt{np(1-p)}} \sim N(0,1)$ 一般 n,np 较大，用正态近似

数理统计

样本：随机性、独立性
统计量：不含未知参数
样本均值： $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$
期望： $E(\bar{X}) = \mu$ ，方差： $D(\bar{X}) = \frac{\sigma^2}{n}$

样本方差： $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ 期望： $E(S^2) = \sigma^2$

卡方分布

构造：若 $X_i \sim N(0,1)$ 且相互独立，则

$\chi ^2 = X_1^2 + X_2^2 + \cdots + X_n^2 \sim \chi^2(n)$

性质：
$\chi_1^2 \sim \chi^2(n_1)，\chi_2^2 \sim \chi^2(n_2)$ 且独立，则 $\chi_1^2 + \chi_2^2 \sim \chi^2(n_1 + n_2)$
$E(\chi^2) = n$ ， $D(\chi^2) = 2n$

t分布

构造：若 $X \sim N(0,1)，Y \sim \chi^2(n)$ 且相互独立，则
$T=\dfrac{X}{\sqrt{Y/n}} \sim t(n)$

性质：
$n > 1$ 时， $E(T) = 0$
$n > 2$ 时， $D(T) = \frac{n}{n-2}$
$t_{1-\alpha}(n) = -t_{\alpha}(n)$

F分布

若 $X \sim \chi^2(n_1)，Y \sim \chi^2(n_2)$ 且相互独立，则 $F = \dfrac{X/n_1}{Y/n_2} \sim F(n_1, n_2)$

性质：
$n_2 > 2$ 时， $E(F) = \dfrac{n_2}{n_2 - 2}$

$F_{1-\alpha}(n_1, n_2) = \dfrac{1}{F_{\alpha}(n_2, n_1)}$

三个定理

设 $X_1, X_2, \cdots, X_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的样本：

$\bar{X} \sim N\left( \mu, \dfrac{\sigma^2}{n} \right)$

$\dfrac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$

$\bar{X}$ 与 $S^2$ 相互独立

$\dfrac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$
$\dfrac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(n_1-1, n_2-1)$

参数估计

矩估计

总体分布： $F(x;\theta_1,\theta_2,\cdots,\theta_k)$
步骤

写出总体前 $k$ 阶原点矩

$\begin{cases} \mu_1 = \mu_1(\theta) \\ \mu_2 = \mu_2(\theta) \\ \vdots \\ \mu_k = \mu_k(\theta) \end{cases}$ 个数取决于估计量

解矩方程

$\begin{cases} \theta_1 = \theta_1(\mu) \\ \theta_2 = \theta_2(\mu) \\ \vdots \\ \theta_k = \theta_k(\mu) \end{cases}$
用样本值代替总体值，计算估计量 $\hat\theta$

极大似然估计

设总体分布律 $P(X = x;\theta)$ ，样本 $X_1,X_2,\cdots,X_n$ 取值 $x_1,x_2,\cdots,x_n$

步骤：

构造似然函数:

$L(\theta) = \prod\limits_{i=1}^n P(X_i = x_i;\theta)$

$L(\theta) = \prod\limits_{i=1}^n f(x_i;\theta) ——f$ 为概率密度函数

取对数将乘积转求和：

$\ln L(\theta) = \sum\limits_{i=1}^n \ln P(X_i = x_i;\theta)$

求导找极值:

对 $\ln L(\theta)$ 关于 $\theta$ 求导（多参数时, 对各个参数求偏导），
令： $\frac{\partial \ln L(\theta)}{\partial \theta} = 0$
解出 $\theta$ 的极大似然估计值（多参数解方程组，需验证极大值）。

例题1

题目

解析

设总体 $X \sim N(0,\sigma^2)$ ， $\sigma > 0$ ，设 $X_1,\cdots,X_n$ 是来自总体 $X$ 的样本， $x_1,\cdots,x_n$ 是样本值，根据这一样本，
(1)试求 $\sigma^2$ 的矩估计量 $\hat{\sigma}_M^2$ 和极大似然估计量 $\hat{\sigma}_L^2$ ；
(2)极大似然估计量 $\hat{\sigma}_L^2$ 是不是 $\sigma^2$ 的无偏估计量？

解：(1) $X \sim N(0,\sigma^2)$ ， $f_X(x)=\frac{1}{\sqrt{2\pi}\sigma}\mathrm{e}^{-\frac{x^2}{2\sigma^2}}$ ，

矩估计：可知 $\mu_2 = E(X^2) = \sigma^2 + 0 = \sigma^2$ ，

令 $\mu_2 = \sigma^2 = A_2 = \frac{1}{n}\sum_{i = 1}^{n}X_i^2$ ，得 $\hat{\sigma}_M^2 = A_2 = \frac{1}{n}\sum_{i = 1}^{n}X_i^2$ ，

极大似然估计：似然函数： $L(\sigma^2)=\prod_{i = 1}^{n}\frac{1}{\sqrt{2\pi}\sigma}\mathrm{e}^{-\frac{x_i^2}{2\sigma^2}} = (2\pi\sigma^2)^{-\frac{n}{2}}\mathrm{e}^{-\frac{\sum_{i = 1}^{n}x_i^2}{2\sigma^2}}$ ，

$\ln L(\sigma^2)= -\frac{n}{2}\ln(2\pi\sigma^2) - \frac{\sum_{i = 1}^{n}x_i^2}{2\sigma^2}$ ，求导： $\frac{\mathrm{d}\ln L(\sigma^2)}{\mathrm{d}\sigma^2}= -\frac{n}{2\sigma^2} + \frac{\sum_{i = 1}^{n}x_i^2}{2(\sigma^2)^2} = 0$ ，

得 $\hat{\sigma}_L^2 = \frac{1}{n}\sum_{i = 1}^{n}x_i^2$ ，从而极大似然估计量为. $\hat{\sigma}_L^2 = \frac{1}{n}\sum_{i = 1}^{n}X_i^2$ ；

(2) $E(\hat{\sigma}_L^2)=E\left(\frac{1}{n}\sum_{i = 1}^{n}X_i^2\right)=\frac{1}{n}\sum_{i = 1}^{n}E(X_i^2)=\frac{1}{n}\sum_{i = 1}^{n}\sigma^2 = \sigma^2$ ，因此， $\hat{\sigma}_L^2$ 是 $\sigma^2$ 的无偏估计.

估计量评价标准

无偏性：若 $E(\hat{\theta}) = \theta$ ，则 $\hat{\theta}$ 是 $\theta$ 的无偏估计。
有效性：若 $\hat{\theta}_1, \hat{\theta}_2$ 均为 $\theta$ 的无偏估计，且 $D(\hat{\theta}_1) < D(\hat{\theta}_2)$ ，则 $\hat{\theta}_1$ 更有效。
一致性：若 $\lim\limits_{n \to \infty} P(|\hat{\theta}_n - \theta| < \varepsilon) = 1$

置信区间

定义
$P(\underline{\theta} < \theta < \overline{\theta}) = 1 - \alpha$ 则 $(\underline{\theta}, \overline{\theta})$ 称为 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间

求解步骤

选取一个点估计
构建枢轴量
针对枢轴量选择区间
恒等变形

待估参数	条件	枢轴量及分布	置信区间（置信水平 $1 - \alpha$ ）
$\mu$	$\sigma^2$ 已知	$U = \frac{\overline{X} - \mu}{\sigma/\sqrt{n}} \sim N(0,1)$	$\left( \overline{X} \pm z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}} \right)$
$\mu$	$\sigma^2$ 未知	$T = \frac{\overline{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$	$\left( \overline{X} \pm t_{\alpha/2}(n-1) \cdot \frac{S}{\sqrt{n}} \right)$
$\sigma^2$	$\mu$ 已知	$\chi^2 = \frac{\sum_{i=1}^n (X_i - \mu)^2}{\sigma^2} \sim \chi^2(n)$	$\left( \frac{\sum(X_i - \mu)^2}{\chi^2_{\alpha/2}(n)}, \frac{\sum(X_i - \mu)^2}{\chi^2_{1-\alpha/2}(n)} \right)$
$\sigma^2$	$\mu$ 未知	$\chi^2 = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$	$\left( \frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)}, \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)} \right)$

例题

题目

解析

已知某种炮弹的炮口速度服从正态分布， $X \sim N(\mu,\sigma^2)$ ，现随机抽取 9 发进行随机试验，测得炮口速度的样本均值为 836（m/s），样本标准差为 11（m/s）。

(1) 求这种炮弹的炮口速度的方差 $\boldsymbol{\sigma^2}$ 的置信度为 0.95 的置信区间。

可能用到的数据：
$\chi_{0.95}^2(9) = 3.325, \chi_{0.95}^2(8) = 2.733, \chi_{0.05}^2(9) = 16.919, \chi_{0.05}^2(8) = 15.507$ ，
$\chi_{0.975}^2(9) = 2.70, \chi_{0.975}^2(8) = 2.18, \chi_{0.025}^2(9) = 19.023, \chi_{0.025}^2(8) = 17.533$ ，
$t_{0.025}(9) = 2.2622, t_{0.025}(8) = 2.3060, t_{0.05}(9) = 1.8331, t_{0.05}(8) = 1.8595$