常见概率分布模型

正态分布

正态分布也叫高斯分布，是最常见的一种概率分布。

随机变量X服从一个数学期望为 $u$ , 方差为 $\delta^2$ 的正态分布记为 $N(u, \delta^2)$ ，其概率密度函数为:

$$f(x) = N(u, \delta^2) = \dfrac{1}{\delta \sqrt{2\pi}}e^{-\dfrac{(x-u)^2}{2\delta^2}}$$

当 $u = 0, \delta=1$ 时的正态分布叫做标准正态分布，记为 $N(0, 1)$ 。

正态分布转标准正态分布方法：

​ 若 $X \sim N(u, \delta^2)$ , 则 $Y = \dfrac{X - u}{\delta} \sim N(0, 1)$

正态曲线区间面积计算：

$$f\{|x-u|< \delta \} = 0.6826 \\ f\{|x-u|< 2\delta \} = 0.9544 \\ f\{|x-u|< 3\delta \} = 0.9974$$

其他相关：

• 中心极限定理1：把许多未知的小作用加起来看作一个变量，这个变量服从正态分布
• 中心极限定理2：“大量统计独立的随机变量的和” 的分布趋于正态分布

伯努利分布

伯努利分布是一个二值（结果只有0和1两种）离散分布。

随机变量X值为1的概率为$p$, 值为0的概率 $q=1-p$

伯努利分布的公式如下：

$$f(x) = \begin{cases} p, & x = 1 \\ 1 - p, & x = 0 \end{cases}$$

使用一行等式的写法如下：

$$f(x) = p^x \cdot (1-p)^{1-x}$$

其中 x 的取值只能是 1 或者 0。

• 期望

$$E(x) = 1 \ast p + 0 \ast (1-p) = p$$

• 方差

$$\begin{align} D(x) & = (1-E(x))^2 \ast p + (0-E(x)^2 \ast (1-p)\\ & = (1-p)^2 \ast p + (0-p)^2 \ast (1-p)\\ & = p - p^2 \\ & = p ( 1 - p) \\ & = pq \end{align}$$

没错！伯努利分布就是这么简单，简单到感觉没什么用

二项分布

二项分布是 $n$ 个独立二值实验中成功的次数的离散概率分布（n次伯努利实验，一次伯努利实验得到一个伯努利分布）。

随机变量X服从参数n和p的二项分布记为： $b(n,p)$ 或者 $B(n, p)$ 。 n次实验中k次成功的概率密度函数为：

$$f(k; n, p) = C_n^k p^k (1-p)^{n-k}$$

其中 $C_n^k$ 是二项式系数： $C_n^k = \dfrac{n!}{k!(n-k)!}$

二项分布来源于牛顿二项式： $(a+b)^n = \sum_{k=0}^n C_n^k a^{k} b^{n-k} $

• 二项分布的期望是伯努利分布期望的n倍: $E(X) = np$
• 二项分布的方差是伯努利分布方差的n倍: $D(X) = np(1-p)$

负二项分布（几何分布）

负二项与二项分布类似，二项分布是固定n次实验求得k次成功的概率。

而负二项分布是一直实验直到一次成功时停止实验，求得所需进行实验次数k的概率。

其概率分布公式如下:

$$f(x) = p (1-p)^{k-1}$$

• 期望

$$E(x) = \sum_{n=1}^{\infty} n * p * (1-p)^{n-1} = p * \sum_{n=1}^{\infty} ((1-p)^n)^{'} = \dfrac{1}{p}$$

• 方差

$$D(x) = \dfrac{(1-p)}{p^2}$$

超几何分布

它描述了由有限个物件中抽出 n 个物件，成功抽出指定种类的物件的次数（不归还）。

在产品质量的不放回抽检过程中，假定 N 件产品中有 m 个是不及格的。

超几何分布描述了在该 N 件产品中抽出 n 个，其中 k 个是不及格的概率： $f(k; n,m,N) = \dfrac{C_m^k C_{N-m}^{n-k}}{C_N^n}$

若随机变量X服从参数 n, m 和 N 的超几何分布，则记为 $X \sim H(n, m, N)$

• 期望

$$E(X) = \dfrac{nm}{N}$$

• 方差

$$D(X) = \dfrac{nm}{N} - (\dfrac{nm}{N})^2 + \dfrac{n(n-1)m(m-1)}{N(N-1)}$$

多项分布

多项式分布是二项式分布的推广。他们的区别是二项式的结果只有0和1两种，多项式的结果可以有多个值。

多项式分布典型的例子是扔骰子，六个点对应6个不同的数，每个点的概率都为 1/6。 $P(X_1=x_1,...,X_k=x_k) = \begin{cases} \dfrac{n!}{x_1! \cdots x_k!}(p_1^{x_1} \cdots p_k^{x_k}) & when \sum_{i=1}^n x_i = n\\ 0 & otherwise \end{cases}$

二项式类似，多项式分布来自于 $(p_1 + p_2 + \cdots + p_k)^n $ 多项式的展开。

泊松分布

贝塔分布

狄利克雷分布

期望和方差关系

$$\begin{align} D(X) &= E([ X - E(X) ]^2) \\ &= E( X^2 - 2XE(X) + E(X)^2 \\ & = E(X^2) - 2E(X)E(X) + E(X)^2 \\ & = E(X^2) - E(X)^2 \end{align}$$

其中因为 $E(X)$ 是一个常数, 所以 $E(E(X)) = E(X)$ ， $E(E(X)^2) = E(X)^2$