具体的分布

二项分布

定义：已知一次实验中成功的先验概率是$p$，做$n$次独立的实验，成功次数是一个Random Variable，这个Random Variable的分布可以通过先验概率和排列组合的方法计算出来。

公式$B(n, p)$:
$$p(i)=P(X=i)={n \choose i}p^i(1-p)^{n-i},\ \ i=0, 1, 2, .... n$$
$E[X]=np, Var(X)=np(1-p)$

Poisson分布

Poisson分布是已知随机变量的期望，和密度函数$P(X=i)=f(i, E(X))$

二项分布和Poisson分布的关系：现在考虑如果$p$很小，也就是事件发生的可能性很小，那么如果实验次数$n$也很小的话，基本不用实验了，发生的可能性很小。但是如果$n$很大，可以认为无穷大，二项分布$n$趋于无穷的时候得到Poisson分布。

既然$n$很大可以认为是无穷大，是个常数的所以Poisson分布的参数里不含$n$，只有期望$\lambda\approx np$($n$很大$p$很小$np$在有意思的范围)。比如一页书里面出现的错字，可以认为每个字都有错的可能，但是概率很小，这样我们就可以用Poisson分布了。
$$p(i)=P\{X=i\}=e^{-\lambda}\frac{\lambda^i}{i!},\ \ i=0, 1, 2, .... \infty$$
$e$的极限形式:
$$e^\lambda=\lim_{n\mapsto \infty}(1+\frac{\lambda}{n})^n$$
计算的时候还会用到$e$的级数形式:
$$e^\lambda=\sum_{j=0}^{\infty} \frac{\lambda^j}{j!}$$
Poisson分布的约束还可以进一步放松, 下面的近似方法称为Poisson Paradigm: 假设有$n$个事件, $p_i$是第$i$个事件发生的概率, 都很小, 而且这些事件不独立的话相关度也要很弱, 那么这些事件发生的发生的次数近似的是一个期望为$\sum_{i=1}^n p_i$的Poisson分布.

---

$$ \begin{align} p(i) &={n \choose i}p^i(1-p)^{n-i}\\ &=\frac{n!}{(n-i)!i!}(\frac{\lambda}{n})^i(1-\frac{\lambda}{n})^{n-i}\\ &=\frac{\lambda^i}{i!}(1-\frac{\lambda}{n})^{n}\left[\frac{n!}{(n-i)!}(\frac{1}{n})^i(1-\frac{\lambda}{n})^{-i}\right]\\ &=\frac{\lambda^i}{i!}(1-\frac{\lambda}{n})^{n}\left[\frac{n(n-1)\cdots(n-i+1)}{n^i}(1-\frac{\lambda}{n})^{-i}\right]\\ &\rightarrow \frac{\lambda^i}{i!}e^{-\lambda} \end{align} $$

---

multinomial分布：实验$n$次，每次实验结果可能有$r$种，第$i$种出现的概率是$p_i$，一个configuration可以由$x_1, x_2, \cdots, x_r$每种结果出现的次数来描述。 $$P(x_1, x_2, \cdots, x_r)=\frac{n!}{\prod_{i=1}^rx_i!}\prod_{i=1}^rp_i^r$$ $k$种$n$个元素的排列。

二项分布：两种物品，n次试验，每次取一个物品。
几何分布：两种物品，k次试验，每次取一个物品，最后一次得想要的。
超几何分布：两种物品，每次试验取n个物品。