Chapter 02 : 随机变量及其分布

约 1363 个字 2 张图片 预计阅读时间 7 分钟

随机变量

常见的两类试验结果：

• 示数的（降雨量、候车人数、发生交通事故的次数……）
• 示性的（明天天气、化验结果……）

设随机试验的样本空间为 $S$, 若 $X=X(e)$ 为定义在样本空间 $S$ 上的实值单值函数, $e\in S$ , 则称 $X=X(e)$ 为随机变量

常用大写字母 $X,Y,Z$ 来表示随机变量，用小写字母 $x,y,z$ 表示其取值。

一般地，若 $I$ 是一个实数集合，则 $\{X\in I\}$ 为事件 $\{e:X(e)\in I\}$

常见的随机变量分为离散型、连续型

---

离散型随机变量

如果随机变量取有限个或可列个值，则此随机变量为离散型随机变量，而若其可能取值为 $\{x_i\}$，则称 $P\{X=x_k\}=p_k,k=1,2,...$ 为 $X$ 的概率分布律（Probability Mass Function），也可以用列表的方式表达。

因为样本空间 $S=\{X=x_1,X=x_2,...,X=x_n...\}$ 中各样本点两两不相容，所以：
$1=P(S)=\sum _{i=1}^{+\mathrm{\infty }}P(X=x_i)=\sum _{i=1}^{+\mathrm{\infty }}{p}_i$

---

两点分布

如果随机变量 $X$ 的概率分布律为：

X	0	1
P	1-p	p

$P\{X=k\}=p^k(1-p{)}^{1-k},k=0\mathrm{或}1$

则称 $X$ 为服从参数为 $p$ 的 0−1 分布，也称为两点分布，并记为 $X\sim B(1,p)$ 或者 $X\sim 0-1(p)$

定义伯努利（Bernoulli）试验为：在 $n$ 次独立重复试验中，每次只有 $A$ 和 $\bar{A}$ 两种结果，且概率不变，则这一系列试验为伯努利试验。

---

二项分布

若随机变量 $X$ 表示 $n$ 重伯努利实验中事件 $A$ 发生的次数，其概率分布律为$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,...,n$

则称 $X$ 为服从参数为 $(n,p)$ 的二项分布（Binomial Distribution），并记为 $X\sim B(n,p)$

根据二项式定理，二项分布有性质：$\sum _{k=0}^n{C}_n^k{p}^k(1-p{)}^{n-k}=1$

• 如果遇到来自于两点分布的总体的，容量为 $n$ 的样本的均值 $\bar{X}$，则有 $n\cdot \bar{X}=\sum _{i=1}^n{X}_i\sim B(n,p)$

---

泊松分布

如果随机变量 $X$ 的概率分布律为 $P(X=k)=\frac{e^{-\lambda }{\lambda }^k}{k!},k=0,1,2,...$

其中 $\lambda >0$，则称 $X$ 服从参数为 $\lambda$ 的泊松分布（Poisson distribution），记做 $X\sim P(\lambda )$

当 $n$ 足够大，$p$ 充分小(一般要求 $n\ge 20,p\le 0.1$)，且 $np$ 保持适当大小时，参数为 $(n,p)$ 的二项分布可以用泊松分布近似描述，其中 $\lambda =np$，即 $C_n^k{p}^k(1-p{)}^{n-k}\sim \frac{e^{-\lambda }{\lambda }^k}{k!}(n\to +\mathrm{\infty },p<ϵ,\lambda =np)$

Proof

$$\begin{array}{rl}{C}_n^k{p}^k(1-p{)}^{n-k}& =\frac{n!}{k!(n-k)!}(\frac{\lambda }{n}{)}^k(1-\frac{\lambda }{n}{)}^{n-k}\\ & =\frac{{\lambda }^k}{k!}\frac{n(n-1)...(n-k+1)}{n^k}\frac{[(1-\frac{\lambda }{n}{)}^{-\frac{n}{\lambda }}{]}^{-\lambda }}{(1-\frac{\lambda }{n}{)}^k}\end{array}$$

当 $n$ 充分大，$\lambda$ 适当时，$\frac{n(n-1)...(n-k+1)}{n^k}\approx 1,(1-\frac{\lambda }{n}{)}^k\approx 1,[(1-\frac{\lambda }{n}{)}^{-\frac{n}{\lambda }}{]}^{-\lambda }\approx e^{-\lambda }$

---

超几何分布

如果随机变量 $X$ 的概率分布律为 $P\{X=k\}=\frac{C_a^k{C}_b^{n-k}}{C_{a+b}^n},k=l_1,l_1+1,...,l_2,l_1=max\{0,n-b\},l_2=min\{n,a\}$

则称 $X$ 为服从超几何分布（Hypergeometric Distribution），并记为 $X\sim H(n,a,N)$

• 其意义为，如：$a$ 白球，$N-a$ 红球，取 $n$ 次得到 $X$ 个白球

---

几何分布

如果随机变量 $X$ 的概率分布律为 $P\{X=k\}=p(1-p{)}^{k-1},k=1,2,...$

则称 $X$ 为服从参数为 $p$ 的几何分布（Geometric Distribution），记为 $X\sim G(p)$

• 其意义为事件 $A$ 发生的概率为 $p$，则 $X$ 为第一次发生 $A$ 的时候，经历了多少次试验

---

连续型随机变量

分布函数

定义：设 $X$ 为随机变量，$x$ 为任意实数，函数 $F(x)=P\{X\le x\}$ 为随机变量 $X$ 的概率分布函数，简称为分布函数（Distribution Function）。（离散随机变量同样可以有分布函数）

则有结论：$P\{x_1<X\le x_2\}=P\{X\le x_2\}-P\{X\le x_1\}=F(x_2)-F(x_1)$

当 $X$ 为离散型随机变量时，设 $X$ 的概率分布律为 $P\{X=x_i\}=p_i,i=1,2,...$，则 $X$ 的分布函数为 $F(x)=P\{X\le x\}=\sum _{x_i\le x}P\{X=x_i\}$

关于 $F(x)$ 有以下结论：

• $F(x)$ 单调不减；
• $0\le F(x)\le 1$ 且 $F(-\mathrm{\infty })=0$，$F(+\mathrm{\infty })=1$；
• $F(x)$ 右连续，即 $F(x+0)=F(x)$；
• $P(a<X\le b)=F(b)-F(a)$；
• $P\{X=a\}=P\{X\le a\}-P\{X<a\}=F(a)-\underset{x\to a^{-}}{lim}P\{X\le x\}=F(a)-F(a-0)$

---

密度函数

如果对于随机变量 $X$，其分布函数为 $F(x)$，若存在一个非负的实函数 $f(x)$，使对于任意实数 $x$，有 $F(x)={\int }_{-\mathrm{\infty }}^{x}f(t)dt$，则称 $X$ 为连续型随机变量，并且称 $f(x)$ 为 $X$ 的概率密度函数（Probability Density Function），简称为密度函数。

关于 $f(x)$ 有以下结论：

• $f(x)\ge 0$；
• ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)dx=1$；
• $\mathrm{\forall }{x}_1,x_2\in \text{R}(x_1<x_2),P\{x_1<X\le x_2\}=F(x_2)-F(x_1)={\int }_{x_1}^{x_2}f(t)dt$；
• 在 $f(x)$ 的连续点 $x$ 处，$F^{\prime }(x)=f(x)$
• $P\{X=a\}=0$，即连续型随机变量任取一个定值的概率为零，因此连续型随机变量落在开区间与相应闭区间上的概率相等；

---

均匀分布

设随机变量 $X$ 有密度函数：

$$f(x)=\{\begin{array}{l}\begin{array}{rl}\frac{1}{b-a}& ,x\in (a,b)\\ 0& ,\text{else}\end{array}\end{array}$$

则称 $X$ 服从区间 $(a,b)$ 上的均匀分布，并记为 $X\sim U(a,b)$

而得到对应的分布函数为：

$$F(x)=\{\begin{array}{llll}0& x<a\frac{x-a}{b-a}& a\le x<b1& x\ge b\end{array}$$ ​

---

指数分布

若随机变量 $X$ 具有密度函数：

$$f(x)=\{\begin{array}{l}\begin{array}{r}\lambda e^{-\lambda x},x>0\\ 0,x\le 0\end{array}\end{array}$$

也有地方写成这样：

$$f(x)=\{\begin{array}{l}\begin{array}{r}\frac{1}{\theta }{e}^{-\frac{1}{\theta }x},x>0\\ 0,x\le 0\end{array}\end{array}$$

其中 $\lambda >0$，则称 $X$ 服从参数为 $\lambda$ 的指数分布（Exponential Distribution），记为 $X\sim E(\lambda )$

指数分布对应的分布函数为：

$$F(x)={\int }_{-\mathrm{\infty }}^{x}f(t)dt=\{\begin{array}{l}\begin{array}{r}1-e^{-\lambda x},x>0\\ 0,x\le 0\end{array}\end{array}$$

• 指数分布具有无记忆性，即 $P(X>s|X>t_0)=P(X>s-t_0)$

---

正态分布

如果随机变量 $X$ 具有密度函数：

$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},|x|<+\mathrm{\infty }$$

其中 $\sigma >0,|\mu |<+\mathrm{\infty }$ 为常数，则称 $X$ 服从参数为 $(\mu ,\sigma )$ 的正态分布（Normal Distribution / Gauss Distribution），或者称 $X$ 为正态变量，记为 $X\sim N(\mu ,{\sigma }^2)$。

其对应的分布函数为：

$$F(x)={\int }_{-\mathrm{\infty }}^x\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}dt$$

在上面出现的式子中，$\mu$ 为位置参数，决定了分布图像的对称轴位置；$\sigma$ 为尺度参数，决定了形状，$\sigma$ 越小，图像越集中。

特别地，当 $\mu =0,\sigma =1$ 时，如果记这时的正态变量为 $Z$，即 $Z\sim N(0,1)$ 则它服从标准正态分布（Standard Normal Distribution）。则其密度函数为：$\phi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}},|x|<+\mathrm{\infty }$

则对应的分布函数为 $\mathrm{\Phi }(x)={\int }_{-\mathrm{\infty }}^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt$，显然有 $\mathrm{\Phi }(x)+\mathrm{\Phi }(-x)=1$

由于大部分情况下其无法计算，所以我们需要查表获得具体值，以下为标准正态分布表：

• https://www.shuxuele.com/data/standard-normal-distribution-table.html
• https://www.chip1stop.com/sp/knowledge/019_normal-distribution-table_zh

---

有关正态分布的重要结论：

• 若 $X\sim N(\mu ,{\sigma }^2)$，则 $Y=aX+b\sim N(a\mu +b,a^2{\sigma }^2)$
  • 标准化：特别地，若 $X\sim N(\mu ,{\sigma }^2)$，则 $\frac{X-\mu }{\sigma }\sim N(0,1)$；
  • 即正态分布的随机变量线性变换后正态性不变；
• ${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{e}^{-\frac{x^2}{A}}dx=\sqrt{A\pi }(A>0)$（可以根据正态分布 $N(0,\frac{A}{2})$ 推出）

对于不是标准正态分布的正态分布，我们可以标准化来转换为标准正态分布：

• 若 $X\sim N(\mu ,{\sigma }^2)$，则 $P\{a<X<b\}=P\{\frac{a-\mu }{\sigma }<\frac{X-\mu }{\sigma }<\frac{b-\mu }{\sigma }\}=\mathrm{\Phi }(\frac{b-\mu }{\sigma })-\mathrm{\Phi }(\frac{a-\mu }{\sigma })$
  • 特别地，若 $X\sim N(\mu ,{\sigma }^2)$，则 $P\{|X-\mu |<k\sigma \}=\mathrm{\Phi }(k)-\mathrm{\Phi }(-k)=2\mathrm{\Phi }(k)-1$
• $3\sigma$ 法则

---

随机变量函数的分布

如果：

• $X$ 为连续型随机变量，且其密度函数为 $f_X(x)$；
• 随机变量 $Y=g(X)$；
• 函数 $y=g(x)$ 为一严格单调（增/减）函数
• 函数 $y=g(x)$ 可微

则记 $y=g(x)$ 的反函数为 $x=h(y)$，得到 $Y$ 的密度函数为：$f_Y(y)=\{\begin{array}{l}\begin{array}{r}{f}_X(h(y))\times |h^{\prime }(y)|,y\in D\\ 0,y\notin D\end{array}\end{array}$，其中 $D$ 为 $y=g(x)$ 的值域

---

一般情况下，当没有第三个条件时，常规方法如下：

• 先找自变量 $y$ 的分段点
  • 将 $x$ 的分段代入 $y=g(x)$ 得到 $y$ 的分段
  • 有时还需要求 $y=g(x)$ 的最值
• 再根据以上分段点，分区间求 $F_Y(y)=P\{Y\le y\}\stackrel{\mathrm{代}\mathrm{入}}{=}P\{g(x)\le y\}={\int }_{\mathrm{区}\mathrm{间}}{f}_X(x)dx$
• 求导，$f_Y(y)=F_Y^{\prime }(y)$

Example

设 $X\sim f_X(x)=\{\begin{array}{ll}\frac{x}{8}& 0<x<4\\ 0& \mathrm{其}\mathrm{他}\end{array}$，求 $Y=2X+8$ 的密度函数 $f_Y(y)$

常规方法特殊方法

先找自变量 $y$ 的分段点，$y=8,16$

分区间：

• 当 $y<8$ 时，$F_Y(y)=P\{Y\le y\}=P\{2x+8\le y\}=P\{x\le \frac{y-8}{2}\}={\int }_{-\mathrm{\infty }}^{\frac{y-8}{2}}{f}_X(x)dx=0$
• 当 $8\le y<16$ 时，$F_Y(y)=P\{Y\le y\}={\int }_{-\mathrm{\infty }}^{\frac{y-8}{2}}{f}_X(x)dx={\int }_{-\mathrm{\infty }}^{0}0dx+{\int }_0^{\frac{y-8}{2}}\frac{x}{8}dx=\frac{(y-8{)}^2}{64}$
• 当 $y\ge 16$ 时，$F_Y(y)=P\{Y\le y\}={\int }_{-\mathrm{\infty }}^{\frac{y-8}{2}}{f}_X(x)dx={\int }_{-\mathrm{\infty }}^{0}0dx+{\int }_0^4\frac{x}{8}dx+{\int }_4^{\frac{y-8}{2}}{f}_X(x)dx=1$

综上 $F_Y(y)=\{\begin{array}{ll}0& y<8\\ \frac{(y-8{)}^2}{64}& 8\le y<16\\ 1& y\ge 16\end{array}$

求导得 $f_Y(y)=F_Y^{\prime }(y)=\{\begin{array}{ll}\frac{1}{32}(y-8)& 8\le y<16\\ 0& \mathrm{其}\mathrm{他}\end{array}$

$y=2x+8$ 反函数为 $x=\frac{y-8}{2}=h(y)$

用公式得 $f_Y(y)=\{\begin{array}{ll}{f}_X(h(y))|h^{\prime }(y)|=\frac{y-8}{16}·\frac{1}{2}=\frac{y-8}{32}& 8<y<16\\ 0& \mathrm{其}\mathrm{他}\end{array}$

评论