概率论复习
一元随机变量||CDF 和PDF的性质||$\Gamma$函数
一元随机变量
定义在样本空间上的实值函数$x=x_n$称为随机变量。
【Attention】
- 相同样本空间却有不同的随机变量
- 统计学研究对象是数字/时数：所以统计学往往研究的是结构化的东西。
离散随机变量和连续随机变量怎么刻画？
离散随机变量：取值有限个。
CDF和PDF
分布函数的三个性质：(后续定理证明的一些基础)
- 单调性
- 连续性
- 有界性：F($-\infin$)=0;
Gamma函数
$\Gamma(x)=\int_0^{\infin}x^{\alpha-1}e^{-x}dx,\alpha>0$
Gamma分布
$f_X(x)=\frac{x^{\alpha-1}\lambda^{\alpha}e^{-\lambda x}}{\Gamma(\alpha)}$,其中x>=0；0，otherwised.
性质
- $\Gamma(1)=1$
- $\Gamma(\frac{1}{2})=\sqrt{\pi}$
- $\Gamma(\alpha+1)=\alpha·\Gamma(\alpha)$ 【用的最多的性质，理解记忆可把该函数看成实数域上的阶乘，不太一样诶，那就分布积分法吧】
统计中重要的计算技巧，构成密度函数的积分，密度在定义域上积分为1 。
- 若一r.v.X 满足：[trick 待补充]
$$
p(x)=\begin{cases}\frac{\lambda^{\alpha}}x{\Gamma(\alpha)}\end{cases}
$$
特例
- $\Gamma(1,\lambda)$是指数分布，$\alpha=1$
- $\alpha=\frac{n}{2},\lambda=\frac{1}{2}$时，Gamma分布是自由度为n的卡方分布，记为$\Chi^2(n)$
Beta分布
Beta函数
B(a,b)=$\int_0^1x^{a-1}(1-x)^{b-1}dx$，a>0,b>0,x$\in(0,1)$
$x^{a-1}(1-x)^{b-1}$是核，核确定即密度函数确定。
$\beta$函数与$\Gamma$函数的关系
$B(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$;
性质
B(a,b)=B(b,a)；将1-x换成y再积分。
$\beta$分布：
$p(x)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1},0<x<1\0,otherwised;$
将$X～Be(a,b)$，称X服从贝塔分布
期望
推导
$E(x)=\int_0^1x\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1}dx$
=$\frac{\Gamma(a+1)\Gamma(a+b)}{\Gamma(a+1+b)\Gamma(a)}\int_0^1\frac{\Gamma(a+1+b)}{\Gamma(a+1)\Gamma(b)}x^{a+1-1}(1-x)^{b-1}dx$
=$\frac{a}{a+b}$,后面这个积分，是Y~$\Beta(a+1,b)$
【看这里，很明显的一个概率密度函数被配凑出来了，就是概率密度函数的积分为1好算而已，没啥技巧性
=$\frac{a}{a+b}$;
其中$x^{a+1-1}$，再去配那个系数，同时再用Gamma函数最重要的那个性质(阶乘递推性)；
方差
$Var(X)=E[x^2]-E^2[x]$
求$x^2$的用法是类似的。
$Var(X)=\frac{ab}{(a+b+1)(a+b)^2}$
尽可能的凑成一个密度函数的形式去积分
特例
当a=1,b=1时，$\beta(X)=1,$即$Beta(1,1)$=$U（0，1）$,这里U表示均匀分布
正态分布
对正态分布掌握的多深，统计学的多好。
$f(x)=\frac{1}{\sqrt{2\pi\sigma}}exp{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}$
=$\frac{1}{\sqrt{2\pi}}(\sigma^2)^{-\frac{1}{2}} exp{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}$
这样写是为了单纯保证方差的形式?
$N(\mu,\sigma^2)$,$N(0,1)$【标准正态分布】
均匀分布(区间等概率)
可定义在任何的ab区间
泊松分布
Possion($\lambda$)
刻画记数随机变量
指数分布
Exp($\lambda$)
除常见形式外的另外一个形式：$\theta=\lambda^{-1}$，以期望的形式刻画
$p(x)=\frac{1}{\theta}e^{-\frac{x}{\theta}},x>0$
用指数分布刻画寿命(非负),x$\ge0$
一元随机变量函数的分布
$X$是一元(连续)r.v. $g(X)$也是随机变量，已知$F(X)$,求$g(X)$这个随机变量的分布。
仅仅是因为离散比较好求
Case1：$g(X)$是严格单调函数
定理
设一个r.v.X 是连续r.v.其pdf是p(x)，随机变量Y=g(X)是一个r.v.
其反函数h(y)=x的导数存在且连续(存在连续的导函数)，那么我们说$Y=g(X)$的pdf,$P_{Y}(y)$(随机变量Y取值为y的时候的分布)
$$
P_Y(y)=\begin{cases}P_X[h(y)]|h’(y)|&&a<y<b\0&&otherwised\end{cases}
$$
若$x\in(x_1,x_2),g(X)\in(g(x_1),g(x_2))$单增单减相同。
$x=h(y),P_Y(y)=P_X(h(y))｜h’(y)｜,y\in(a,b),(a,b)$是x的值域
注意这个地方有一个绝对值，因为密度函数是非负的。多元是Jaccobian行列式，行列式外还要求绝对值。
例子
- 若$x$
$\Gamma(\alpha,\lambda)$,对k>0,$kx$$\Gamma(\alpha,\lambda/k)$
证明:
令g(x)=kx,g(x)是一个严格的单调增函数，其反函数x=h(y)=y/k.
那么存在x=h(y)存在连续导函数为h’(y)=1/k.
取值范围：x是gamma函数,所以x>=0.所以y$\in[0,+\infin)$
所以$P_Y(y)=P_X(h(y))|h’(y)|$
=$P_X(y/k)|\frac{1}{k}|=\frac{\lambda^{\alpha}}{k\Gamma(\alpha)}(\frac{y}{k})^{\alpha-1}exp(-\lambda\frac{y}{k})$
这一结论是很有用的，譬如当$X$～Ga(a,$\lambda$),则$2\lambda X～Ga(a,1/2)=\Chi^2(2a)$
即，任意Gamma分布可以转化为卡方分布。
Case2:特例g(X)=F(X)的分布(对x做分布变换套娃)
设X的分布函数是F(X)，这里Y=G(X)=F(X),求随机变量Y的分布
定理
若随机变量X的分布函数F(X),F(X)作为分布函数本身的性质是单调增的，这里只需要将它限制在严格单增上，其反函数$F^{-1}_X(y)$(的导数连续且)存在，则Y=F(X)，随机变量Y的分布服从U(0,1)，即是[0,1]上的分布函数。
证明：对于任意y<0.分布函数是>0的，{Y<=y}是不可能事件，
对任意y>=1,{Y<=y}是必然事件。
0<=y<1:
$F_Y(y)=P(Y<=y)=P(F_X(X)<=y)$
因为$F_X(X)$是严格单增的，所以$P(F_X(X)<=y)=P(X<=F^{-1}_X(y))=F_X(F^{-1}_X(y))=y$
得证。
例子：求一个给定分布的随机数
X~Exp($\lambda$),
在统计中做simulation.
指数分布族的分布函数$F_X(x)=1-e^{-\lambda x}$
U=$F_X(X)=1-e^{-\lambda X}～U(0,1)$
从$U(0,1)$抽一个$U_1,U_2,U_3,….,U_n$是可以做到的。【假设现在的计算机可以做到，那我得到u,就可以得到x】
由U=$1-e^{-\lambda X}$，所以$X_i=\frac{1}{-\lambda}ln(1-U_i)$
应用中的经典应用，求一个很复杂的分布族的采样。
Case3:x～N(0,1);求$X^2$的分布?$X^2$服从一个卡方分布
卡方分布是3大抽样分布之一。
解：$Y=X^2$
$F_Y(y)=P(Y\le y)=P(X^2\le y)(y>0)=P(-\sqrt{y}\le X \le \sqrt{y})=2\Phi(\sqrt{y})-1$
P(y)=F’(y),复合函数求导，求导出来是一个Gamma分布
p(y)=2f_x($\sqrt{y}$)$\frac{1}{-2\sqrt{y}}$,
p(y)=$\frac{1}{\sqrt{2\pi}}exp(-y/2)\frac{1}{-2\sqrt{y}}$
$\lambda=\frac{1}{2}$,与Gamma分布的表达式对比之后，Y~Ga($\frac{1}{2},($\frac{1}{2}$)
Q：标准正态分布的累积分布函数？ 不需要知道，这里也是导数，即$\Phi(x)$的形式不需要知道。
1.2 多元随机变量
多项分布，r项分布(?)
多项分布是二项分布的推广
$X ～b(n,p)$
- n个独立重复的实验
- 每次实验有r个结果{$A_1,A_2,….,A_r$}
- $P(A_i)=p_i$
那么$(X_1,X_2,…,X_r)$取值为$(n_1,n_2,…,n_r)$的概率$P(X_1=n_1,X_2=n_2,…,X_r=n_r)$=$\frac{n!}{n_1!n_2!n_3!…n_r!}p_1^{n_1}p_2^{n_2}p_3^{n_3}….p_r^{n_r}$,
其中$\sum_i^rn_i=n$
也由于这个限制，它是一个r-1维的随机变量。
理解：$X_i$表示在n次投掷中i出现的次数，$X_i$的取值就是n选r的那个r.
