统计与数据分析基础W1:概率论复习

阅读数: 16次 2020-09-15

概率论复习

一元随机变量||CDF 和PDF的性质|| $\Gamma$ 函数

一元随机变量

定义在样本空间上的实值函数 $x=x_n$ 称为随机变量。

【Attention】

相同样本空间却有不同的随机变量
统计学研究对象是数字/时数：所以统计学往往研究的是结构化的东西。

离散随机变量和连续随机变量怎么刻画？

离散随机变量：取值有限个。

CDF和PDF

分布函数的三个性质：(后续定理证明的一些基础)

单调性
连续性
有界性：F( $-\infin$ )=0;

Gamma函数

$\Gamma(x)=\int_0^{\infin}x^{\alpha-1}e^{-x}dx,\alpha>0$

Gamma分布

$f_X(x)=\frac{x^{\alpha-1}\lambda^{\alpha}e^{-\lambda x}}{\Gamma(\alpha)}$ ,其中x>=0；0，otherwised.

性质

$\Gamma(1)=1$
$\Gamma(\frac{1}{2})=\sqrt{\pi}$
$\Gamma(\alpha+1)=\alpha·\Gamma(\alpha)$ 【用的最多的性质，理解记忆可把该函数看成实数域上的阶乘，不太一样诶，那就分布积分法吧】

统计中重要的计算技巧，构成密度函数的积分，密度在定义域上积分为1 。

若一r.v.X 满足：[trick 待补充]
$p(x)=\begin{cases}\frac{\lambda^{\alpha}}x{\Gamma(\alpha)}\end{cases}$

特例

$\Gamma(1,\lambda)$ 是指数分布， $\alpha=1$
$\alpha=\frac{n}{2},\lambda=\frac{1}{2}$ 时，Gamma分布是自由度为n的卡方分布，记为 $\Chi^2(n)$

Beta分布

Beta函数

B(a,b)= $\int_0^1x^{a-1}(1-x)^{b-1}dx$ ，a>0,b>0,x $\in(0,1)$

$x^{a-1}(1-x)^{b-1}$ 是核，核确定即密度函数确定。

$\beta$ 函数与 $\Gamma$ 函数的关系

$B(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$ ;

性质

B(a,b)=B(b,a)；将1-x换成y再积分。

$\beta$ 分布：

$p(x)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1},0<x<1\0,otherwised;$

将 $X～Be(a,b)$ ，称X服从贝塔分布

期望

推导

$E(x)=\int_0^1x\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1}dx$

= $\frac{\Gamma(a+1)\Gamma(a+b)}{\Gamma(a+1+b)\Gamma(a)}\int_0^1\frac{\Gamma(a+1+b)}{\Gamma(a+1)\Gamma(b)}x^{a+1-1}(1-x)^{b-1}dx$

= $\frac{a}{a+b}$ ,后面这个积分，是Y~ $\Beta(a+1,b)$

【看这里，很明显的一个概率密度函数被配凑出来了，就是概率密度函数的积分为1好算而已，没啥技巧性

= $\frac{a}{a+b}$ ;

其中 $x^{a+1-1}$ ，再去配那个系数，同时再用Gamma函数最重要的那个性质(阶乘递推性)；

方差

$Var(X)=E[x^2]-E^2[x]$

求 $x^2$ 的用法是类似的。

$Var(X)=\frac{ab}{(a+b+1)(a+b)^2}$

尽可能的凑成一个密度函数的形式去积分

特例

当a=1,b=1时， $\beta(X)=1,$ 即 $Beta(1,1)$ = $U（0，1）$ ,这里U表示均匀分布

正态分布

对正态分布掌握的多深，统计学的多好。

$f(x)=\frac{1}{\sqrt{2\pi\sigma}}exp{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}$

= $\frac{1}{\sqrt{2\pi}}(\sigma^2)^{-\frac{1}{2}} exp{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}$

这样写是为了单纯保证方差的形式?

$N(\mu,\sigma^2)$ , $N(0,1)$ 【标准正态分布】

均匀分布(区间等概率)

可定义在任何的ab区间

泊松分布

Possion( $\lambda$ )

刻画记数随机变量

指数分布

Exp( $\lambda$ )

除常见形式外的另外一个形式： $\theta=\lambda^{-1}$ ，以期望的形式刻画

$p(x)=\frac{1}{\theta}e^{-\frac{x}{\theta}},x>0$

用指数分布刻画寿命(非负),x $\ge0$

一元随机变量函数的分布

$X$ 是一元(连续)r.v. $g(X)$ 也是随机变量，已知 $F(X)$ ,求 $g(X)$ 这个随机变量的分布。

仅仅是因为离散比较好求

Case1： $g(X)$ 是严格单调函数

定理

设一个r.v.X 是连续r.v.其pdf是p(x)，随机变量Y=g(X)是一个r.v.

其反函数h(y)=x的导数存在且连续(存在连续的导函数)，那么我们说 $Y=g(X)$ 的pdf, $P_{Y}(y)$ (随机变量Y取值为y的时候的分布)

$P_Y(y)=\begin{cases}P_X[h(y)]|h’(y)|&&a<y<b\0&&otherwised\end{cases}$

若 $x\in(x_1,x_2),g(X)\in(g(x_1),g(x_2))$ 单增单减相同。

$x=h(y),P_Y(y)=P_X(h(y))｜h’(y)｜,y\in(a,b),(a,b)$ 是x的值域

注意这个地方有一个绝对值，因为密度函数是非负的。多元是Jaccobian行列式，行列式外还要求绝对值。

例子

若 $x$ ~~$\Gamma(\alpha,\lambda)$ ,对k>0, $kx$~~ $\Gamma(\alpha,\lambda/k)$

证明:

令g(x)=kx,g(x)是一个严格的单调增函数，其反函数x=h(y)=y/k.
那么存在x=h(y)存在连续导函数为h’(y)=1/k.
取值范围：x是gamma函数,所以x>=0.所以y $\in[0,+\infin)$
所以 $P_Y(y)=P_X(h(y))|h’(y)|$

= $P_X(y/k)|\frac{1}{k}|=\frac{\lambda^{\alpha}}{k\Gamma(\alpha)}(\frac{y}{k})^{\alpha-1}exp(-\lambda\frac{y}{k})$

这一结论是很有用的，譬如当 $X$ ～Ga(a, $\lambda$ ),则 $2\lambda X～Ga(a,1/2)=\Chi^2(2a)$

即，任意Gamma分布可以转化为卡方分布。

Case2:特例g(X)=F(X)的分布(对x做分布变换套娃)

设X的分布函数是F(X)，这里Y=G(X)=F(X),求随机变量Y的分布

定理

若随机变量X的分布函数F(X),F(X)作为分布函数本身的性质是单调增的，这里只需要将它限制在严格单增上，其反函数 $F^{-1}_X(y)$ (的导数连续且)存在，则Y=F(X)，随机变量Y的分布服从U(0,1)，即是[0,1]上的分布函数。

证明：对于任意y<0.分布函数是>0的，{Y<=y}是不可能事件，

对任意y>=1,{Y<=y}是必然事件。

0<=y<1:

$F_Y(y)=P(Y<=y)=P(F_X(X)<=y)$

因为 $F_X(X)$ 是严格单增的，所以 $P(F_X(X)<=y)=P(X<=F^{-1}_X(y))=F_X(F^{-1}_X(y))=y$

得证。

例子：求一个给定分布的随机数

X~Exp( $\lambda$ ),

在统计中做simulation.

指数分布族的分布函数 $F_X(x)=1-e^{-\lambda x}$

U= $F_X(X)=1-e^{-\lambda X}～U(0,1)$

从 $U(0,1)$ 抽一个 $U_1,U_2,U_3,….,U_n$ 是可以做到的。【假设现在的计算机可以做到，那我得到u,就可以得到x】

由U= $1-e^{-\lambda X}$ ，所以 $X_i=\frac{1}{-\lambda}ln(1-U_i)$

应用中的经典应用，求一个很复杂的分布族的采样。

Case3:x～N(0,1);求 $X^2$ 的分布? $X^2$ 服从一个卡方分布

卡方分布是3大抽样分布之一。

解： $Y=X^2$

$F_Y(y)=P(Y\le y)=P(X^2\le y)(y>0)=P(-\sqrt{y}\le X \le \sqrt{y})=2\Phi(\sqrt{y})-1$

P(y)=F’(y),复合函数求导，求导出来是一个Gamma分布

p(y)=2f_x( $\sqrt{y}$ ) $\frac{1}{-2\sqrt{y}}$ ,

p(y)= $\frac{1}{\sqrt{2\pi}}exp(-y/2)\frac{1}{-2\sqrt{y}}$

$\lambda=\frac{1}{2}$ ,与Gamma分布的表达式对比之后，Y~Ga( $\frac{1}{2},($ \frac{1}{2}$)

Q：标准正态分布的累积分布函数？不需要知道，这里也是导数，即 $\Phi(x)$ 的形式不需要知道。

1.2 多元随机变量

多项分布，r项分布(?)

多项分布是二项分布的推广

$X ～b(n,p)$

n个独立重复的实验
每次实验有r个结果{ $A_1,A_2,….,A_r$ }
$P(A_i)=p_i$

那么 $(X_1,X_2,…,X_r)$ 取值为 $(n_1,n_2,…,n_r)$ 的概率 $P(X_1=n_1,X_2=n_2,…,X_r=n_r)$ = $\frac{n!}{n_1!n_2!n_3!…n_r!}p_1^{n_1}p_2^{n_2}p_3^{n_3}….p_r^{n_r}$ ,

其中 $\sum_i^rn_i=n$

也由于这个限制，它是一个r-1维的随机变量。

理解： $X_i$ 表示在n次投掷中i出现的次数， $X_i$ 的取值就是n选r的那个r.