统计与数据分析基础W2:概率论回顾(2)

概率论(2)

多项分布：一个骰子被投掷10次，6朝上次数的概率。

统计课讨论pdf

n元正态分布

2.n元正态分布

设$X$=$\begin{pmatrix}x_1\x_2\x_3\x_n\end{pmatrix}$为n维随机变量，其期望$\vec\mu\begin{pmatrix}\mu_1\\mu_2\\mu_3\\mu_n\end{pmatrix}$

其方差-协方差矩阵$\Sigma$= { $\sigma_{ij}$ }$_{n\times n}$=Cov{$x_i,x_j$}

记实向量$X$=$\begin{pmatrix}x_1\x_2\x_3\x_n\end{pmatrix}$，如果$\vec{X}$的pdf为P(X=x)=$(2\pi)^{\frac{n}{2}}|\Sigma|^{\frac{-1}{2}}exp(\frac{-1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))$

那么，称$X$服从n元正态分布，记$X$～$N_p(\vec{\mu},\Sigma)$

Special Case

当是二元向量时：$N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2)$

$\mu=(\mu_1,\mu_2)^{T}$,$\Sigma=\begin{pmatrix}\sigma_1^2&&\rho\sigma_1\sigma_2\\rho\sigma_1\sigma_2&&\sigma_1^2\end{pmatrix}$

3.指数分布族

分布族理解，是一个分布的集合。

定义

设一个随机变量/向量X，其分布列/密度函数(pdf)

为$p(x)=h(x)exp(\eta(\theta)^TT(x)-F(\theta))$，那么称这个随机变量来自于指数分布族。这里$F(\theta)$是$\theta$的函数变换。

这里都是向量。

1. 参数$\theta\in参数空间\in R^d$，参数向量
2. $\eta(\theta):参数空间->R^p$映射，做完变换，p维横向量，与后面的T(x)做内积。
3. $T(x)$是一个p维列向量。(使内积可以计算)，可理解为随机向量。

随机性概念的理解。

4. $F(\theta)$是一个一维/实值函数

向量的例子

验证是不是指数分布族

Exa.1

$p(x)=p^x(1-p)^{1-x}$为二点分布。

$p(x)=exp(ln(p^x(1-p)^{1-x}))=expexp(ln(p^x(1-p)^{-x})(1-p)^)=exp(ln(\frac{p}{1-p})^x(1-p))$

=$exp(xln(\frac{p}{1-p})+ln(1-p))$

$h(x)=1,T(x)=x,\theta=p,\eta(\theta)=ln(\frac{p}{1-p})$

Exa.2

验证正态分布也属于指数分布族。

将参数与指数分离，写成乘积的形式。

p(x)=$\frac{1}{\sqrt{2\pi}}(\sigma^2)^{-\frac{1}{2}} exp{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}$

step1.先讲指数化出来

p(x)=$exp(-ln(\sqrt{2\pi \sigma^2}))exp{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}$

=$exp(-ln(\sqrt{2\pi \sigma^2})+-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2})$

=$exp(-ln(\sqrt{2\pi \sigma^2})-\frac{1}{2\sigma^2}(x^2-2x\mu+\mu^2))$

=$exp(-\frac{1}{2\sigma^2}x^2+\frac{1}{\sigma^2}x\mu)+与x无关的参数$

所以，对照上面式子的标准形式

$h(x)=1,T(\vec{x})=(x^2,x)^T,\eta(\theta)^T=(\frac{1}{2\sigma^2},\frac{\mu}{\sigma^2})$

剩下的一堆是与x无关的参数。

$-F(\theta)=-ln(\sqrt{2\pi\sigma^2})-\frac{1}{2\sigma^2}\mu^2$

由上面的例子，离散和连续随机变量都可能来自于指数分布族，有益于对异构数据处理的统一表达。

4.独立性

1. A,B为随机事件：

   A，B独立表示:P(AB)=P(A)P(B)

2. 称$(x_1,x_2,x_3,…,x_n)^T$是random vector,是相互独立的，$F_i(x)$是其cdf,则

   1. $F(x_1,x_2,x_3,…,x_n)=\Pi F_i(x)=\Pi P(X_i\le x)$【这里用事件去推理去理解。联合cdf与边际cdf

3. 离散：

   联合分布列$P(X_1=x_1,X_2=x_2,…,X_n=x_n)=\Pi P(X_i=x_i)$

   连续：

   $P(X_1,X_2,…,X_n)=\Pi P(X_i)$

重要的是学会去用

5.多元的期望和方差的性质

设(X,Y)是二元随机变量

1. E[X+Y]=E[X]+E[Y];无条件，基于积分的可加性求得。

2. 若X与Y是独立的，则：

   1. 有上面独立的联合概率的条件

      E[XY]=E[X]E[Y]

   2. Var(X+-Y)=Var(X)+Var(Y)【无论那边是加号还是剪号，我的波动总是增加的！

3. Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)

   Var(X-Y)=Var(X)+Var(Y)-2Cov(X,Y)【比较有用

   因为独立，协方差为0，上边加号是不变的。

4. Cov(X,Y)=E[XY]-E[X]E[Y]

   独立时，协方差为0.

   独立性条件强于协方差

5. Cov(X,Y)=0,表示线性无关。

6. 当(X,Y)服从二元正态的时候，相关性和独立性等价。

7. $\rho=\frac{Cov(X,Y)}{\sqrt{Var(x)Var(y)}}$

   所以正态分布算covariance远比直接推密度函数效率更高。

6.多元随机变量的函数

极值分布(最大值，最小值分布)

$x_1,x_2,x_3,…,x_n$是n个随机变量。

$x_{max}=max(x_1,x_2,x_3,…,x_n)$，$x_{max}$是一个多元随机变量的函数。

随机变量的函数一定是一个随机变量，我们一定要用分布去刻画。

$x_{min}=min(x_1,x_2,x_3,…,x_n)$

这个的最大应用，水位线的最大值，水坝的高度的建设相关。

例1

若$X_1,X_2,..,X_n$是相互独立的随机变量

若$Y=x_{max}=max(x_1,x_2,x_3,…,x_n)$，

1. $X_i～F_i(x)$

   $F(y)=F(x_1,x_2,x_3,…,x_n\le y)=\Pi_{i=1}^n F(x_1\le y)$

2. $X_i$是同分布的

   $F_Y(y)=(F(y))^n$

3. $X_i$是连续随机变量，且$X_i$同分布，$p(x)$为$X_i$的概率密度函数。

   求Y的pdf

   $P_Y(y)=\frac{dF_Y(y)}{dy}=\frac{d[(F(y))^n]}{dy}$

   这里堪称一个复合函数求导。

   =$nF(y)^{n-1}p(y)$

模型v.s.结论

4. $X_i$~Exp($\lambda$)

   $p(X)$=$\lambda exp(-\lambda x),x\ge0$;

   $F(X)=1-exp(-\lambda x),x\ge0$

   Y的密度函数，$P_Y(y)=n(1-exp(-\lambda y))\lambda exp(-\lambda y),y\ge0,0 ,otherwised$

例2

若$X_1,X_2,..,X_n$是相互独立的随机变量

若$Z=x_{min}=min(x_1,x_2,x_3,…,x_n)$，

1. $F_Z(z)=P(Z\le z)=1-P(Z>z)=1-\Pi P(X_1>z)=1-\Pi_{i=1}^n(1-F_i(z))$

2. $X_i$是同分布的：

   $F_Z(z)=1-(1-F(z))^n$

3. 求Z的概率密度函数：

   $P_Z(z)=-n(1-F_Z(z))^{n-1}(-p_Z(z))$

4. $X_i$~Exp($\lambda$)

   $p_Z(z)=n(1-1-exp(-\lambda z))^{n-1}\lambda exp(-\lambda z)$

   =$n\lambda(-exp(-\lambda z))^{n-1+1}$，$z\ge 0$

   注意这里，Z还是一个服从于$n\lambda$的exp分布

   pdf最重要的性质是非负性，要以此检查我的计算的正确性。

卷积公式

核心概念

X和Yiid(一般只要求独立，不要求同分布)，求X+Y的分布。

重要结论

1. $X_1$N($\mu_1,\sigma_1^2$),$X_2$N($\mu_2,\sigma_2^2$),

   $X_1+X_2～N(\mu_1+\mu_1,\sigma_1^2+\sigma_2^2)$

   先确定分布，再由期望和方差的关系，不要走密度函数硬推。

   n维随机变量独立同分布于正态分布，线性组合也是正态分布

2. $X_1$$\Gamma(\alpha_1,\lambda)$,$X_2$$\Gamma(\alpha_2,\lambda)$

   X+Y～$\Gamma(\alpha_1+\alpha_2,\lambda)$

   指数分布$\Gamma(1,\lambda)$相加不是指数分布

   卡方分布，$\Gamma(\frac{n}{2},\frac{1}{2})$，卡方分布相加还是卡方分布。

赏

谢谢你请我吃糖果❤️

支付宝