概率论(2)
多项分布：一个骰子被投掷10次，6朝上次数的概率。
统计课讨论pdf
n元正态分布
2.n元正态分布
设$X$=$\begin{pmatrix}x_1\x_2\x_3\x_n\end{pmatrix}$为n维随机变量，其期望$\vec\mu\begin{pmatrix}\mu_1\\mu_2\\mu_3\\mu_n\end{pmatrix}$
其方差-协方差矩阵$\Sigma$= { $\sigma_{ij} $ }$_{n\times n}$=Cov{$x_i,x_j$}
记实向量$X$=$\begin{pmatrix}x_1\x_2\x_3\x_n\end{pmatrix}$，如果$\vec{X}$的pdf为P(X=x)=$(2\pi)^{\frac{n}{2}}|\Sigma|^{\frac{-1}{2}}exp(\frac{-1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))$
那么，称$X$服从n元正态分布，记$X$～$N_p(\vec{\mu},\Sigma)$
Special Case
当是二元向量时：$N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2)$
$\mu=(\mu_1,\mu_2)^{T}$,$\Sigma=\begin{pmatrix}\sigma_1^2&&\rho\sigma_1\sigma_2\\rho\sigma_1\sigma_2&&\sigma_1^2\end{pmatrix}$
3.指数分布族
分布族理解，是一个分布的集合。
定义
设一个随机变量/向量X，其分布列/密度函数(pdf)
为$p(x)=h(x)exp(\eta(\theta)^TT(x)-F(\theta))$，那么称这个随机变量来自于指数分布族。这里$F(\theta)$是$\theta$的函数变换。
这里都是向量。
- 参数$\theta\in参数空间\in R^d$，参数向量
- $\eta(\theta):参数空间->R^p$映射，做完变换，p维横向量，与后面的T(x)做内积。
- $T(x)$是一个p维列向量。(使内积可以计算)，可理解为随机向量。
随机性概念的理解。
- $F(\theta)$是一个一维/实值函数
向量的例子
验证是不是指数分布族
Exa.1
$p(x)=p^x(1-p)^{1-x}$为二点分布。
$p(x)=exp(ln(p^x(1-p)^{1-x}))=expexp(ln(p^x(1-p)^{-x})(1-p)^)=exp(ln(\frac{p}{1-p})^x(1-p))$
=$exp(xln(\frac{p}{1-p})+ln(1-p))$
$h(x)=1,T(x)=x,\theta=p,\eta(\theta)=ln(\frac{p}{1-p})$
Exa.2
验证正态分布也属于指数分布族。
将参数与指数分离，写成乘积的形式。
p(x)=$\frac{1}{\sqrt{2\pi}}(\sigma^2)^{-\frac{1}{2}} exp{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}$
step1.先讲指数化出来
p(x)=$exp(-ln(\sqrt{2\pi \sigma^2}))exp{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}$
=$exp(-ln(\sqrt{2\pi \sigma^2})+-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2})$
=$exp(-ln(\sqrt{2\pi \sigma^2})-\frac{1}{2\sigma^2}(x^2-2x\mu+\mu^2))$
=$exp(-\frac{1}{2\sigma^2}x^2+\frac{1}{\sigma^2}x\mu)+与x无关的参数$
所以，对照上面式子的标准形式
$h(x)=1,T(\vec{x})=(x^2,x)^T,\eta(\theta)^T=(\frac{1}{2\sigma^2},\frac{\mu}{\sigma^2})$
剩下的一堆是与x无关的参数。
$-F(\theta)=-ln(\sqrt{2\pi\sigma^2})-\frac{1}{2\sigma^2}\mu^2$
由上面的例子，离散和连续随机变量都可能来自于指数分布族，有益于对异构数据处理的统一表达。
4.独立性
A,B为随机事件：
A，B独立表示:P(AB)=P(A)P(B)
称$(x_1,x_2,x_3,…,x_n)^T$是random vector,是相互独立的，$F_i(x)$是其cdf,则
- $F(x_1,x_2,x_3,…,x_n)=\Pi F_i(x)=\Pi P(X_i\le x)$【这里用事件去推理去理解。联合cdf与边际cdf
离散：
联合分布列$P(X_1=x_1,X_2=x_2,…,X_n=x_n)=\Pi P(X_i=x_i)$
连续：
$P(X_1,X_2,…,X_n)=\Pi P(X_i)$
重要的是学会去用
5.多元的期望和方差的性质
设(X,Y)是二元随机变量
E[X+Y]=E[X]+E[Y];无条件，基于积分的可加性求得。
若X与Y是独立的，则：
有上面独立的联合概率的条件
E[XY]=E[X]E[Y]
Var(X+-Y)=Var(X)+Var(Y)【无论那边是加号还是剪号，我的波动总是增加的！
Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)
Var(X-Y)=Var(X)+Var(Y)-2Cov(X,Y)【比较有用
因为独立，协方差为0，上边加号是不变的。
Cov(X,Y)=E[XY]-E[X]E[Y]
独立时，协方差为0.
独立性条件强于协方差
Cov(X,Y)=0,表示线性无关。
当(X,Y)服从二元正态的时候，相关性和独立性等价。
$\rho=\frac{Cov(X,Y)}{\sqrt{Var(x)Var(y)}}$
所以正态分布算covariance远比直接推密度函数效率更高。
6.多元随机变量的函数
极值分布(最大值，最小值分布)
$x_1,x_2,x_3,…,x_n$是n个随机变量。
$x_{max}=max(x_1,x_2,x_3,…,x_n)$，$x_{max}$是一个多元随机变量的函数。
随机变量的函数一定是一个随机变量，我们一定要用分布去刻画。
$x_{min}=min(x_1,x_2,x_3,…,x_n)$
这个的最大应用，水位线的最大值，水坝的高度的建设相关。
例1
若$X_1,X_2,..,X_n$是相互独立的随机变量
若$Y=x_{max}=max(x_1,x_2,x_3,…,x_n)$，
$X_i～F_i(x)$
$F(y)=F(x_1,x_2,x_3,…,x_n\le y)=\Pi_{i=1}^n F(x_1\le y)$
$X_i$是同分布的
$F_Y(y)=(F(y))^n$
$X_i$是连续随机变量，且$X_i$同分布，$p(x)$为$X_i$的概率密度函数。
求Y的pdf
$P_Y(y)=\frac{dF_Y(y)}{dy}=\frac{d[(F(y))^n]}{dy}$
这里堪称一个复合函数求导。
=$nF(y)^{n-1}p(y)$
模型v.s.结论
$X_i$~Exp($\lambda$)
$p(X)$=$\lambda exp(-\lambda x),x\ge0$;
$F(X)=1-exp(-\lambda x),x\ge0$
Y的密度函数，$P_Y(y)=n(1-exp(-\lambda y))\lambda exp(-\lambda y),y\ge0,0 ,otherwised$
例2
若$X_1,X_2,..,X_n$是相互独立的随机变量
若$Z=x_{min}=min(x_1,x_2,x_3,…,x_n)$，
$F_Z(z)=P(Z\le z)=1-P(Z>z)=1-\Pi P(X_1>z)=1-\Pi_{i=1}^n(1-F_i(z))$
$X_i$是同分布的：
$F_Z(z)=1-(1-F(z))^n$
求Z的概率密度函数：
$P_Z(z)=-n(1-F_Z(z))^{n-1}(-p_Z(z))$
$X_i$~Exp($\lambda$)
$p_Z(z)=n(1-1-exp(-\lambda z))^{n-1}\lambda exp(-\lambda z)$
=$n\lambda(-exp(-\lambda z))^{n-1+1}$，$z\ge 0$
注意这里，Z还是一个服从于$n\lambda$的exp分布
pdf最重要的性质是非负性，要以此检查我的计算的正确性。
卷积公式
核心概念
X和Yiid(一般只要求独立，不要求同分布)，求X+Y的分布。
重要结论
$X_1$
N($\mu_1,\sigma_1^2$),$X_2$N($\mu_2,\sigma_2^2$),$X_1+X_2～N(\mu_1+\mu_1,\sigma_1^2+\sigma_2^2)$
先确定分布，再由期望和方差的关系，不要走密度函数硬推。
n维随机变量独立同分布于正态分布，线性组合也是正态分布
$X_1$
$\Gamma(\alpha_1,\lambda)$,$X_2$$\Gamma(\alpha_2,\lambda)$X+Y～$\Gamma(\alpha_1+\alpha_2,\lambda)$
指数分布$\Gamma(1,\lambda)$相加不是指数分布
卡方分布，$\Gamma(\frac{n}{2},\frac{1}{2})$，卡方分布相加还是卡方分布。
