数学基础W13:向量值函数和矩阵值函数的梯度

前面的回顾

1. 运算法则
2. 向量函数和矩阵函数的微分
3. 迹微分的性质。

向量值函数和矩阵值函数的梯度$R^n->R^m/R^{m\times n}->R^{n\times n}$

可以用这些微分来解决什么？

链式法则：复合函数的梯度和导数。

定义5

Output是一个向量。

Jacobian矩阵

梯度在向量与向量之间的变化关系上的推广。

将矩阵向量化：

向量函数微分

$df=\frac{\part f^T}{\part x}^T dx$

从分量的角度去考虑。

多远正态分布的推广

定理8

当f和x是相同大小:

$\frac{\part f^T}{\part x}^{-1}=\frac{\part x^T}{\part f}$

这个结论很适用于变量替换。

Hessian矩阵

当一阶导数求完后，$\frac{\part f}{\part x_1}$

其还要关于$x^T$进行求。(行向量？)

Hessian 矩阵在机器学习优雅上有很多应用，

Hessian是对称矩阵，二阶优化算法：牛顿法。

18.4链式法则与一些有用的梯度公式

定理9

假设我们有n个列向量。

定理10

例16

例17

$(x-\mu)^T\Sigma^{-1}(x-\mu)$关于$\mu$求导。

一些常用的梯度计算公式

18.3/18.4有符号的错误

18.5 反向传播与自动微分

神经网络中的梯度与链式法则。

例18

考虑$f(x)=\sqrt{x^2+exp(x^2)}+cos(x^2+exp(x^2))$

这样的微分的计算会很冗余

正向传播过程中，我们需要每层的偏导数。

每层的偏导数计算兜涉及到链式法则。

此部分笔记，在专业英语反向传播的那篇博客中也有涉及。

$e=(a+b)(b+1)$

求a=2,b=1时的e 的梯度：

$\part e/\part a=b+1$

$\part e/\part b=(b+1)+(b+a)$

引入中间变量c/d

c=b+1

d=b+a

赏

谢谢你请我吃糖果❤️

支付宝