数学基础W14 信息论

  • 某些函数的凹凸性。

  • 数据处理定理：

    如果随机变量构成马尔可夫链，

    $I(X;Z)\le I(X;Y)$

    表明从Z中获得X的信息量小雨从Y中获得的X的信息量。

    $I(X;Y)\le I(X;Z)$

    间接经验与直接经验。

向量的相似性度量

以前的距离度量方式为啥不行

闵氏距离/曼哈顿距离/欧氏距离/切比雪夫距离

马氏距离：点与一个分布之间的距离。

量纲无关，排除变量相干性的干扰。

调整余弦相似度

皮尔逊相关系数，r的绝对值与相关度。

信息熵：信息量化度量。

KL JS散度

KL散度：度量分布之间的差异，不是距离，因为他不满足距离的定义。

交叉熵损失函数：

设关于随机变量x的两个分布$P(x),Q(x)$，关于这两个分布的交叉熵定义为：

$H(P,Q)=-E_{x~p}logQ(x)=H(P)+D_{KL}(P||Q)$

互信息也可以看作用来度量联合分布p(x,y)和P(x)P(Y)之间的相似度。

JS散度

当相差很远时，两个分布都很难衡量距离。

Wasserstein距离

相比于KL和JS，即使两个分布没有重叠没有重叠或者重叠非常少，他仍然可以衡量远近。

“推土机距离”

Jacard系数

有限样本集之间的相似性与差异性。

应用

连续信源

yi ma teng Orz

展开全文 >>

Hiphop1

Hiphop Netfilx

  1. 只要拜访纽约，嘻哈丰富的历史。

  2. 1970s，just before hippop begin.

  3. Disk explpsion

  4. 纽约外面的人都认为纽约是天堂

  5. 动荡不安的社会

  6. lost in disco v.s. sth different.

  7. 第一场：不仅是是歌，而是放歌的事件。只有鼓点，即break of music

  8. we have everybody in the party:

another job at the party: 卖大麻

拿着麦克风双唱，使用麦克风说话。

  1. 社区文化，街头帮派组织。

  2. 捍卫社区与破坏社区。

  3. Zulu nation

  4. 不同帮派的大熔炉。音乐是改邪归正的方式。

  5. DJ,MC ,霹雳舞者，嘻哈第五元素，知识

  6. 无论你皮肤的颜色，都该知道自己的祖先是谁。Zulu -African

  7. 看到非洲的一切都会逃避

  8. 很多黑人的成长环境都与根文化脱离

    闪耀大师。

    Scientific way to 接歌。

  9. 黑人歌曲：闪耀大师：把唱片变成一种乐器。

  10. 嘻哈三圣

  11. DJ v.s. rappers

  12. When did lyrics meat the rhythms.

  13. 嘻哈->种族->非洲->非洲之根。

展开全文 >>

数学基础W14随机变量特征与大数定理与信息论

统计特征

  • 期望损失

    衡量模型的泛化性能

方差

模型性能

协方差

整体误差

相关系数：特征选择的指标

  • Laplace分布

  • 高斯分布

协方差矩阵

协方差矩阵的展开研究

协方差矩阵是一个对称的正半定矩阵

依概率收敛与依分布收敛

弱大数定律与中心极限定理：大样本统计过滤的理论基础

经验风险与期望风险

经验风险根据大数定律收敛到期望风险。

信息论：熵

决策树的基础。

信息论与概率相关。

如何衡量事件所包含的信息量?

随机事件的自信息量

定义

随机事件的自信息量为该事件发生概率的对数的负值。

自信息量的单位与对数的底有关

简单例子

信息量的可加性是与对数函数的性质相加的。

互信息：

简单例子

平均自信息

将统计平均值定义为信息熵。

熵函数

确定信源的平均不确定度

级值性

Jensen不等式

熵函数与优化的目标函数：交叉熵损失函数，需要判断熵函数的凸性。

信息和熵

  • 信息有重要之分
  • 信息用以消除不确定性，如果能度量一件事的不确定性，即可以确定一件事情的信息量。
  • 不确定性的减少量等于信息的信息量。
  • 所以，信息消除对某件事情的不确定性，还要取决于信息的接受者是谁。
  • 熵：是某一事情对某人不确定性的度量。
  • 在数值上等于消除某件事情不确定性所需要的平均信息量。
  • 熵是信息量的期望。

展开全文 >>

专业英语W13：learningSlow问题的解决

  1. What is the learning slowdown problem? What general idea can we learn from the cross-entropy and softmax to solve the learning slowdown problem?

Learning slowdown 问题描述：

  1. 神经元在学习的过程中，没有很好地对出错很大的情况进行学习，learning rate的改变很小，learning rate学习的效果慢。

    Learning slowdown problem describes that the neurons don’t learn very well ( don’t change their learning rate fast ) when they make big errors in the learning process especially at the begin stage of learnning. Instead, these neurons tend to learn very quick when the errors are small. Such learning behaviors lead to very low efficiency. But we expect neurons to learn like human ,that is, the bigger the error made during learning, the faster it they learn from the error.

models change their learning rate very slowly when they make some big errors, but we expect them to learn very quick from bad mistakes just like humans. What’s worse, these models tend to learn very quick when the errors are small. Such learning behaviors make it very low efficient especially when the errors are big at the beginning of learning(trainning).

The learning slowdown problem arises from the partial derivative of cost function those models apply. For instance, the MSE cost function’s partial derivative to the weight matrix behave like the bigger the error, the smaller the derivative, the lower the change of gradient decent, and the slower the neuron learn from wrong experience.

Therefore , the key to solve the learning slowdown problem as well as the general idea of cross entropy and softmax is to adjust the models to make the neurons learning like human. In other words, the larger the error, the more impressed the neurons is ,and the faster it learns.

导数小，偏导数小，梯度变化慢，学的慢。

那这种问题是由什么原因导致的呢：机器学习在使用梯度下降的过程中需要利用损失函数对权重矩阵求偏导，而拥有learning rate problem的损失函数中(如MSE)，它的偏导形式确是误差(错误)越大，其导数越小，learning rate改变越慢。

  1. 所以，我个人理解中解决learning slowdown problem需要 调整学习背后的数学模型，让对于错误越大的case，使机器像人一样，错误越大，印象越深，学的越快。

Learning slowdown problem describes that the neurons don’t learn very well ( don’t change their learning rate fast ) when they make big errors in the learning process especially at the begin stage. Instead, these neurons tend to learn very quick when the errors are small. Such learning behaviors lead to very low efficiency. But we expect neurons to learn like human ,that is, the bigger the error made during learning, the faster they learn from the error.

The learning slow problem arises from the partial derivative of cost function those models apply. For instance, the MSE cost function’s partial derivative to the weight matrix behave like the bigger the error, the smaller the derivative, the lower the change of gradient decent, and the slower the neuron learns from wrong experience.

Therefore , the key to solve the learning slowdown problem as well as the general idea of cross entropy and softmax is to adjust the models to make the neurons learning like human. In other words, the larger the error they make, the more impressed the neurons are ,and the faster they learn.

展开全文 >>

专业英语W13：learningSlow问题的解决

专业英语chapter3

本章概览

the cross-entropy cost function(交叉熵损失函数).Four so called regulariation methods (四个正则化项方法)

Cross-entropy

It will pick the initial weight to be (some value)and the initial bias to be (some value) .

These are generic choices used as a place to

begin learning.

也就是说这些初始化方法是随机选取的。

It wasn t picking them to be special in any way.

This behaviour is strange when contrasted to human learning.

在人类学习过程中，对于错误比较大的地方往往会学的比较快，错误小的地方会学的比较慢。

可是在神经元学习过程中，对于错误比较大的地方往往会学的比较慢。

It was said at the beginning of this section, we often learn fastest when we are badly wrong about something.

But we ve just seen that our artificial neuron has a lot of difficulty learning when it s badly wrong - far more difficulty than when it s just a little wrong.

解决slow learning 方法的目标

The larger the error, the faster the neuron will learn.

What is the learning slowdown problem?

What general idea can we learn from cross-entropy and softmax to solve the learning slowdown problem?

1.学的慢/对于出错很大的case并没有很好的学习，

开始学习速度慢。

梯度偏导数很小

Slowdown problem：learning rate变化很小，学习的效果慢。

为什么交叉熵损失函数可以作为代价函数？

可以作为代价函数的原因：

The cross-entropy is positive, and tends toward zero as the neuron gets better at computing the desired output, for all training inputs,

当模型距离我们先要的真实值越近的时候，我们的函数离0也越近，就可以是一个损失函数模型。

非负性(看到的时候没抓住这个重点)。

交叉熵损失函数的偏导形式告诉我们什么呢？错误越大，印象越深，学的越快。general idea to solve slowdown problem.

神经元的输出就是 a = σ(z)，Sigmoid Function是神经元的输出。

Epoch-Cost 图像上的上凸和下凹

当sigmoid funtion作为输出的时候，交叉熵损失函数来表达Loss function是个很好的选择。

在对单个神经元讨论中，我们指出如果对所有的训练数据有 σ(z) ≈ y，交叉熵会很⼩。这个论断其实是和 y 只是等于 1 或者 0 有关。这在分类问题⼀般是可⾏的，但是对其他的问题（如回归问题）y 可以取 0 和 1 之间的中间值的。

证明，交叉熵对所有训练输⼊在σ(z) = y 时仍然是最⼩化的。此神经元的饱和问题。

学习速度下降是$\sigma’(z)$的问题。

二次代价损失函数学的慢的原因

Greater initial error 对学习率的影响。

Roughly speaking, the idea is that the cross-entropy is a measure of surprise.(即熵是对不确定性的度量。)

相对熵又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。

回归问题的值与分类问题的(0,1)。

Softmax

同样解决交叉熵损失函数的方法还有softmax方法。

softmax和sigmoid思想类似，都是改变输出层的输出方式：out put layer.

we see that the output from the softmax layer is a set of positive numbers which sum up to 1.

In other words, the output from the softma[ layer can be thought of as a probability distribution.

你可以将其想象成⼀种重新调节 某些参数 的⽅法，然后将这个结果整合起来构成⼀个概率分布。

也就是说调节参数让和变成1.

对数似然损失函数。

GD方法的实质是偏导数的改变，偏导数的改变影响训练的走的方向，所以改变slowdown问题实质还是改变偏导数的问题。

In fact, it s useful to think of a Softmax output layer with log-likelihood cost as being quite similar to a sigmoid output layer with cross-entropy cost.

Softmax输出+对数似然损失函数 与 sigmoid输出+交叉熵损失函数。

在已知这种相似性的情况下又该做何选择呢？

In many cases: both work well.softmax plus log-likelihood is worth using whenever you want to interpret the output activations as probabilities.

multi-Classification : independent的情况适配的很好。

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类.

softmax为什么有soft？

看到了一个很形象的回答，当我把本来的max函数映射到概率以后，变成了不是数值大的一定会取到，而是数值大的有较大概率也会取到，这样就比较好的理解了soft.

展开全文 >>

ML05 Logistic Regression

logistic Regression

什么是Logisitic Regression

  1. $\sum_iw_ix_i+b$

    将每一个feature乘以一个weight，加上偏置，再通过一个Sigmoid function.

    Sigmoid function将其映射到(0,1)之间。

  2. ML04所讲的generative model 和logistic regression有什么联系呢？

    上节课所要得的后验概率：

    $P(C_1|x)=\frac{p(x|C_1)P(C_1)}{p(x|C_1)P(C_1)+p(x|C_2)P(C_2)}$

    对于这种贝叶斯所得的后验概率，将分子和分母同时除以$P(x|C_1)P(C_1)$即可得，

    $P(C_1|x)=\frac{1}{1+\frac{P(x|C_1)P(C_1)}{P(x|C_2)P(C_2)}}$

    这里，令$z=ln(\frac{P(x|C_1)P(C_1)}{P(x|C_2)P(C_2)})$

    这个时候，$\sigma(z)=\frac{1}{1+exp(-z)}$

    是一个Sigmoid function.

    这里，将我们之前所得的先验概率带入，$P(x|C_1)$,$P(x|C_2)$

    就可以发现$z=w^Tx+b$

    linear v.s.Logistic

Linear:$f_{w,b}=\sum_iw_ix_i+b$

展开全文 >>

hexo d报错：fatal: 无法访问 'https://github.com/chixinn/chixinn.github.io.git/'：LibreSSL SSL_connect: SSL_ERROR_SYSCALL in connection to github.com:443

先看一下是不是成功，如果成功的话，再回来看解决方法。

目前短暂尝试了一下成功了：

问题的原因其实与hexo 博客本身无关，而是git push方面，这里相当于hexo d方面。

在github项目在本地的根目录下打开git命令行，
执行下面的命令：

git config --global --unset http.proxy

即可。

所以，如果不论是什么形式的git push，出现如此报错的话，都可以尝试一下这个方法。

[^1]:居然IntelliJ IDEA 上也可以push git???,是在查这个解决方法时候找到的。

参考资料

网上还有一个借鉴stackoverflow的，我测试了一下，我不行的。

但是重新一下http代理还是i好用的。

同时：要注意搜索的时候 ，直接搜索关键词：

LibreSSL SSL_connect: SSL_ERROR_SYSCALL in connection to github.com:443

我个人测试不行的参考资料

展开全文 >>

本站总访问量次

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br><br>个人随笔笔记为主<br>有很多不足<br>谢谢大家～<br><br>可以搜索我的微信号联系我：Habseligkeit030<br><br><br>也可以给我发邮件xinning_chi@163.com