数学基础W15

概率估计

参数估计与非参数估计

这周讲的又是个啥呀…

1. 01010011+01100110=10111001;

10111001+01110100=00101110;

00101110的反码是11010001;

UDP的checksum的工作原理是将这些字分别相加,如果有加法溢出,即需要被回卷.如果该分组中没有引入差错,则显然在接收方处该和将是8个1,在16位下将是16个1.如果这些比特之一是0,那么该分组中即有差错.

校验和使用反码求和的优点是：

(1)不依赖系统的字节序是大端小端。即二进制反码和字节序无关.

(2)求和过程中,先对校验序列求反码序列再循环进位求和,等于先二进制循环进位求和以后再对求和结果求反码,而先二进制循环进位求和以后再对求和结果求反码会大大减少求反码的次数.

如果这些待校验序列中有1比特的差错,那么在循环进位求和的过程中,无论如何求和进位,这1比特的差错都会对最后的求和结果造成影响;而如果是有2比特位的差错的话,这个2比特的差错有可能检验不出来,因为在循环进位求和阶段该差错可能恰好被掩盖.

11. 如果这个确认报文分组号的ACK发送信息被删除的话,当发送方发送了某一分组0,会进入等待ACK0的状态;此时,接收方的本来需要从一直等待来自下层的0的状态发生的变化,但这个状态变化需要对这个分组0进行ACK码的发送;

    但是,当ACK码发送的步骤被删除时,所以,发送方不会收到接收方任何ACK码的信息,而发送方仅当接收到ACK并且离开该状态时才能再发生rdt_send事件.所以不能删除,这样发送方和接收方的状态改变依赖于二者的相互等待.

12. 对于发送方偶尔发送数据,在只使用NAK的协议下,发送方确认数据包是否发送成功只可以根据NAK的消息判断,例如当发送方收到了关于packet3的NAK消息时,不外加其他条件,发送方才知道packet3的发送失败,发送方才得以继续发送.

对于很少丢包的发送方发大量数据时,NAK协议会比只使用ACK更好,因为这样会减少额外确认码的发送,一并减少了发送开销.

18. 设计的该SR协议的FSM

说明,因为一次发送一对包,所以00,和10,即一左一右的状态逻辑相同.

以00和01表示一对分组中第一个包的新旧状态.

以10和11表示一对分组中第二个包的新旧状态.

而对于该SR协议的接收方,只需要在发送方的等待ACK功能替换为等待数据的过程.

下面对该SR协议的接收方和发送方分别描述.

发送方:

1. 等待上层数据和上层调用,检查下一个可用于该对分组的序号.如果序号位于发送方的窗口内,则将该对分组打包并发送.
2. 超时:设置定时器,一对分组中的每个分组必须拥有自己的逻辑定时器.
3. 收到ACK,一对被发送的分组中,倘若该分组序号在窗口内,则SR发送方进行标记,若一对分组中的两个包都被ACK确认,则SR发送方标记为该对已接收,进行窗口的滑动.

接收方:

1. 同样维护以对为单位的接收窗口.如果收到的分组属于接收窗口内,则一个ACK进行发送,如果不位于窗口内,则暂时缓存.当接收窗口也进行滑动时,进行一对包的交付.

2. 如果收到的分组属于接收窗口内,则必须进行一个ACK进行发送,用来确认该对的上一对分组包.

3. 其他情况,进行忽略.

4. 设计适合该机制的协议的FSM

22. a.发送窗口内的报文序号可能是多少,一种边界情况是,对k-1号分组及之前的所有分组都进行了确认,即k分组是发送方的窗口的第一个,所以,此时发送窗口的报文序号是k,k+1,k+2,k+3;另一种边界情况是发送方未收到ACK,即k-4,k-3,k-2,k-1;

b. 因为接受方在等待分组k,那么说明接受方已经接受和确认了k-1及k-1之前的所有分组.如果包含这些分组的窗口大小及4个ACK确认没有到达发送方时,故ACK所有可能的值是k-4,k-3,k-2,k-1;但是因为发送方发送分组k-4,k-3,k-2,k-1的前提是收到了ACK(k-5),由累计确认的原则,ACK字段的所有可能的值是[k-5,k-1];

23. 对于SR协议而言,为了避免新来的分组和重发的分组无法区分的情况,必须使窗口长度小于或等于序号空间大小的一半.

因为序号空间是[0,k]/[0,k]重复应用的.设序号空间大小的一半为w,则w=k/2.

当WinSize>k/2时,

如本图所示,假设发送过程中,分组0,1,..,w都没有被收到ACK确认,此时第一个发送的分组0因超时而需要重传分组,故此时发送方需要发送分组0,而此时接受方因为实质是收到了分组0,1,..,w,只是他们对发送方的ACK码没有被发送方收到而已,故此时的接受方的窗口已经滑动到了w+1,…,w+WinSIze,这个序列的窗口段,这个序列的窗口段的分组序号为,w+1,w+2,…,k,…(如果有了最大的k,则需要从1处进行重置.)

此时,接受方的窗口和分组序号的对应关系为:

由这个对照关系所知,当WinSize>k/2时,此时在分组序号和k的交接处,因为w+w+1=k+1<w+WinSIze,即此时接收方的窗口中会同时收到分组序号0的包(仅举例),而对于这个包和从接收方的角度来看,接收方无法分别这个包是新的一个序号0的包,还是一组新的重传.

所以对于SR协议而言必须使窗口长度小于或等于序号空间大小的一半.

36. 对于为什么要3个冗余ACK后启动重传:

结论:两次duplicated ACK时乱序造成的,而丢包会造成3次冗余的ACK.

假设AB两个通信双方,A向B发送4个TCP Segment给B;

发送方A以1,2,3,4的顺序进行发送.

此时B方到达的顺序是:(仅发生乱序)

Case1: 1,2,3,4则A收到1个ACK(N);[各一个]

Case2: 1,2,4,3,则A收到会收到两个ACK(2)’

Case3: 1,3,2,4,则A会收到两个ACK;

Case4: 1,3,4,2则A会收到3个ACK(1);

…

此时B方到达的顺序是:(仅发生丢包)

Case1:1,3,4,会收到3个ACK(1)

Case2:1,4,3,仍是会收到3个ACK(1)

总结如上,当TCP包乱序时,有概率可以收到3次重复ACK,而当TCP丢包时,则一定会收到ACK,此时如果针对这种情况启动快速重传则会很好的起到快速恢复的效果.

37. 比较GBN,SR和TCP

b .根据题目假设,超时的区间设置的很长,所以由上比较可知,当TCP收到3次duplicated ACK后会进行快速重传和恢复机制,所以TCP事件最短

P4:内存管理

目标

1. 熟悉MINIX操作系统的进程管理
2. 学习Unix风格的内存管理

实验要求

修改MINIX3.1.2a的进程管理器，改进brk系统调用的实现。

使得分配给进程的数据段+栈段空间耗尽时，该brk系统调用会

1. 给该进程一个更大的内存空间，

2. 并将原来空间中的数据复制到新分配的内存空间。

3. 释放原来的内存空间

4. 通知内核映射新分配的内存段。

MINIX3 独立ID空间，共享相同的代码段。

Safety:使进程正常执行一小段时间，使其在执行这段时间的过程中，打印出此时“我出错了ENOMEM”(因为我本身不应该运行到safety内存中)和正常结束。

当空间消耗殆尽时，要增加空间，此时会有更大的空间来执行，使之继续地正常执行下去。

实验说明

1. 修改/usr/src/servers/pm/break.c中的adjust函数。

2. 在adjust函数中增加allocate_new_mem局部函数。

3. brk系统调用本身：

   1. Do_brk函数计算数据段新的边界

   2. 然后调用adjust函数，使用adjust函数来计算当前程序的空闲空间是否足够分配。

   3. 足够分配：

   4. 不够分配：调用allocate_new_mem函数申请新的足够大的内存空间。

      足够大的内存空间的申请和寻找是first-fit -> best-fit.

      将数据段和栈段拷贝：数据段底部，栈段顶部

编译MINIX

编译kernel后要把kernel的编号进行记住

5是选项，save是进行保存。

新生成的kernel是会变化的。

Project4也是又又又又需要配环境的一次haha!

1. 下载Minix3.1.2镜像文件
2. 在VMware中新建虚拟机，按照P1过程进行虚拟机的配置。
3. 然后就不能传文件啦！
4. 然后我把NAT的网络连接模式换了一种以后，就又可以传文件了~终于啊QAQ 我古董的windows重装都配好环境惹…

另记：传文件是玄学，编译时玄学，内核是玄学，cc是玄学，计算机是玄学。

主体思路就是对于allocate_new_mem函数进行调整。

1
2
3
4
5
6

/* Memory map for local text, stack, data segments. */
struct mem_map {
  vir_clicks mem_vir;		/* 虚拟地址 */
  phys_clicks mem_phys;		/*物理地址 */
  vir_clicks mem_len;		/* 长度 */
};

Allocate_new_mem函数的整体内容：

1. Alloc_mem分配内存
2. Sys_abscopy拷贝内容
3. 释放
4. 通知内核相关变动并注册

1

PUBLIC int allocate_new_mem(rmp,old_memory_clicks)

1. 通知变化是在if分支里面的，所以不需要sys_newmap

TNND，终于写完了。

Deep Learning

Step1: define a set of function

Step2: goodness of function

Step3:pick the best function

DL v.s.ML

这里的function是一个Neurual Network

可以用不同的方法链接不同的Neurual Network

今天没有带书，那就只能记笔记了。

4.1 -4.2 基本的内存管理

4.3-4.5 页式管理技术

虚拟地址->虚页号->物理页号

缺页->缺页故障

页面替换算法：减少缺页故障的总数

PageSize的大小/工作集

#数字化技术，尤其是数据与数据分析将如何影响和改变未来的寿险行业

• 方案创新
• 方案完整
• 原创性

• 大数据与寿险行业–知乎

• 2020-2026全球及中国补充健康保险行业发展现状调研及投资前景分析报告

• 尤忠彬

• 

• 数据挖掘的价值：寿险行业数据挖掘应用分析

• 德勤的视频

• 百度网盘资料：互联网+保险

• 商赛模版

• 互联网+保险：20个大数据应用案例

• 百度搜索：数据与数据分析将如何影响和改变未来的寿险行业

技术融合给保险业带来了哪些方便呢？

1. 大量险企通过云技术与人工智能精简或优化业务的流程与支撑基础，从而提高效率、降低成本。
2. 二是部分险企通过新技术重塑客户体验, 形成了赢得客户的新方法，例如定制化服务等。
3. 三是物联网加多云互联为AI提供更广泛的客户数据，支持对保险服务的全链条实现实时的高水平决策。
4. 四是在前所未有的丰富数据、算力与数字化、智能化支持下，保险公司提供无处不在的保险服务。
5. 五是新技术产生全新的业务价值。其中，基于使用情况而灵活变化的“柔性保险”可能为客户带来不同的价值体验；强调预防风险而非赔付损失的“预防型产品”，则为保险公司提供了另一种价值定位的可能性。总而言之，在技术与创新为保险本身带来全面变革的同时，保险技术服务的周边生态也正在随着技术的变革而重塑。

LS算法与DV算法/OSPF/BGP

zoom会议

• 不一定局限于寿险，故行业条件可以放开，自己熟悉且喜欢的即可
• 瞄准关键业务环节，找准点即可。
• 内容不要太多
• 数据分析Program

行业在寿险是例子

1. 寿险/银行业/零售/汽车等熟悉且喜欢的行业
2. PPT形式转PDF不建议有动画
3. 即使选择了行业，也要在行业里重点聚焦1-2项。营销/财务/运营/人力资源管理
4. 把一件事情讲清楚就可以了
5. 突出高级数据分析：机器学习/深度学习的价值
6. 突出算法技术在应用上的价值，而不是代码本身的优化

1. 创新：适当的做一些扎实的研究
2. 业务问题的定义，完整的数据分析和产生的洞察力，结论的业务含义和业务策略
3. 融入多元背景，管理咨询顾问，站在客户的视角帮助客户解决问题，端到端的业务流程。
4. 中英文自便
5. Overall公司，业务链条中的业务。具体公司的数据集不受限制
6. 算法应用的角度对业务应用方面获得一个更清晰的创新。

Stacking 模型与数据挖掘

1. 什么是管理咨询顾问
2. 数据分析与管理咨询
3. 德勤DC
4. 

• 改善数据分析的精确度：

  ML通过计算机识别市场行为模式和实时分析交易情况，改变了风险管理的方式。

Todo:手动实现ANN

手动实现ANN对mushroom进行有毒/无毒的分类

专业英语W14:Overfitting

在test表现的很好，但是在真正测试训练上表现的不好。

Think of your own mind as a neural network. Overfitting can happen to your mind too. Tell me a story about it.

在疫情期间我在家学习驾照考试，现在在科目二的阶段。

I have been preparing for the driving license test during the “long winter holiday” and now I am in the second phase.(科目二)

I thought learning to drive was hard, but after getting familiar with the real car, I find that in order to pass the drive test, all I have to do is to keep some “key patterns” in mind and keep practicing to operate the car at those points. These key points refer to the precise time and angle to turn the steering wheel and some “fixed” distance in the rearview mirror.

After such repeated training, I achieve a good result in the driving test.

But when I drive under real circumstances, for instance ,each time I was required to put the car back into the garage at my home, I couldn’t find the fixed point I had been trained any more. As a result of which, unsprisingly, I failed to put the car back everytime at the beginning, because I needed to judge flexibly without those points.

The process of how to drive of my mind is just like training it as a neural network. I behave very well on the specific fixed setting points to get a high score of driving license test. However, my real driving skill is so poor that I almost fail each time to get the car to the right place. This is the overfitting problem that my mind come across. Because I have learned to pass the trainning test(driving license test) too well so that I am not able to pass the real test which, as to the driving license test example ,is to have real command of driving a car.

我发现在学车过程中，我只需要将一些关键点记住，重复机械式的工作即可。

这些关键点包括转动方向盘的时机，转动方向盘的角度和后视镜里的一些”固定”的距离。

在经过重复的训练后，我发现我就可以很好的在驾照考试中取得比较好的成绩。

但是在真正开车的时候，比如每次父亲接我回家需要将车倒入库中，我发现此时我无法找到我原来学到的固定的点，即需要我灵活判断的时候表现的不好。

即在驾校的train中做的很好，在真实test中做的很糟糕。这是一种过拟合。

数据科学的数学基础W10(3):基于奇异值分解的矩阵的性质

基于奇异值分解的矩阵的性质

设矩阵$A\in R^{m \times n}$;对角矩阵上非0元素等于矩阵的秩;

$A=U\Sigma V^T$;

$U$和$V$给出了四个基本子空间的一组正交基:

$U$的前r列:A的列空间

$U$的后m-r列:A的左零空间

$V$的前r列,A的行空间

$V$的后n-r列,A的零空间;

广义逆

$A_{m\times n}$:

$(AG)^T=AG$

$(GA)^T=GA$

$GAG=G$

$AGA=A$

如果G是A的Moore-Penrose逆,则G是A唯一的广义逆(以Moore-Penrose逆)的定义;

当A为列满rank,A=($A^TA)^{-1}A^T$

数据挖掘过程Data Mining

数据挖掘是什么?

Models and patterns from massive observational data sets.

Components of Data Mining Algorithms

Components of data mining algorithms

Representation

Determining the nature and structure of the representatiom to be used.

Score function

Quantifying and comparing how well different represenatations fit the data

Search/optimization method

Data management

Measurement:scale

1. Nominal:类型的,即特性只能通过name来区分Hair color

2. Ordinal:attributes can be ordered.无法做减法

   Preference

   只能做保持序列的映射

3. Interval:距离有意义

   Temperature

4. Ratio:绝对零点,之间可以做比值

   Weight,income

Why measurements are important?

数据结构数据类型数据结构都在讲允许对这些数据做什么操作.