关于熵

信息量

信息量表示事件的不确定性。一件事情发生的概率越大那么那么它的发生所带来的信息量越小，反之，一件事情发生的概率越小那么那么它的发生所带来的信息量越大。由于存在这种关系，我们可以表示一件事情发生所带来的信息量为-logP。

熵

熵是所有信息量的期望。

H (X) = - <mstyle displaystyle="true" scriptlevel="0">      <munderover> \sum i = 1 n </munderover> p (x_{i}) l o g p (x_{i}) </mstyle>

条件熵
我们把H(X,Y) - H(X)即X，Y事件的熵减去X的熵，即在已知X的情况下所具有的熵即H(Y|X)条件熵。
由以上公式及概率相关公式推导可得。

H (Y | X) = H (X, Y) - H (X) = - <mstyle displaystyle="true" scriptlevel="0">      <munderover> \sum i = 1 n </munderover> p (X, Y) l o g p (Y | X) </mstyle>

信息增益
信息增益我们可以理解为互信息。

g (D | A) = H (D) - H (D | A)

增益率

基尼指数

全部评论

推荐最新楼层

今天 11:12

长沙理工大学 Web前端

没找到大厂实习，想All in秋招了

如题，只有过一段小厂实习经历，秋招会很吃亏吗？

KarlAllen_直通春招版：我也没大厂实习。今年大厂又扩招实习生。不知道秋招要怎么办了

点赞评论收藏

昨天 14:03

东北大学供应链专员

能读研还是要读研

虽然大家都在劝退读研，说读研以后也是打工，不如本科直接去打工，但随着现在研究生越来越多，很多企业招聘要求就会变成研究生起招，本科投递简历就会被卡，横向比较时也会因为"本科学历比不上研究生学历"被筛掉，而且你没发现劝退读研的基本都是读完研的人吗？而且进体制、国企等，研究生也比本科生升的快，他们拿着研究生文凭劝你一个本科生，可别当真了

炬火初现：肯定是说本科能有好工作或者满意的可以不读研啊，现在本科能找到好工作的那个不优秀，大学四年赛高中，而且还要和学校斗智斗勇，这种时候自然有的选，要是只是觉得一辈子混口饭吃，大概率也考不上研，或者考上又浑浑噩噩三年，也难说。而且考研所谓的优势说实话是你用差不多四年的时间成本（考一年，读三年）换过来的，而且还未必读完有今年的就业市场，当然不能随便决定读。再还要看专业，一些稀奇古怪的专业说实话根本没有办法创造出什么价值，也没钱赚（如果有爱好，可以适当降低报酬标准）。现在非92的研究生说实话也没啥太多所谓优势，难说。所以任何时候都要具体情况具体分析，不能一概而论。一点点小看法。欢迎大家友善讨论。

考研对你找工作产生了哪些影响？

点赞评论收藏