首页 > 试题广场 >

机器学习中做特征选择时，可能用到的方法有？

[不定项选择题]
机器学习中做特征选择时，可能用到的方法有？ 
  • 卡方
  • 信息增益
  • 平均互信息
  • 期望交叉熵
查看答案及解析
添加回答
chen尾巴头像 chen尾巴

特征提取算法

特征提取算法分为特征选择和特征抽取两大类

特征选择

常采用特征选择方法。常见的六种特征选择方法：

  1. DF(Document Frequency) 文档频率
    DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性

  2. MI(Mutual Information) 互信息法
    互信息法用于衡量特征词与文档类别直接的信息量。
    如果某个特征词的频率很低，那么互信息得分就会很大，因此互信息法倾向”低频”的特征词。
    相对的词频很高的词，得分就会变低，如果这词携带了很高的信息量，互信息法就会变得低效。

  3. (Information Gain) 信息增益法
    通过某个特征词的缺失与存在的两种情况下，语料中前后信息的增加，衡量某个特征词的重要性。

  4. CHI(Chi-square) 卡方检验法
    利用了统计学中的”假设检验”的基本思想：首先假设特征词与类别直接是不相关的
    如果利用CHI分布计算出的检验值偏离阈值越大，那么更有信心否定原假设，接受原假设的备则假设：特征词与类别有着很高的关联度。

  5. WLLR(Weighted Log Likelihood Ration)加权对数似然

  6. WFO（Weighted Frequency and Odds）加权频率和可能性

特征抽取（降维）

PCA等

发表于 2018-01-27 17:35:55 回复(2)
AU REBORN头像 AU REBORN
在文本分类中，首先要对数据进行特征提取，特征提取中又分为特征选择和特征抽取两大类，在特征选择算法中有互信息，文档频率，信息增益，卡方检验以及期望交叉熵。
期望交叉熵，以文本分类为例子，期望交叉熵用来度量一个词对于整体的重要程度。
在ID3决策树中，也使用信息增益作为特征选择的方法，在C4.5决策树中，使用信息增益比作为特征选择的方法，在CART中，使用基尼指数作为特征选择的方法
发表于 2017-03-19 17:30:14 回复(0)
Jeary_zg头像 Jeary_zg
卡方检验（χ2 test），是一种常用的特征选择方法，尤其是在生物和金融领域。χ2 用来描述两个事件的独立性或者说描述实际观察值与期望值的偏离程度。χ2值越大，则表明实际观察值与期望值偏离越大，也说明两个事件的相互独立性越弱。
发表于 2017-09-14 14:19:53 回复(0)
wendy_cwl头像 wendy_cwl
这道题目好戏那个D期望交叉熵也可以做特征选择吧。。http://blog.csdn.net/fighting_one_piece/article/details/37912051
发表于 2015-09-15 19:10:11 回复(0)
呆哥不是个好少年头像 呆哥不是个好少年

卡方检验，假设样本点与类别是不相关的 进行卡方检验，如果检验的值与阈值差距越大，那我们就越否定原假设

发表于 2019-09-06 13:13:59 回复(0)
杰尼索维奇头像 杰尼索维奇

特征抽取和特征选择的差别mk

发表于 2019-08-17 15:48:23 回复(0)
Aaron_12头像 Aaron_12
主要是指文本分类中的
首先要对数据进行特征提取，特征提取中又分为特征选择和特征抽取两大类，在特征选择算法中有互信息，文档频率，信息增益，卡方检验以及期望交叉熵。
发表于 2018-08-05 12:27:02 回复(0)
tjjsjwhj头像 tjjsjwhj
只记得有互信息，怎么还有平均互信息?
发表于 2018-06-30 22:21:53 回复(1)
meimeitou头像 meimeitou
卡方怎么做？
发表于 2017-09-11 13:54:17 回复(1)
腿毛飘漂头像 腿毛飘漂 
卡方和信息增益并不了解

发表于 2016-08-30 16:05:24 回复(2)
C.N GTS头像 C.N GTS
A，B，C，D都可以
发表于 2016-08-24 17:37:50 回复(0)
提交观点

问题信息

C++工程师 运维工程师 美团 算法工程师 机器学习 2016 Java工程师
来自：美团2016研发工程师...
难度：
11条回答 20621浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号