《机器学习与优化》之特定非线性模型08

开篇引用尼采的一句话,想要会飞翔,就必须先学会站立、行走、奔跑、攀登和跳舞,没人能直接飞翔。---尼采。

1逻辑回归:有些时候可能出现输出值被限定在一定的范围内,比如,若要预测概率,则输出值的范围只能是0~1,一种方法是将输入的线性组合传递给一种挤压“logistics”函数。最大化训练事件的对数似然率,就得到了逻辑回归。
2.局部加权回归:有些情况下,线性模型需要局部化,不同的输入点赋予不同的权重,那些距离需要预测的输入样本更近的点拥有更大的权重,这就是局部加权回归。
3.在需要优化的函数中加入对的大权重的惩罚项,不一定是权重的平方和(只有通过计算导数得到线性等式时才会有),可以有其他选择,例如用绝对值之和作为惩罚项,既可以有效的减少权重,又能使输入变得稀疏。这就是使用LASSO技术来缩小系数和选择输入,LASSO减少了非零权重的数目,从而也减少了对输出值有影响的输入值数量。

#机器学习##读书笔记#
全部评论

相关推荐

点赞 收藏 评论
分享
牛客网
牛客企业服务