首页 > 试题广场 >

最大似然估计和最大后验概率的区别?

[问答题]

最大似然估计和最大后验概率的区别?

最大后验概率是在根据贝叶斯定理,结合参数的先验分布得到的后验分布概率 公式:P(θ|X) = P(X|θ)P(θ)/P(X)
发表于 2019-05-20 15:27:06 回复(0)
MLE 与 MAP: 相同点: 都是为了找到参数的某一个取值,这个取值使得得到目前观察结果的概率最大。(通过比较该参数不同取值下观察结果的条件概率) 不同点:MAP 考虑了模型的先验分布, 而MLE 假设模型是均匀分布。 可以说,MLE是MAP的一种特例
发表于 2019-05-09 13:05:48 回复(0)

最大似然估计,是通过给定观测值,需要获得参数,使得多组观测值出现的概率最大化

最大后验估计,在给定观测值的同时,给出参数的先验分布,通过先验和似然并且利用贝叶斯公式得最大后验

编辑于 2019-10-30 00:26:02 回复(0)
同点:
    最大似然估计(MLE)和最大后验概率(MAP)都是一种参数估计的方法。
不同点:
    MLE的优化目标是
    MAP的优化目标是

举个例子,假设抛硬币10次,有6次正面,4次反面,现对“抛一次硬币,结果为正面”的概率进行估计。易知MLE的计算结果为,而MAP则会假设服从一定的分布,比如拉普拉斯分布或高斯分布,即引入一定的外部先验知识进行辅助估计,减少参数估计对训练样本的依赖性。
编辑于 2020-04-12 17:07:29 回复(0)
当最大后验估计的先验分布为均匀分布时,即为极大似然估计 (无信息先验)
发表于 2021-09-15 13:48:42 回复(0)
在讲最大似然估计与最大后验概率的区别之前,可以先了解一下频率学派与贝叶斯派。
频率学派认为事件在多次重复实验中会趋于一个稳定的值P,这个值就是事件的概率,它们认为模型参数是个定值,我们根据已知样本,希望通过调整模型参数来使得模型能够最大化样本情况出现的概率。这种方法在数据量特别大的情况下可以很好地还原模型的真实情况,被称为极大似然估计。
而贝叶斯学派则认为,我们对世界的认知不是一成不变的,我们对事物的认知会有一个预先的估计,这对应于先验概率这个概念,然后基于我们获取到的信息来更新我们的看法,这对应于后验概率。
最大后验概率也运用了极大似然估计的思想,只不过它在其中加入了先验概率(先验假设),先验概率假设了模型参数满足某种分布,再根据已知样本与我们的先验假设,来通过调整模型参数使得模型能够产生该数据样本的概率最大,或者说后验概率最大。
发表于 2021-03-10 08:54:03 回复(0)

MLE是通过使观测值在某一分步片(x/theta)里出现概率最大来求取分布参数,MAP是p(theta/x)~ MLE x 先验概率

发表于 2020-01-31 02:49:09 回复(0)
发表于 2019-06-05 11:18:49 回复(0)