《数学之美》25.26.27章读书笔记

第25章 条件随机场和句法分析

  1. 自然语言中句法分析(Scence Parsing),一般是指根据文法对一个句子进行分析,建立这个句子的语法树,即文法分析(Syntactic Pasing),有时也指对一个句子中各成分的语义进行分析,即对这个句子语义的一种描述,即语义分析(Semantic Pasing)。

  2. 对于文法分析(结构分析),看做括括号的过程。

P(A|prefix)表示[ 跳过 ]的动作。Prefix表示从句子开头到目前为止所有不同语法成分,利用最大熵模型实现。

  1. 自然语言应用中,并不需要对语句进行深入分析,1)只做浅层分析(Shallow Pasing),比如找出句子主要的成分以及之间的关系即可。

随机提出条件随机Change,大大提高了句子浅层分析的正确率。

  1. 条件随机场是隐含马尔科夫模型的一种扩展,它保持了隐含马尔科夫模型的一些特性,更广义讲,条件随机场是一种特殊的条件概率模型。

条件随机场与贝叶斯网络相比:1)相同之处在于变量之间遵守马尔科夫假设,即只与直接连接的点有关,与间接相连的点无关。2)不同之处在于条件随机场是无向图,而贝叶斯图是有向图。

条件随机场利用最大熵原则,我们期望能找到这样一个模型,可以符合所有边缘分布并使熵达到最大的模型,而在此处边缘分布就是特征函数

  1. 条件随机场在其他领域有很多应用

利用条件随机场来对何时、何地最容易发生何类犯罪进行建模。

条件随机场是一个灵活的用语预测的模型。

26章 维特比和他的维特比算法

  1. 维特比算法是一个特殊但应用最广的动态规划算法(数字通信)

动态规划,可以解决任何一个图中的最短路径问题,而维特比算法(Viterbi)是针对篱笆网络(Lattice)的有向最短路径问题而提出的。

凡是用隐含马尔科夫模型描述的问题均可采用维特比算法来求解。

  1. 维特比算法

    1)从点S出来,计算S到第一个状态X的各个节点(如有n1个),计算d(S,X1i) i=1.2...n1。
    
    2)从第一个状态X1,到第二个状态X2(如有n2个) d(S,X2j)=min{d(S,X1i)+d(X1i,X2j)}
    
    3)以此进行,从第Xi-1到Xi的状态
    
  2. CDMA技术——3G移动通信的基础

    码与复用(多址)

    TDMA(时分多址): 将同一频带按时间分成很多份,每个人的通信数据占这个频带传输时间的1/N

    FDMA(频分多址): 对频率进行切分,由于相邻频率会互相干扰,因些每个信道要有足够的带宽。由于带宽有限,要么限制通信人数,要么降低话音质量。

    第27章 上帝的算法——期望最大化算法

只要有一些训练数据,再定义一个最大化函数,采用EM算法,利用计算机经过若干次迭代,就可以得到所需要的模型。这实在是太美妙了,这也许是我们的造物主刻意安排的。所以我把它称作上帝的算法。

可以有一些比较形象的比喻说法把这个算法讲清楚。比如说食堂的大师傅炒了一份菜,要等分成两份给两个人吃,显然没有必要拿来天平一点的精确的去称分量,最简单的办法是先随意的把菜分到两个碗中,然后观察是否一样多,把比较多的那一份取出一点放到另一个碗中,这个过程一直迭代地执行下去,直到大家看不出两个碗所容纳的菜有什么分量上的不同为止。

EM算法就是这样,假设我们估计知道A和B两个参数,在开始状态下二者都是未知的,并且知道了A的信息就可以得到B的信息,反过来知道了B也就得到了A。可以考虑首先赋予A某种初值,以此得到B的估计值,然后从B的当前值出发,重新估计A的取值,这个过程一直持续到收敛为止。

最大期望算法经过两个步骤交替进行计算 :

1)计算期望(E),利用概率模型参数的现有估计值,计算隐藏变量的期望;

2)最大化(M),利用E 步上求得的隐藏变量的期望,对参数模型进行最大似然估计。

3)M 步上找到的参数估计值被用于下一个 E 步计算中,这个过程不断交替进行。

总体来说,EM的算法流程如下:

1.初始化分布参数

2.重复直到收敛:

E步骤:估计未知参数的期望值,给出当前的参数估计。

M步骤:重新估计分布参数,以使得数据的似然性最大,给出未知变量的期望估计。

#笔记##读书笔记#
全部评论

相关推荐

点赞 2 评论
分享
牛客网
牛客企业服务