原文链接：  What's Going On in Neural Constituency Parsers? An Analysis  论文地址： What's Going On in Neural Constituency Parsers? An Analysis 代码地址： github     摘要  最近几年，成分句法分析的方法发生了巨大的变化。传统的有基于PCFG的CKY算法，最近几年随着神经网络的兴起又产生了基于转移的方法、CRF句法分析、重排序方法等等。 本文是伯克利大学在NAACL18提出的一种基于神经网络的句法分析方法，和传统的方法不同的是，完全不使用语法规则和词汇特征，只需...

原文链接： 具体数学-第14课 - WeiYang Blog 牛顿级数 多项式函数的一般表示形式为：也可以将其表示为下降阶乘幂的形式：这种表示的好处是，求差分更加方便：因为有所以多项式又可以表示为组合数的形式，也被叫做牛顿级数：这种形式的差分也特别简单，因为有所以 阶差分可以写为：所以有：所以牛顿级数又可以写为：这个形式是不是很像泰勒展开？ 生成函数 对于无限序列 ，定义它的生成函数为：定义一个函数用来表示 的系数：两个生成函数相乘的结果为：考虑下面的二项展开：可以发现这就是序列 的生成函数。替换变量可以得到：两个式子相乘可以得到：等式两边 的系数相等，于是：这和上节课讲到的范德蒙德卷积公式类...

原文链接： 具体数学-第13课 - WeiYang Blog  首先庆祝我自己顺利毕业了，忙完了毕业论文答辩一直在浪，所以上周的具体数学没有更新，现在补更一下，大家见谅。    首先这节课讲的基本都是组合数的相关性质，而且特别多，所以我就不在这里详细证明了，如果你们对某一个性质感兴趣，可以自己证明去。 性质1 首先将组合数推广到负数域，也就是底数为负数的情况：证明可以从下降阶乘幂的定义直接得到。 性质2 由于所以由性质1可得 性质3 这就说明了杨辉三角同一行的前面若干项交错和是可以求得的，但是它们的直接和是无法求出的。 性质4 证明可以通过令将左边表示成递归式的形式，同理如果右边可以表示成相同...

原文链接： 具体数学-第12课 - WeiYang Blog  这节课内容太多了，再加上感冒身体不舒服，下面的定理就不一一证明了，大家可以自行练习。以后有空我会补上的！  例题1 首先接着上节课同余继续讲，在第三章例题2中，我们遗留了一个问题：对于如下序列它的值就是的某个排列，并且重复了 次。其中  首先我们有如下同余式：这就可以看出该序列的确是重复出现了 次，那么剩下的问题就是证明这 个数恰好就是的某个排列。令 ，所以有所以我们只考虑 的情形，在此情形下，我们可以得到由此可以看出，这 个数一定就是至此得证。 下面介绍几个著名的数论定理。 费马最后定理 对于所有的正整数 ，有 费马小定理 如果...

原文链接： 具体数学-第11课 - WeiYang Blog Stern-Brocot树 我们接着上节课讲到的Stern-Brocot树继续往下讲。 LR序列表示 对于任意分数 ，我们从 开始走到它所在的结点。如果向左走就记为L，向右走记为R，最终可以得到一个L和R的序列。例如 的表示就是LRRL。 这种表示产生了两个问题：1. 给定满足正整数 和 互素的分数 ，它所对应的LR序列是什么？2. 给定LR序列，它所表示的分数是什么？ 第二个问题看起来更好解决一点，我们先解决第二个问题。我们定义例如如果用代码实现的话，对于每个L或者R，如果是L，那么就把右边界设为中间值，如果是R，那么就把左边界设...

原文链接： 具体数学-第10课 - WeiYang Blog 欧几里得数 首先我们来证明一下，素数有无穷多个。 假设素数只有 个，分别为 ，那么我们构造下面的数字：显然 无法被 中的任意一个整除，那么要么 可以被其他的素数整除，要么 自己就是一个素数。所以素数有无穷多个。 下面我们来定义欧几里得数，是用递归形式来定义的： 那么欧几里得数是否是素数呢？当然不是的， 。 但是欧几里得数还是有很多奇妙的性质。 性质1证明：假设 ，那么有性质2如果令 等于 的最小素因子，那么 就是一个不重复的素数序列，这也证明了素数有无穷多个。性质3在后面的章节可以证明：其中  下面我们稍稍探究一下下面这个数的性质：...

原文链接： K-best Iterative Viterbi Parsing 本文链接：EACL17 介绍 CKY算法或维特比inside算法是成分句法分析的主要方法之一，但是当产生式数量特别大之后，时间复杂度也线性增大。可行的一种方法是剪枝，但是剪枝会造成准确率的下降。所以本文就提出了一种迭代的维特比句法分析算法，通过剪枝去除掉没用的边。实验表明，时间上加快了一个数量级，但是本文并没有说准确率怎么样。。。 本文用到的inside和outside算法之前已经介绍过了，详见PCFG中inside和outside算法详解。 算法框架 分层聚类 首先提出分层聚类的概念。   如上图所示，原来的类别标...

今天讲完了取整的最后一部分知识，并给第四章数论开了个头。 首先还是以一道例题开始我们今天的课程。 例题1 求和： 方法1 首先令 那么有我们先算左半部分，先假设 ，那么有而对于一般的 ，令 ，我们只需要计算 的部分，而这部分 ，所以结果为 。 所以总的结果为： 这里解释一下为什么没有算右半部分？因为右半部分就是 的这部分，已经计算过了。 方法2 因为 ，所以可以将原式替换掉，还是令 ，然后如下计算：其中第二行交换了变量计算顺序。 定理1 这里直接介绍一个定理，就不证明了，过程比较复杂：其中 是一个无理数。 这个公式说明了，无理数 的整数倍的小数部分均匀分布在 之间。 这就给了我们一个启示，我们...

原文链接： PCFG中inside和outside算法详解 - WeiYang Blog inside-outside算法是用来预测一棵句法分析树的概率的算法，算法建立在文法是乔姆斯基范式（CFG）的基础之上，CFG的定义见维基百科。一棵句法分析树的potential定义为它包含的产生式的potential乘积，在PCFG中表示概率，在CRF-CFG中表示特征集合的分数。 inside-outside算法需要定义两个变量：   定义为内部的potential之和，即以 为根结点，短语为 的所有可能的子树的potential之和。  定义为外部的potential之和，即以 为根结点，短语为 的...

原文链接： 具体数学-第8课 - WeiYang Blog 今天主要讲了取整与递归式的结合，还有取模的相关知识。 例题1 给出下列递归式：现在不要求你求解，要你证明：首先想到的就是数学归纳法，假设对于任意 ，都有 ，那么：如果 ，那么 。如果 ，那么 ，这时不成立。 所以数学归纳法无法证明，今后我们会用其他方法来证明这个式子。 约瑟夫环新解 还记得约瑟夫环问题吗？详见第一节课。 这里我们继续推广到一般情况，如果有 个人，每隔 个人踢掉一个人，最后剩下的是几号？ 初始编号为 ，现在考虑一种新的编号方式。 第一个人不会被踢掉，编号加 ，变成 ，然后第二个人编号变为 ，直到第 个人，他被踢掉了。 然...

原文链接： 具体数学-第7课 - WeiYang Blog 首先声明一下，最近这段时间忙毕设，没时间更新博客了，大家见谅。 今天这节课开始讲解取整相关知识，主要是数论相关的了。 符号定义 向下取整函数 定义为小于等于 的最大整数。向上取整函数 定义为大于等于 的最小整数。 定义为实数 的小数部分，即 性质 性质1  性质2 取整函数范围： 性质3 负数的取整： 性质4 取整函数中的整数可以提取出来： 应用 应用1 证明： 更一般的，我们还可以证明，对于任意连续、递增的函数 ，如果它满足那么有 我们证明第2个式子，第1个同理可证。 如果 ，显然成立。 否则 ，因为 递增，所以有两边同时取整，有要...

原文链接： 具体数学-第6课 - WeiYang Blog 上节课讲到下降阶乘幂和差分运算，这节课继续讲它和差分的各种性质。 性质1 首先在后面章节会证明， 的二项展开形式和普通的 是一样的，这里提一下，暂时用不到。 性质2 接下来给出下降阶乘幂为负数的定义： 性质3 和普通幂 不同，下降阶乘幂有如下性质： 性质4 上一节课说到，定义下降阶乘幂的好处就是为了求差分方便，下降阶乘幂的差分为：反之，类比不定积分，它的不定和为： 但是这里 ，那要是 怎么办呢？直接运用差分定义可以求出 所以 性质5 在微积分里面， 的导数是它自身。那么什么函数的差分是自身呢？通过定义可以很容易算出来： 进一步推广可以...

原文链接： 具体数学-第5课 - WeiYang Blog 今天继续讲求和的方法。针对以下求和式，我们用8种方法来求解：大家应该都已经背上了它的答案： 方法0 查表。这就不用说了，很多文献都有现成的解，拿来直接用就行了。再给大家推荐一个整数序列查询网站OEIS：The On-Line Encyclopedia of Integer Sequences® (OEIS®) 方法1 猜答案，然后用数学归纳法证明。这个也不多说了，前提是你得猜得出来，这题的公式还是很难猜的。 方法2 扰动法。令所以解出最终得到 可以看出，我们本来是要对 求和的，但是只要对 用扰动法求和即可，因为求和过程中 项会被抵消掉...

原文链接： 具体数学-第4课 - WeiYang Blog 今天讲了多重求和，也就是一个和式由多个下标来指定。 首先是最简单的形式： 例题1 下面给出一个对称矩阵：求：这是这个矩阵的上三角加对角线求和，因为是对称的嘛，可以补全下三角，加上对角线就行了。所以 例题2 下面再看一个例子：同样模仿上例调换 位置，得到：所以至此解完，然后可以推出一个著名的不等式————切比雪夫不等式：如果那么反之如果那么更一般的结论，给定两个序列 和 ，求下面式子最大值与最小值：其中 是 的一个排列。答案是 增序最大，降序最小，至于为什么，下面给出两种证明方法。 方法1   如上图所示， 和 按照递增顺序排列，每个方...