原文链接：  论文赏析[ACL18]一个句子向量表示究竟可以塞进多少语言性质？ | 韦阳的博客  论文地址：  What you can cram into a single $&!#* vector: Probing sentence embeddings for linguistic properties 介绍 本文主要探究了不同encoder在不同任务上训练得到的句子向量表示，是否蕴含了各种语言性质。   本文主要有三个贡献点：   分析了三种类型的encoder，并在7个任务上预训练句向量。 提出了10种探测任务。 每个探测任务探究一种语言性质。  探测任务 为了探测这些性质，...

原文链接：  论文赏析[EMNLP19]Designing and Interpreting Probes with Control Tasks  论文地址：  Designing and Interpreting Probes with Control Tasks 介绍 NLP任务都存在着一个常见的问题：我的神经网络有没有学到某个性质 ？ 所以我们需要构造出一种方法，来告诉我们模型是否真的学到了某些性质。 例如对于ELMo，我们想知道它是否学到了POS tag信息，所以我们需要设计一种探测任务（probe task）。   如上图所示，我们将句子输入到ELMo中，得到每个单词的上下文表示。 ...

原文链接：  Do latent tree learning models identify meaningful structure in sentences?  论文地址：  Do latent tree learning models identify meaningful structure in sentences? 本文是一篇分析类论文，主要对近年来几种无监督句法分析模型（RL-SPINN和ST-Gumbel）进行了分析，得出了如下三个结论：  在句子分类任务上，只有一种模型效果好于传统的树结构模型。 这些模型随机性很大，初始化不同，结果也都差距很大。 这些模型产生的句法树的平均深...

原文链接： https://godweiyang.com/2019/08/15/con-parsing-summary-v2/  本文对成分句法分析近年来的进展做了一个比较完善的总结。分析了多种不同类型的成分句法分析模型（基于转移，动态规划和序列到序列等），比较了它们之间的优缺点，并总结了一些提升它们性能的技巧。最后，本文对成分句法分析的未来发展趋势表明了自己的一些看法。  介绍 成分句法分析近年来取得了飞速的发展，特别是深度学习兴起之后，神经句法分析器的效果得到了巨大的提升。一般来说，句法分析器都可以分为编码模型和解码模型两个部分。编码模型用来获取句子中每个单词的上下文表示，随着表示学习的快...

本文不在本站更新，请到原文查看！ 原文链接： https://godweiyang.com/2018/09/26/constituent-parsing-summary/  一直以来想对保研到现在一年多看过的论文进行一个总结，正好赶上下周二要讲组会，所以将自己看过的成分句法分析相关的论文梳理一下，写一个粗略的综述。可能有很多细节还不是很懂，理解有误，还请大家指正。  PPT地址：A Summary of Constituent Parsing 代码地址：Constituent Parsing 介绍  成分句法分析（constituent parsing）是自然语言处理中的一个基础任务，它的任务...

本文不在本站更新，请去原文查看！ 原文链接：https://godweiyang.com/2018/04/13/hexo-blog/  有任何问题请联系我扣扣：792321264，vx：weiyang792321264，公众号godweiyang。  前言 17年9月的时候开始搭建了第一个自己的独立博客，到现在也稍微像模像样了。很多小伙伴应该也想过搭建一个自己的博客，网上也有一堆详细教程。我在此稍稍总结一下具体的搭建步骤，另外网上很少有修改博客源码的个性化教程，我就稍稍分享一下我的一些修改经验，更多的个性化操作需要你自己以后去摸索。 具体效果可以参观我的博客：godweiyang.com，欢迎...

本文的最终目的是将手机微信的聊天记录导出到电脑里，变成txt文本文件，然后对其进行分析。  网上有一些工具也可以完成这个功能，但是基本都是付费的。手动操作的话，找了很多的博客，基本没有完全有效的。最终找到一篇很靠谱的教程： 小米手机提取微信聊天记录数据库 · Issue #1 · Heyxk/notes 本文基本参考这篇进行整理。 首先上我的github把所有需要的文件下载下来： godweiyang/wechat-explore 用法稍后说明。 导出手机微信数据库 首先要做的第一步就是将手机端的微信数据库.db文件导出到电脑上。 小米手机 小米的话做法很简单，不需要进行root。 1. 首先...

原文链接：  Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive Autoencoders  论文地址：  Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive Autoencoders  代码地址：  iesl/diora  今天要分享的这篇论文来自NAACL2019，主要利用inside-outside算法推理出给定句子的句法树，不需要任何的监督，也不需要下游任务作为目标函数，只需要masked语言模型就行了。  介绍...

原文链接：  python生成词云（附带QQ聊天记录生成词云实战） | 韦阳的博客 很多同学对词云很感兴趣，就是给一段文本，然后根据它的词频，生成出好看的词云，就像下面这张图一样：    生成这个其实很简单，python代码我已经放在github上面了，大家下载下来就能直接用： godweiyang/wordcloud 下面我讲讲怎么使用这个代码。 环境配置 首先需要python3环境，推荐使用Anaconda安装。 然后需要jieba和wordcloud库，所以运行下面两条命令安装两个库： pip3 install jieba  pip3 install wordcloud  文件目录 这个...

​2019 亚洲语言处理国际大会 (The 2019 International Conference on Asian Language Processing (IALP 2019)), 将于2019年11月15日—17日在中国上海举行，会议由华东师范大学承办。IALP创办于1986年(其前身为International Conference on Chine***puting (ICCC)), 由中文与东方语文信息处理学会(The Chinese and Oriental Languages Information Processing Society, (COLIPS))组织。IALP聚...

2019 亚洲语言处理国际大会 (The 2019 International Conference on Asian Language Processing (IALP 2019)), 将于2019年11月15日—17日在中国上海举行，会议由华东师范大学承办。IALP创办于1986年(其前身为International Conference on Chine***puting (ICCC)), 由中文与东方语文信息处理学会(The Chinese and Oriental Languages Information Processing Society, (COLIPS))组织。IALP聚焦...

经过这两天的加班加点，总算给我们实验室弄了个还算能看的主页了： AntNLP 其实本来也没急着弄得，但是前段时间交流的时候，总有人问我们实验室主页是什么，没有就很尴尬，所以粗制滥造赶制了一个。 也非常欢迎对自然语言处理和深度学习有兴趣的同学报考我们老板，下面是他的主页： Yuanbin Wu 如果你是本校的学生，那么还可以来参加我们每年为低年级学生开设的自然语言处理讨论班，一起入门自然语言处理。

原文链接：  https://godweiyang.com/2019/04/20/NAACL19-URNNG/  论文地址：  Unsupervised Recurrent Neural Network Grammars  代码地址：  harvardnlp/urnng  介绍  这篇是新鲜出炉的NAACL19的关于无监督循环神经网络文法（URNNG）的论文，在语言模型和无监督成分句法分析上都取得了非常不错的结果，主要采用了变分推理和RNNG。本文公式量较大，因此我也推了好久，算法也挺多的，首先上一张我推导的公式笔记：    我这篇博客就不按照论文的顺序来讲了，就按照我上面这张笔记讲一讲我的理...

原文链接：  Neural Language Modeling by Jointly Learning Syntax and Lexicon  论文地址：  Neural Language Modeling by Jointly Learning Syntax and Lexicon  代码地址：  yikangshen/PRPN  最近开始转向去看看一些无监督的成分句法分析论文，看看能否有一些启发QAQ。这篇博客摸鱼划水写了整整四天才写完，好累啊啊啊。   介绍  一般来说，自然语言是由词汇和句法组成的，但是标准的语言模型一般都只用RNN对词汇进行建模，句法信息都是隐式的学习到的，没有办法显...