使用Moses进行英文分词tokenizer、truecasing、lowercasing、clean等

打开MOSES主站http://www.statmt.org/moses/ 安装MOSES并安装其他依赖GIZA++等

tokenizer处理

~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en < en_yuliao_test.txt > en_yuliao_test_tok.txt

truecasing处理
创建model文件夹，复制一份语料放入model中（不知道这个操作是否合理）

~/mosesdecoder/scripts/recaser/train-truecaser.perl --model ./model/en_yuliao_tok.txt --corpus en_yuliao_tok.txt
~/mosesdecoder/scripts/recaser/truecase.perl --model ./model/en_yuliao_tok.txt < en_yuliao_tok.txt > en_yuliao_tok_true.txt

clean处理：剔除过长或过短的双语语料对
将双语语料统一命名为test-enzh.en和test-enzh.zh，并对长度不在[1, 80]之内的双语语料进行删除

~/mosesdecoder/scripts/training/clean-corpus-n.perl test-enzh en zh test-enzh.clean 1 80

更多工具使用请参考官方文档
英文分词使用工具众多，NLTK也是常用工具之一