随笔分类 -  Machine Translate

BERT使用记录/KenLM避坑
摘要：使用 bert 生成词向量： ##### 运行此脚本 export BERT_BASE_DIR = ./chinese_L-12_H-768_A-12 ## 模型地址exprot Data_Dir = ./datapython bert-master/extract_features.py \ -- 阅读全文
posted @ 2019-11-22 16:01 胡~萝~卜 阅读(938) 评论(2) 推荐(0)
Fast-align/subword-nmt 使用记录
摘要：###### 在Linux系统下运行 ####### 实验步骤： Step 1： 从github上下载工具包 Step 2: 将语料处理成 “ 源语言 ||| 目标语言 ” 的形式。 Step 3： 安装必要的工具包： Step 4： 分步执行： Step 5： 运行代码如下： Step 6： 输出 阅读全文
posted @ 2019-10-17 10:59 胡~萝~卜 阅读(3379) 评论(0) 推荐(0)
处理语料篇
摘要：语料处理规则： 在机器翻译中，一份好的语料会对翻译模型有很大的提升。但不同的研究人员都有不同的处理规则，本文选用小牛翻译的处理语料的规则方法。 （1）过滤掉单词长度超过100和单个单词字符的长度超过40的句子。 （2）过滤掉源语言和目标语言的长度比大于1/3的句子。 （3）过滤掉包含HTML标签的句 阅读全文
posted @ 2019-10-16 21:11 胡~萝~卜 阅读(696) 评论(0) 推荐(0)
Transformer黑匣子
摘要：机器翻译： 机器翻译的任务可以看成是将一种源语言词序列转换成语义相等的另一种目标语言词序列。从某种意义上来看，它完成的是某一项序列转换任务，即将一个序列对象通过模型、算法按照某种知识、逻辑转换成为另外一个序列对象。现实生活中有许多的任务场景都是在完成序列对象之间的转换任务，机器翻译任务中的语言只是其 阅读全文
posted @ 2019-09-29 16:28 胡~萝~卜 阅读(254) 评论(0) 推荐(0)
一些好用的代码
摘要：############################################################################################################################################# ######## 阅读全文
posted @ 2019-09-18 19:54 胡~萝~卜 阅读(414) 评论(0) 推荐(0)
Dataset
摘要：自然语言处理任务数据集 keywords: NLP, DataSet, corpus process 语料处理一般步骤 以下处理步骤出自[Mikolov T, et al. Exploiting Similarities among Languages for Machine Translation 阅读全文
posted @ 2019-05-07 10:59 胡~萝~卜 阅读(492) 评论(0) 推荐(0)
GRU and LSTM
摘要：门控循环单元（GRU）： 背景： 当时间步数较大或者时间步数较小的时候，循环神经网络的梯度较容易出现衰减或者爆炸。虽然裁剪梯度可以应对梯度爆炸， 但是无法解决梯度衰减的问题。正因为如此，循环神经网络在实际中难以捕捉时间序列中的时间步较大的依赖的关系。门控循环 神经网络的提出，真是为了更好地捕捉时间序 阅读全文
posted @ 2019-04-13 21:44 胡~萝~卜 阅读(519) 评论(0) 推荐(0)
语言模型
摘要：语言模型： 语言模型是自然语言处理中的重要技术，其描述的是一段话的流畅度，给定一个一个长度为 T 的词的序列w1、w2、.....、wt，语言模型将计算该序列的概率： 语言模型可用于提升语音识别和机器翻译的性能。例如，在机器翻译中，如果对英文 “ you go first ” 逐词翻译成中文的话，可 阅读全文
posted @ 2019-04-13 13:05 胡~萝~卜 阅读(600) 评论(0) 推荐(0)
神经联合模型
摘要：神经联合模型的训练; 输入：双语语料 C={x,y}1N 输出：模型参数 Θ （1）使用对其工具对双语语料进行对齐，获得 C={ x, y, a}1N ，其中 a 为对齐矩阵。 （2）随机初始化神经网络参数 Θ （3）从双语语料 C 中随机采样一个句对{xk，yk，ak}，并且从 yk 中随机采样一 阅读全文
posted @ 2019-03-19 20:50 胡~萝~卜 阅读(450) 评论(0) 推荐(0)
机器翻译
摘要：机器翻译 机器翻译大体经过了两个阶段： 理性主义阶段（1949~1992）： 主张由人类专家观察不同语言间的转换规律，以规则的形式表示翻译知识。 缺点：翻译知识获取难、开发周期长、人工成本高等 经验主义阶段（1993~2016）： 主张以数据为核心，通过数据模型来描述自然语言之间的转换过程，在大规模 阅读全文
posted @ 2019-01-23 16:09 胡~萝~卜 阅读(420) 评论(0) 推荐(0)