Task 04 打卡

机器翻译及相关技术

翻译前准备

清洗（大小写转换 标点符号）

分词（每个单词分开，生成一一对应的列表）

建立词典（根据词频进行统计 单词对应唯一id）

Encoder-Decoder

encoder将输入转化为隐藏状态，再由decoder将隐藏状态输出为翻译后语言。

sequence to sequence模型

运用到循环神经网络对下一个单词进行预测

将单词翻译成对应的词向量

beam search

依次根据每一个位置的局部最优解选取该位置的单词（贪婪搜索）

束搜索相比贪婪搜索增加了束宽（beam size）的超参数\(k\)，每次选取\(k\)个最优词