摘要：kenlm安装 依赖安装 sudo apt-get install build-essential libboost-all-dev cmake zlib1g-dev libbz2-dev liblzma-dev kenlm安装 wget -O - https://kheafield.com/cod 阅读全文

摘要：《Spelling Error Correction with Soft-Masked BERT》 最近在研究中文校对相关的东西，自然免不了先阅读前人大作，今天读的是2020ACL的soft-Masked。该文是做中文拼写纠错（CSC），换言之是实现映射函数F: X —> Y，其中len(X)=le 阅读全文

摘要：spacy依存句法分析的标签一直不清楚，官方文档也没明确指出，这里整理了常见的依存标签 计算机语言学家罗宾森总结了依存语法的四条定理： 1、一个句子中存在一个成分称之为根（root），这个成分不依赖于其它成分。 2、其它成分直接依存于某一成分； 3、任何一个成分都不能依存与两个或两个以上的成分； 4 阅读全文

摘要：先写个标题，有空来补坑 阅读全文

摘要：1. self attention layer可以取代RNN，因为其可以并行，并且能考虑全局输入 2. RNN在t时刻的输出o(t)取决于当前时刻的输入x(t)和隐藏层的值s(t)，而其中的隐藏层的值s(t)不仅取决于当前时刻的输入x(t)，还取决于前一时刻隐藏层的值s(t-1),具体公式如下图： 阅读全文