2018年4月27日
Python3 中日语料分句实现
摘要： 0. 背景 因为最近在看平行语料句对齐、词对齐的缘故，想做对齐的话需要先做一个分句。 一开始利用正则和引号开关标志写了一种方法，中间想到一个小技巧，写出来比较简单通用，想把这一小段代码分享一下。 1. 原理 一些情况下，标点也算是比较好的一个特征，这里就想尽量正确的切分。 主要考虑到的问题包括： + 阅读全文
posted @ 2018-04-27 09:41 Comero 阅读(695) 评论(0) 推荐(0)