摘要: 给公司爬了大量的韩国的资料,因为看不懂韩文在爬取量上来之后发现有很多的重复数据,所以想用语系分析工具对韩语进行分词好去重。使用韩语分析器还有一个好处就是后续搜索时可以大大提升搜索的准确度 注意: 安装语言分析工具要选择对应的elasticsearch版本,目前openkoreantext-analy 阅读全文
posted @ 2020-10-24 11:50 bibicode 阅读(586) 评论(0) 推荐(0)