摘要: 自动分词-传统方法 基本问题 相比于英文分词: 中文中最小单位是字,英文为单词(有意义); 中文中具有意义的最小单位是词(含单字词); 中文中字与字或词与词之间没有明显的界限 分词规范 常用分词规范: 《信息处理用现代汉语分词规范》GB13715-92 《资讯处理用中文分词规范》台湾中研院 1997 阅读全文
posted @ 2021-04-02 13:37 tlamm 阅读(290) 评论(0) 推荐(0)
摘要: 恢复内容开始 基本概念 自然语言处理的两大研究内容: 自然语言理解 理解的标准:问答;文摘生成;释义;翻译 自然语言生成 发展历史 上世纪60年代:基于规则,代表系统SIR ELIZA 上世纪70年代:基于规则,代表系统 LUNAR 上世纪80年代:基于统计 2014年后:基于深度学习 中文信息处理 阅读全文
posted @ 2021-04-02 13:33 tlamm 阅读(251) 评论(0) 推荐(0)