2020年9月4日
TokenStream
摘要： TokenStream是Lunce核心类之一，它用于产生和转换token流（token可以理解为一个单词，如‘hello’，或一个词组，如‘中国’）。它有两个重要的派生类Tokenzier和TokenFilter，前者用于从输入流中产生token流；后者用于对token流转换，如大小写转换，丢弃某些 阅读全文
posted @ 2020-09-04 10:06 StrongerBrother 阅读(1011) 评论(0) 推荐(0) 编辑