摘要: 之前在做卷积神经网络的时候,我们特征序列都是一些数字序列,但是如果我们遇到一些文本需要将文本转化成数字序列。 # 文本预处理 1. 将文本作为字符串加载到内存中。 2. 将字符串拆分为词元(如单词和字符)。 3. 建立一个词表,将拆分的词元映射到数字索引。 4. 将文本转换为数字索引序列,方便模型操 阅读全文
posted @ 2023-08-19 11:49 lipu123 阅读(103) 评论(0) 推荐(0)