摘要： 词向量与transformer 生成词向量的过程和训练Transformer的过程是两个不同的过程，但它们都是自然语言处理中的重要组成部分。 # 词向量的生成词向量（如Word2Vec、GloVe、FastText等）通常是通过预训练的词嵌入模型得到的。这些模型在大规模文本数据上训练，捕捉词与词之间 阅读全文

摘要： 1. Jieba（结巴）分词 pip install jiebaimport jieba # 使用默认模式进行分词seg_list = jieba.cut("我爱自然语言处理", cut_all=True)print(" ".join(seg_list)) 2. SnowNLPpip install 阅读全文