CodeCraftsMan

摘要： jupyter安装 前提：在安装好python并创建了python环境的情况下进行以下操作，关于python以及环境的安装可以参考：conda环境的安装与使用 接下来将使用conda命令创建的test环境进行实验。 首先进入环境： 如果你从来没有安装过jupyter，那么进行安装jupyter，这一 阅读全文

摘要： huggingface下载并加载模型的方式 使用from_pretrained()下载模型 第一步：在huggingface上找到想要下载的模型，建议使用huggingface镜像网站 第二步：在找到想要的模型后，需要为cmd或bash设置镜像链接，注意：这个是临时设置，终端关闭后需要重新设置 #w 阅读全文

摘要： 以贝叶斯算法为例 from sklearn.naive_bayes import GaussianNB,MultinomialNB from sklearn.datasets import make_classification from sklearn.model_selection import 阅读全文

摘要： pad_sequence torch.nn.utils.rnn.pad_sequence 是一个用于填充变长序列的工具函数，常用于自然语言处理（NLP）或时间序列任务中，将不同长度的序列批量处理为相同长度。 import torch from torch.nn.utils.rnn import pa 阅读全文

摘要： 基于TF的词向量矩阵 import jieba from sklearn.feature_extraction.text import CountVectorizer import jieba import pandas as pd # 示例文档集 documents = [ "这是第一个文档。", 阅读全文

摘要： 词云的基本绘制 import jieba from wordcloud import WordCloud import matplotlib.pyplot as plt import re from PIL import Image import numpy as np #读取文本内容 def pl 阅读全文

摘要： 简单预处理 说明：将英文文本进行分词操作，并使用tf或者tfidf构建词袋模型 from gensim.utils import simple_preprocess from gensim.parsing.preprocessing import STOPWORDS from gensim impo 阅读全文

摘要： jieba jieba可以用于“分词”、“词性标注”、“关键词提取”等任务 分词 import jieba # jieba.load_userdict("chinese_dict.txt")#加载词典，词典的形式为：单词 词频 词性 # jieba.add_word("区块链") # 动态添加新词 阅读全文

摘要： 基本使用 import logging # 创建 logger 对象,并为对象设置名字，用于区分不同模块之间的日志 logger = logging.getLogger('my_app') # 设置整个日志输出的默认等级，当设置DEBUG等级时，默认全部可以输出，但是后面的控制台对象和文件处理对象， 阅读全文

摘要： Counter计数器 Counter 是一个字典子类，用于计数可哈希对象。可以用作计算词频。 from collections import Counter # 统计字符出现次数 cnt = Counter('abracadabra') print(cnt) # Counter({'a': 5, ' 阅读全文