随笔分类 -  机器学习

机器学习模型开发
验证 CrossEntropyLoss 内部运算过程
摘要：## 验证 CrossEntropyLoss 内部运算过程 import torch from torch.nn import CrossEntropyLoss from torch.optim import SGD # 假设三分类真实值real 和预测值pred real = [0,1,1,2] 阅读全文
posted @ 2022-02-09 09:40 旁人怎会懂 阅读(59) 评论(0) 推荐(0)
xgboost的predict接口输出问题以及相关参数的探究(evals、evals_result、verbose_eval、pred_leaf、pred_contribs)、利用gbdt进行特征组合问题(gbdt+lr)
摘要：一、一直对xgboost的输出有些疑惑，这里记录一下 1.xgboost的predict接口输出问题（参数pred_leaf、pred_contribs） 2.训练过程中输出相关参数的探究(evals、evals_result、verbose_eval) 3.多分类内部原理探究（不涉及源码） 4.利 阅读全文
posted @ 2022-01-30 10:51 旁人怎会懂 阅读(1710) 评论(0) 推荐(0)
逻辑回归0.5阈值修改问题
摘要：逻辑回归阈值修改 #使用sklearn乳腺癌数据集验证 from sklearn.datasets import load_breast_cancer from sklearn.linear_model import LogisticRegression as LR import numpy as 阅读全文
posted @ 2021-09-14 09:50 旁人怎会懂 阅读(896) 评论(0) 推荐(0)
基于word2vec+TextCNN 作文本分类
摘要：基于TextCNN作文本分类模型 一. 准备工作： 环境：python3.7+torch+GPU 数据集：网上下载的4分类中文文本，如下图： 模块使用： import os import jieba import torch import joblib import torch.nn as nn f 阅读全文
posted @ 2021-04-16 09:29 旁人怎会懂 阅读(638) 评论(0) 推荐(0)
验证已建立的tf-idf(TfidfVectorizer)模型对新文本进行量化的过程
摘要：from sklearn.feature_extraction.text import TfidfVectorizer test_a = ['天天 爱 LOL', '爱 玩 游戏', '我 是 男生', '男生 ', '爸爸 也 爱 玩 lol' ] tf = TfidfVectorizer() p 阅读全文
posted @ 2021-03-29 18:22 旁人怎会懂 阅读(249) 评论(0) 推荐(0)
算法模型保存与使用
摘要：在算法建立模块中进行模型保存 模型保存如下： import joblib counter = joblib.load('counter_model') # 加载已建立好的词袋模型 nb = joblib.load('nb_model') # 加载已建立好的算法模型 def new_text_pre( 阅读全文
posted @ 2021-03-29 17:45 旁人怎会懂 阅读(297) 评论(0) 推荐(0)
基于tf-idf的文本分类预测模型
摘要：为以后项目准备，在此写一下文本分类预测模型的完整流程，使用的多项式朴素贝叶斯算法进行预测，在其他人项目中看到使用前馈神经网络进行预测（本人目前没有使用过深度学习进行文本分类，不知道效果怎么样） 目前有2个问题未解决 模型建立完，怎样预测一个新的文本文件（词频向量化无法处理）？ 解决方案：目前使用通过 阅读全文
posted @ 2021-03-29 16:30 旁人怎会懂 阅读(981) 评论(0) 推荐(0)