摘要:github地址:https://github.com/zhanghang1989/ResNeSt 论文地址:https://hangzhang.org/files/resnest.pdf 2020.06.23 张航视频讲解ResNeSt:https://www.bilibili.com/video 阅读全文
posted @ 2020-04-18 22:27 西西嘛呦 阅读(9765) 评论(3) 推荐(3) 编辑
摘要:利用TfidfVectorizer进行中文文本分类(数据集是复旦中文语料) 利用RNN进行中文文本分类(数据集是复旦中文语料) 上一节我们利用了RNN(GRU)对中文文本进行了分类,本节我们将继续使用CNN对中文文本进行分类。 数据处理还是没有变,只是换了个模型,代码如下: # coding: ut 阅读全文
posted @ 2020-10-19 20:56 西西嘛呦 阅读(53) 评论(0) 推荐(0) 编辑
摘要:利用TfidfVectorizer进行中文文本分类(数据集是复旦中文语料) 1、训练词向量 数据预处理参考利用TfidfVectorizer进行中文文本分类(数据集是复旦中文语料) ,现在我们有了分词后的train_jieba.txt和test_jieba.txt,看一下部分内容: fenci_pa 阅读全文
posted @ 2020-10-18 17:02 西西嘛呦 阅读(54) 评论(0) 推荐(1) 编辑
摘要:可变数据类型:列表、字典 不可变数据类型:整型、浮点型、字符串、元组 为什么可变数据类型不能作为python函数的参数?请看以下例子: def foo(a=[]): a.append(1) return a print(foo()) print(foo()) print(foo()) 结果: [1] 阅读全文
posted @ 2020-10-17 19:27 西西嘛呦 阅读(26) 评论(0) 推荐(0) 编辑
摘要:在平常工作中,难免要和大数据打交道,而有时需要读取本地文件然后存储到Hive中,本文接下来将具体讲解。 过程: 使用pickle模块读取.plk文件; 将读取到的内容转为RDD; 将RDD转为DataFrame之后存储到Hive仓库中; 1、使用pickle保存和读取pickle文件 import 阅读全文
posted @ 2020-10-14 21:30 西西嘛呦 阅读(28) 评论(0) 推荐(0) 编辑
摘要:1、预测模型一旦使用deploy_model将模型成功部署到云中,或者使用save_model在本地成功部署了模型,就可以使用predict_model函数将其用于看不见的数据进行预测。 此功能采用训练有素的模型对象和数据集进行预测。 它将自动应用实验过程中创建的整个转换管道。 对于分类,将基于50 阅读全文
posted @ 2020-10-13 21:51 西西嘛呦 阅读(22) 评论(0) 推荐(0) 编辑
摘要:1、解释模型 解释复杂模型在机器学习中至关重要。 模型可解释性通过分析模型真正认为的重要内容来帮助调试模型。 在PyCaret中解释模型就像编写interpret_model一样简单。 该函数将训练有素的模型对象和图的类型作为字符串。 解释是基于SHAP(SHapley Additive exPla 阅读全文
posted @ 2020-10-13 21:37 西西嘛呦 阅读(27) 评论(0) 推荐(0) 编辑
摘要:分析训练完成的机器学习模型的性能是任何机器学习工作流程中必不可少的步骤。 在PyCaret中分析模型性能就像编写plot_model一样简单。 该函数将受训的模型对象和图的类型作为plot_model函数中的字符串。 分类: Name Plot Area Under the Curve ‘auc’ 阅读全文
posted @ 2020-10-11 20:43 西西嘛呦 阅读(26) 评论(0) 推荐(0) 编辑
摘要:1、集成模型 组装训练好的模型就像编写ensemble_model一样简单。它仅采用一个强制性参数,即经过训练的模型对象。此函数返回一个表,该表具有k倍的通用评估指标的交叉验证分数以及训练有素的模型对象。使用的评估指标是:分类:准确性,AUC,召回率,精度,F1,Kappa,MCC回归:MAE,MS 阅读全文
posted @ 2020-10-11 20:25 西西嘛呦 阅读(41) 评论(0) 推荐(0) 编辑
摘要:1、比较模型 这是我们建议在任何受监管实验的工作流程中的第一步。此功能使用默认的超参数训练模型库中的所有模型,并使用交叉验证评估性能指标。它返回经过训练的模型对象。使用的评估指标是: 分类:准确性,AUC,召回率,精度,F1,Kappa,MCC回归:MAE,MSE,RMSE,R2,RMSLE,MAP 阅读全文
posted @ 2020-10-11 19:28 西西嘛呦 阅读(45) 评论(0) 推荐(0) 编辑
摘要:1、安装 pip install pycaret 在谷歌colab中还要运行: from pycaret.utils import enable_colab enable_colab() 2、获取数据 (1)利用pandas库加载 import pandas as pd data = pd.read 阅读全文
posted @ 2020-10-11 15:18 西西嘛呦 阅读(57) 评论(0) 推荐(0) 编辑