数据挖掘，机器学习 - 随笔分类(第3页) - 蔡军帅

使用交叉验证对鸢尾花分类模型进行调参(超参数)

摘要：如何选择超参数：交叉验证：如图，大训练集分块，使用不同的分块方法分成N对小训练集和验证集。使用小训练集进行训练，使用验证集进行验证，得到准确率，求N个验证集上的平均正确率；使用平均正确率最高的超参数，对整个大训练集进行训练，训练出参数。在训练集上训练。十折交叉验证网格搜索诸如你有多阅读全文

posted @ 2018-09-14 23:25 蔡军帅阅读(912) 评论(0) 推荐(0)

用Keras搭建神经网络简单模版（三）—— CNN 卷积神经网络（手写数字图片识别）

摘要：从mnist下载手写数字图片数据集，图片为28*28，将每个像素的颜色（0到255）改为（0倒1），将标签y变为10个长度，若为1，则在1处为1，剩下的都标为0。接下来搭建CNN 卷积->池化->卷积->池化使图片从（1,28,28）->（32,28,28）->（32,14,14）-> (64, 阅读全文

posted @ 2018-09-07 11:40 蔡军帅阅读(3421) 评论(0) 推荐(0)

用Keras搭建神经网络简单模版（二）——Classifier分类（手写数字识别）

摘要：从mnist下载手写数字图片数据集，图片为28*28，将每个像素的颜色（0到255）改为（0倒1），将标签y变为10个长度，若为1，则在1处为1，剩下的都标为0。搭建神经网络，Activation为激活函数。由于第一个Dense传出32.所以第二个的Dense默认传进32，不用特意设置。训练和测阅读全文

posted @ 2018-09-07 10:28 蔡军帅阅读(1762) 评论(0) 推荐(0)

Excel 公式CORREL算出相关系数

摘要：当对 N 个主体中的每一个变量进行观测时，CORREL 工作表函数可计算两个测量变量之间的相关系数。（缺少任何主体的观测值将导致该主体在分析中被忽略。）当 N 个主体中的每一个均具备两个以上的测量变量时，相关系数分析工具则尤为有用。它会提供一个输出表格，即相关矩阵，显示应用到每对可能的测量变量的 C 阅读全文

posted @ 2018-09-06 20:44 蔡军帅阅读(1290) 评论(0) 推荐(0)

用Keras搭建神经网络简单模版（一）——Regressor 回归

摘要：首先需要下载Keras，可以看到我用的是TensorFlow 的backend 自己构建虚拟数据，x是-1到1之间的数，y为0.5*x+2，可视化出来接下来搭建1层神经网络最后，训练测试，输出结果输出结果阅读全文

posted @ 2018-09-06 20:34 蔡军帅阅读(454) 评论(0) 推荐(0)

分类预测输出precision，recall，accuracy，auc和tp，tn，fp，fn矩阵

摘要：此次我做的实验是二分类问题，输出precision，recall，accuracy，auc 输出混淆矩阵全代码：输出结果：阅读全文

posted @ 2018-09-06 11:29 蔡军帅阅读(2069) 评论(0) 推荐(0)

python 可视化词云图

摘要：文本挖掘及可视化知识链接我的代码：各条分词：词汇id：阅读全文

posted @ 2018-09-05 10:58 蔡军帅阅读(2257) 评论(1) 推荐(0)

python调用R语言，关联规则可视化

摘要：首先当然要配置r语言环境变量什么的 D:\R-3.5.1\bin\x64; D:\R-3.5.1\bin\x64\R.dll;D:\R-3.5.1;D:\ProgramData\Anaconda3\Lib\site-packages\rpy2; 本来用python也可以实现关联规则，虽然没包，但是可阅读全文

posted @ 2018-08-24 17:00 蔡军帅阅读(1779) 评论(1) 推荐(1)

python文本挖掘输出权重，词频等信息，画出3d权重图

摘要：# -*- coding: utf-8 -*- from pandas import read_csv import numpy as np from sklearn.datasets.base import Bunch import pickle # 导入cPickle包并且取一个别名pickle 阅读全文

posted @ 2018-08-21 15:38 蔡军帅阅读(1151) 评论(3) 推荐(0)

python使用scikit-learn计算TF-IDF

摘要：1 Scikit-learn下载安装 1.1 简介 1.2 安装软件 2 TF-IDF基础知识 2.1 TF-IDF概念 2.2 举例说明计算 3 Scikit-Learn中计算TF-IDF 3.1 CountVectorizer 3.2 TfidfTransformer 4 一个迷你的完整例子 1 阅读全文

posted @ 2018-08-21 15:24 蔡军帅阅读(34529) 评论(2) 推荐(2)

python3 关联规则Apriori代码模版

摘要：运行结果：目录： 1.关联分析 2. Apriori 原理 3. 使用 Apriori 算法来发现频繁集 4.从频繁集中挖掘关联规则 5. 总结 1.关联分析返回目录关联分析是一种在大规模数据集中寻找有趣关系的任务。这种关系表现为两种形式： 1.频繁项集(frequency item sets 阅读全文

posted @ 2018-08-20 22:03 蔡军帅阅读(3036) 评论(0) 推荐(0)

Tensorflow笔记——神经网络图像识别（四）搭建模块化的神经网络八股（正则化，指数衰减学习率，滑动平均等优化）

摘要：实战案例：数据X【x0，x1】为正太分布随机点，标注Y_，当x0*x0+x1*x1<2时，y_=1（红），否则y_=0(蓝) 建立三个.py文件 1. generateds.py生成数据集 2. forward.py 前向传播 3. backward.py 反向传播输出：如果对你有帮助，欢迎阅读全文

posted @ 2018-08-18 21:12 蔡军帅阅读(573) 评论(0) 推荐(0)

保存训练好的机器学习模型

摘要：当我们训练好一个model后，下次如果还想用这个model，我们就需要把这个model保存下来，下次直接导入就好了，不然每次都跑一遍，训练时间短还好，要是一次跑好几天的那怕是要天荒地老了。。sklearn官网提供了两种保存model的方法：官网地址 1.使用python自带的pickle 2.使用s 阅读全文

posted @ 2018-08-16 11:29 蔡军帅阅读(778) 评论(0) 推荐(0)

Tensorflow笔记——神经网络图像识别（一）前反向传播，神经网络八股

摘要：第一讲：人工智能概述第三讲：Tensorflow框架前向传播：反向传播：总的代码：输出的结果：阅读全文

posted @ 2018-08-13 13:37 蔡军帅阅读(637) 评论(0) 推荐(0)

cuDNN下载地址和指南

摘要：我出现了报错 Could not find 'cudnn64_7.dll'. TensorFlow requires that this DLL be installed in a directory that is named in your %PATH% environment variable 阅读全文

posted @ 2018-08-11 22:50 蔡军帅阅读(26872) 评论(0) 推荐(0)

多分类下的ROC曲线和AUC

摘要：本文主要介绍一下多分类下的ROC曲线绘制和AUC计算，并以鸢尾花数据为例，简单用python进行一下说明。如果对ROC和AUC二分类下的概念不是很了解，可以先参考下这篇文章：http://blog.csdn.net/ye1215172385/article/details/79448575 由于RO 阅读全文

posted @ 2018-08-07 11:24 蔡军帅阅读(29941) 评论(1) 推荐(0)

python实战——文本挖掘+xgboost预测+数据处理+准确度计算整合版

摘要：首先导入数据列O到列P为标签，我们先预测small的4列，先将四列分开，预测完以后，取支持度最高的前四个作为预测结果，与原数据比较，比较的准则是：本该有的都有的即可，即eg：原：1,2,0,9，则预测出来是 9,2,5,1，也是正确的，方法：将预测出来一条记录的放到由52（small的范围是0-5 阅读全文

posted @ 2018-08-06 14:43 蔡军帅阅读(7569) 评论(0) 推荐(0)

python多分类预测模版，输出支持度，多种分类器，str的csv转float

摘要：预测结果为1到11中的1个首先加载数据，训练数据，训练标签，预测数据，预测标签：其中训练数据，预测数据是csv文件格式，而且是str，要转为float并一排排放入lis，然后将所有lis放入traindata或testdata中，但csv中是以","隔开的，所以要将"\t"等都转为","，需要利阅读全文

posted @ 2018-07-31 11:43 蔡军帅阅读(1720) 评论(0) 推荐(0)

ptyhon中文本挖掘精简版

摘要：import xlrd import jieba import sys import importlib import os #python内置的包，用于进行文件目录操作，我们将会用到os.listdir函数 import pickle #导入cPickle包并且取一个别名pickle #持久化类 import random import numpy as np i... 阅读全文

posted @ 2018-07-23 12:25 蔡军帅阅读(181) 评论(0) 推荐(0)

python文本挖掘模版

摘要：import xlrd import jieba import sys import importlib import os #python内置的包，用于进行文件目录操作，我们将会用到os.listdir函数 import pickle #导入cPickle包并且取一个别名pickle #持久化类 import random import numpy as np i... 阅读全文

posted @ 2018-07-22 10:21 蔡军帅阅读(1817) 评论(0) 推荐(0)

随笔分类 - 数据挖掘，机器学习