摘要: 一、选题与意义 Hadoop平台应用--淘宝双11数据分析与预测(官网:http://dblab.xmu.edu.cn/post/8116/) 选题理由:因为之前有学过hadoop平台相关基础知识,对hadoop平台相关技术和所需要的操作都有着一定的了解,所以选择hadoop 二、实践方案 在自己电 阅读全文
posted @ 2020-06-23 16:45 codekid 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 1.手写数字数据集 from sklearn.datasets import load_digits digits = load_digits() 实验代码: 1 import matplotlib.pyplot as plt 2 import numpy as np 3 from sklearn. 阅读全文
posted @ 2020-06-14 21:11 codekid 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 1.简述人工智能、机器学习和深度学习三者的联系与区别。 人工智能: 研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 机器学习: 实现人工智能的一种方法 深度学习: 实现机器学习的一种技术 机器学习是人工智能的一个子集,深度学习又是机器学习的一个子集。机器学习与 阅读全文
posted @ 2020-06-07 18:08 codekid 阅读(110) 评论(0) 推荐(0) 编辑
摘要: 1.读取 # 1、导入数据 sms=open(r'D:\Download\SMSSpamCollection','r',encoding='utf-8')#读取文件 sms_data = [] sms_lable = [] csv_reader = csv.reader(sms, delimiter 阅读全文
posted @ 2020-05-23 09:33 codekid 阅读(194) 评论(0) 推荐(0) 编辑
摘要: 1.读取 2.数据预处理 3.数据划分—训练集和测试集数据划分 from sklearn.model_selection import train_test_split x_train,x_test, y_train, y_test = train_test_split(data, target, 阅读全文
posted @ 2020-05-21 08:58 codekid 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 1. 读邮件数据集文件,提取邮件本身与标签。 列表 numpy数组 读取文件,提取邮件信息成列表信息输出。 2.邮件预处理 邮件分句 句子分词 大小写,标点符号,去掉过短的单词 词性还原:复数、时态、比较级 连接成字符串 2.1 传统方法来实现 2.2 nltk库的安装与使用 pip install 阅读全文
posted @ 2020-05-14 09:44 codekid 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 简述什么是监督学习与无监督学习。 分类和聚类的联系:都对输入的数据集进行分类。 分类和聚类的区别: 分类是通过学习找出描述并区分数据类的模型,以该模型应用于预测标记未知的输入数据。 聚类将本身没有类别的样本聚集成不同的对象集合 阅读全文
posted @ 2020-05-11 15:13 codekid 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 一、用自己的话描述出其本身的含义: 1、特征选择 将高维空间的样本通过映射或者是变换的方式转换到低维空间,达到降维的目的,然后通过特征选取删选掉冗余和不相关的特征来进一步降维。 2、PCA 主成分分析,是一种数据处理方法,其最主要的目的是“用最小的信息损失对数据进行降维”,以便进行进一步数据分析。对 阅读全文
posted @ 2020-04-30 08:58 codekid 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 用过滤法对以下数据进行特征选择: [[0,2,0,3], [0,1,4,3], [0,1,1,3]] 要求: 1、Variance Threshold(threshold =1.0) 2、将结果截图放上来(没有条件的备注说明原因)注意:每个人的电脑ID是不一样的 可以看到指定阈值方差为1时,删除了原 阅读全文
posted @ 2020-04-27 15:57 codekid 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 1.逻辑回归是怎么防止过拟合的?为什么正则化可以防止过拟合?(大家用自己的话介绍下) 正则化是通过约束参数的范数使其不要太大,所以可以在一定程度上减少过拟合情况。 比如我们学到了一个模型: y = W1X1 + W2X2 + W3X3 +W4X4如果想变弱或消除特征X3, 其实很简单的。直接添加一项 阅读全文
posted @ 2020-04-26 16:00 codekid 阅读(239) 评论(0) 推荐(0) 编辑