摘要: 一、选题与意义 选题:Kaggle分析数据项目 Kaggle分析数据项目--泰坦尼克号-从灾难中学习 简要说明理由与意义。 可以让我们熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用; 了解大数据处理的基本流程; 熟悉数据预处 阅读全文
posted @ 2020-06-23 17:44 162 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 1.手写数字数据集 from sklearn.datasets import load_digits digits = load_digits() 2.图片数据预处理 x:归一化MinMaxScaler() y:独热编码OneHotEncoder()或to_categorical 训练集测试集划分 阅读全文
posted @ 2020-06-14 20:06 162 阅读(98) 评论(0) 推荐(0) 编辑
摘要: 1.简述人工智能、机器学习和深度学习三者的联系与区别。 人工智能 人工智能的研究领域也在不断扩大,下图展示了人工智能研究的各个分支,包括专家系统、机器学习、进化计算、模糊逻辑、计算机视觉、自然语言处理、推荐系统等。 深度学习:一种实现机器学习的技术 深度学习本来并不是一种独立的学习方法,其本身也会用 阅读全文
posted @ 2020-06-07 19:27 162 阅读(84) 评论(0) 推荐(0) 编辑
摘要: 1.读取 2.数据预处理 3.数据划分—训练集和测试集数据划分 from sklearn.model_selection import train_test_split x_train,x_test, y_train, y_test = train_test_split(data, target, 阅读全文
posted @ 2020-05-23 20:53 162 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 1. 读邮件数据集文件,提取邮件本身与标签。 列表 numpy数组 2.邮件预处理 邮件分句 句子分词 大小写,标点符号,去掉过短的单词 词性还原:复数、时态、比较级 连接成字符串 2.1 传统方法来实现 2.2 nltk库的安装与使用 pip install nltk import nltk nl 阅读全文
posted @ 2020-05-17 18:59 162 阅读(110) 评论(0) 推荐(0) 编辑
摘要: 1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 简述什么是监督学习与无监督学习。 2.朴素贝叶斯分类算法 实例 利用关于心脏病患者的临床历史数据集,建立朴素贝叶斯心脏病分类模型。 有六个分类变量(分类因子):性别,年龄、KILLP评分、饮酒、吸烟、住院天数 目标分类变量疾病 阅读全文
posted @ 2020-05-13 18:22 162 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 一、用自己的话描述出其本身的含义: 1、特征选择 特征选择也叫特征子集选择。是指从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化, 是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段, 也是模式识别中关键的数据预处理步骤。 2、PCA 阅读全文
posted @ 2020-04-30 22:21 162 阅读(132) 评论(0) 推荐(0) 编辑
摘要: 用过滤法对以下数据进行特征选择: [[0,2,0,3], [0,1,4,3], [0,1,1,3]] 要求: 1、Variance Threshold(threshold =1.0) 2、将结果截图放上来(没有条件的备注说明原因)注意:每个人的电脑ID是不一样的 阅读全文
posted @ 2020-04-30 08:33 162 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 1.逻辑回归是怎么防止过拟合的?为什么正则化可以防止过拟合?(大家用自己的话介绍下) 是通过正则化来防止的。 过拟合的时候,拟合函数的系数往往非常大,而正则化是通过约束参数的范数使其不要太大,所以可以在一定程度上减少过拟合情况。如下图所示,过拟合,就是拟合函数需要顾忌每一个点,最终形成的拟合函数波动 阅读全文
posted @ 2020-04-27 14:55 162 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 1.用自己的话描述一下,什么是逻辑回归,与线性回归对比,有什么不同? 逻辑回归:通过一组预测器变量,可以很有效的预测特征与输出结果。 这与线性回归很相似,但更适用于二分类问题。 方程系数可以用来估计模型中的自变量的比率,这适用于更广泛的问题模型,另一方面,可以将逻辑回归用于确定某个事件的可能性,输出 阅读全文
posted @ 2020-04-25 10:11 162 阅读(149) 评论(0) 推荐(0) 编辑