摘要：
keyword模块记录了当前python版本的所有关键字。使用keyword可以方便的查看。 import keyword #导入关键字模块 print(keyword.kwlist) #查询所有关键字 print(len(keyword.kwlist)) #查询所有关键字一共多少个 python3 阅读全文
摘要：
从官网可以知道的是 MLib是针对RDD数据集的，而ML是针对Dataframe格式的。 ML是对MLib的高级封装，目前来说，MLib已经不再进行功能更新了，好像都不更新了！具体去官网了解。 由于官网推荐的是学习和使用 spark dataframe，而且，现实生活中很多数据格式、python库、 阅读全文
摘要：
配置jupyter服务器的密码，有什么用呢? 1.安全性 2.方便记住密码(因为是自己设置的嘛) 首先，使用pip或者conda安装好jupyter并按照惯例配置好环境变量之后，生成jupyter配置文件目录和文件: 在shell下面执行下述命令,在windows10的user/xxx/.jupyt 阅读全文
摘要：
1.配置的作用是显示谁在GitHub上提交了项目 1）初始化用户名： git config --global user.name 'githubname' 2）初始化邮箱： git config --global user.email 'ruhai.chen@qq.com' 3）查看配置： git 阅读全文
摘要：
还请大家多多指点，一起进步喔。 贝叶斯方法是以贝叶斯原理为基础，使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础，贝叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率，即避免了只使用先验概率的主管偏见，也避免了单独使用样本信息的过拟合现象。贝叶斯分类算法在数据集较 阅读全文
摘要：
Hadoop的安装详情查看本博客本专栏内其它文章 一、三种安装模式的运行原理: 1.单机模式：Hadoop默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式，即java单进程，方便进行调试。 2.伪分布式模式： Hadoop在单节点上以伪分布式的方式运行，Hadoop进程以分离的 阅读全文
摘要：
环境介绍:Centos7 + jdk1.8.0_211 一、首先、 安装JDK1.8.0，详情请移步 Centos7下安装配置JDK 关闭防火墙(建议关闭、当然也可以自己开放端口) Centos7下防火墙的操作 创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作) 可 阅读全文
摘要：
由于最近搭建环境发生端口冲突，所以总结此篇、希望有什么不足和不对的、请大家指出、我尽快改正、一起进步。 系统:centos7 查看防火墙状态。得到结果是running或者not running firewall-cmd --state 在running 状态下，向firewall 添加需要开放的端口 阅读全文
摘要：
XGBoost算法是由GBDT算法演变出来的，GBDT算法在求解最优化问题的时候应用了一阶导技术，而XGBoost则使用损失函数的一阶导和二阶导，不但如此， 还可以自己定义损失函数，自己定义损失函数前提是损失函数可一阶导和二阶导。 XGBoost算法原理:(务必保证先学习决策树算法) 其实算法的原理 阅读全文
摘要：
梯度提升树算法实际上是提升算法的扩展版，在原始的提升算法中，如果损失函数为平方损失或者指数损失，求解损失函数的最小值问题会非常简单， 但如果损失函数为更一般的函数(如绝对值函数)，目标值的求解就会相对复杂许多。 所以，梯度提升算法诞生，也就是在第m轮基础模型中，利用损失函数的负梯度值作为该轮基础模型 阅读全文