摘要: https://www.jianshu.com/p/444c3ae23035 jupyter notebook --generate-config 阅读全文
posted @ 2019-06-12 13:32 学海无涯苦作舟_书山有路勤为径 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 1. 集群部署方式 standalone Mesos Yarn K8s 2. 基本概念 Application:指的是用户编写的Spark应用程序,包含了含有一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。 Driver:运行Application的main函数并创建S 阅读全文
posted @ 2019-06-12 11:15 学海无涯苦作舟_书山有路勤为径 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 原因 生产机器默认禁用了ssh密码登录权限。 解决方案一,sshkey 主机一: ssh-keygen -t rsa 将生产的pub文件拷贝到主机二上 主机二: root@spark3:~# cat 1.pub >> .ssh/authorized_keys root@spark3:~# chmod 阅读全文
posted @ 2019-06-11 16:38 学海无涯苦作舟_书山有路勤为径 阅读(42710) 评论(0) 推荐(2) 编辑
摘要: 1.为什么要用Lambda Architecture 在大数据处理系统中,数据处理的可靠性和实时性是一对矛盾,往往不可兼得。可靠性是指在任何异常出现的情况下,数据处理都能够做到不重不丢,并且最终得到准确的结果。实时性是指数据从输入到处理完毕输出的时间间隔。一般来说,对于像Hadoop MapRedu 阅读全文
posted @ 2019-01-28 17:00 学海无涯苦作舟_书山有路勤为径 阅读(618) 评论(0) 推荐(0) 编辑
摘要: SVD(singular value decomposition),翻译成中文就是奇异值分解。SVD的用处有很多,比如:LSA(隐性语义分析)、推荐系统、特征压缩(或称数据降维)。SVD可以理解为:将一个比较复杂的矩阵用更小更简单的3个子矩阵的相乘来表示,这3个小矩阵描述了大矩阵重要的特性 Apri 阅读全文
posted @ 2018-12-28 14:49 学海无涯苦作舟_书山有路勤为径 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 这两篇文章(上,下)已经总结得很好了 http://www.cnblogs.com/pinard/p/6050306.html https://www.cnblogs.com/pinard/p/6053344.html 1. 数学基础 1.信息论的信息熵:Entropy 2.基尼不纯度:Gini i 阅读全文
posted @ 2018-12-26 14:23 学海无涯苦作舟_书山有路勤为径 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 1. SVM核函数概述 在scikit-learn中,内置的核函数一共有4种,当然如果你认为线性核函数不算核函数的话,那就只有三种。 1)线性核函数(Linear Kernel)表达式为:K(x,z)=x∙zK(x,z)=x∙z,就是普通的内积,LinearSVC 和 LinearSVR 只能使用它 阅读全文
posted @ 2018-12-25 16:26 学海无涯苦作舟_书山有路勤为径 阅读(834) 评论(0) 推荐(0) 编辑
摘要: SVM算法要解决的是一个最优分类器的设计问题 线性SVM算法的数学建模 一个最优化问题通常有两个最基本的因素:1)目标函数,也就是你希望什么东西的什么指标达到最好; 分类间隔2)优化对象,你期望通过改变哪些因素来使你的目标函数达到最优。 决策面 在线性SVM算法中,目标函数显然就是那个“分类间隔”, 阅读全文
posted @ 2018-12-25 16:22 学海无涯苦作舟_书山有路勤为径 阅读(119) 评论(0) 推荐(0) 编辑
摘要: 支持向量机(Support Vecor Machine,以下简称SVM)虽然诞生只有短短的二十多年,但是自一诞生便由于它良好的分类性能席卷了机器学习领域,并牢牢压制了神经网络领域好多年。如果不考虑集成学习的算法,不考虑特定的训练数据集,在分类算法中的表现SVM说是排第一估计是没有什么异议的。 参考 阅读全文
posted @ 2018-12-24 20:33 学海无涯苦作舟_书山有路勤为径 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 朴素贝叶斯naive bayes是直接生成方法,也就是直接找出特征输出Y和特征X的联合分布P(X,Y)P(X,Y),然后用P(Y|X)=P(X,Y)/P(X)P(Y|X)=P(X,Y)/P(X)得出。 朴素贝叶斯算法是基于贝叶斯定理与特征条件独立假设的分类方法 这里提到的贝叶斯定理、特征条件独立假设 阅读全文
posted @ 2018-12-24 17:28 学海无涯苦作舟_书山有路勤为径 阅读(710) 评论(0) 推荐(0) 编辑