摘要：
阅读全文
阅读全文
摘要：
背景 需要解决本地访问内部集群中各台机器上的内部web服务，但是内部集群不能直接访问，只能通过edge node节点跳转。 前提：edge node可以通过ssh方式访问，在edge node上可以访问内部集群的各个服务。 解决方法 通过ssh隧道连接edge node，并开启动态代理隧道，同时在本 阅读全文
摘要：
notebook方式运行spark程序是一种比较agile的方式，一方面可以体验像spark shell那样repl的便捷，同时可以借助notebook的作图能力实现快速数据可视化，非常方便快速验证和demo。notebook有两种选择，一种是ipython notebook，主要针对pyspark 阅读全文
摘要：
神经网络模型 每个node包含两种操作：线性变换（仿射变换）和激发函数（activation function）。 其中仿射变换是通用的，而激发函数可以很多种，如下图。 MLLib中实现ANN 使用两层(Layer)来对应模型中的一层： AffineLayer 仿射变换: output = W · 阅读全文
摘要：
参考'LogisticRegression in MLLib' (http://www.cnblogs.com/luweiseu/p/7809521.html) 通过pySpark MLlib训练logistic模型，再利用Matplotlib作图画出分类边界。 最终结果： 阅读全文
摘要：
SVD分解: $A=U\Sigma V^T$，变换：$\hat{A}=A\cdot V=U\Sigma$ 分解时先计算$A^TA=U\Sigma^2U^T$，再进行SVD分解 SVD分解： 调用Breeze的SVD库，得到$U,\Sigma$ Explained Variance Ratio exp 阅读全文
摘要：
Voting classifier 多种分类器分别训练，然后分别对输入（新数据）预测/分类，各个分类器的结果视为投票，投出最终结果： 训练： 投票： 为什么三个臭皮匠顶一个诸葛亮。通过大数定律直观地解释： 一个硬币P(H)=0.51。大数定律保证抛硬币很多次之后，平均得到的正面频数接近$0.51 \ 阅读全文
摘要：
例子 iris数据训练Logistic模型。特征petal width和petal height，分类目标有三类。 训练结果 模型将特征空间划分结果（画图代码参见 http://www.cnblogs.com/luweiseu/p/7826679.html）： ML LogisticRegress算 阅读全文