导航

• 博客园
• 首页
• 新随笔
• 新文章
• 联系
• 订阅
• 管理

随笔分类 -  Spark

• Kafka中操作topic时 Error:Failed to parse the broker info from zookeeper
  摘要：Kafka中操作topic时 Error: Failed to parse the broker info from zookeeper 1.问题描述 2.问题原因 kafka在启动后，会将broker的信息存放在对应的zookeeper里的zNode中，默认存放在zookeeper中的路径 /br 阅读全文
  posted @ 2017-09-11 16:03 日月的弯刀 阅读(3019) 评论(0) 推荐(0) 编辑
• MLlib--决策树
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/d65ab6ccff684db729f44a947ac9e7da.html 决策树 1.什么是决策树 决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的 阅读全文
  posted @ 2017-03-21 23:47 日月的弯刀 阅读(912) 评论(0) 推荐(0) 编辑
• MLlib--PIC算法
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/82c3ef86303321055eb10f7e100eb84b.html PIC算法 幂迭代聚类 PIC算法全称Power iteration clustering 幂迭代聚类 1.谱聚类 幂迭代聚类的前身-- 阅读全文
  posted @ 2017-03-21 23:37 日月的弯刀 阅读(2931) 评论(0) 推荐(0) 编辑
• MLlib--保序回归
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/24cb3f38b55e5d7516d8059f9f105eb6.html 保序回归 1.线性回归VS保序回归 • 线性回归->线性拟合 • 保序回归->保序的分段线性拟合，保序回归是拟合原始数据最佳的单调函数 阅读全文
  posted @ 2017-03-21 22:52 日月的弯刀 阅读(3327) 评论(0) 推荐(0) 编辑
• MLlib--GBDT算法
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/8b9cb1875288d9f6cfc2f5a9b2f10eac.html GBDT算法 江湖传言：GBDT算法堪称算法界的倚天剑屠龙刀 <!--more--> GBDT算法主要由三个部分组成： – Regres 阅读全文
  posted @ 2017-03-21 22:35 日月的弯刀 阅读(5358) 评论(0) 推荐(0) 编辑
• MLlib--FPGrowth算法
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/c9f211ee76528cffc4b6d741a55ac243.html FPGrowth算法_挖掘商品之间的关联规则 1.1FPGrowth算法可以做什么？ 利用FPGrowth算法挖掘商品之间的关联规则（关 阅读全文
  posted @ 2017-03-21 20:37 日月的弯刀 阅读(8526) 评论(0) 推荐(0) 编辑
• MLlib--SVD算法
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/4db529fa9f4c042673c6dc8218251f6c.html SVD算法 1.1什么是SVD？ 降维的两种方式：PCA（主成分分析） SVD <!--more--> SVD算法：矩阵奇异值分解算法， 阅读全文
  posted @ 2017-03-21 19:29 日月的弯刀 阅读(1364) 评论(1) 推荐(0) 编辑
• Spark Core_资源调度与任务调度详述
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/0593214ae0a5395d1411395169eaabfa.html Spark Core 资源调度与任务调度（standalone client 流程描述） Spark集群启动： 集群启动后，Worker 阅读全文
  posted @ 2017-03-15 22:27 日月的弯刀 阅读(4043) 评论(0) 推荐(0) 编辑
• Spark算子--union、intersection、subtract
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/252bcc1d1ab30c430d347279d5827615.html union、intersection、subtract--Transformation类算子 代码示例 阅读全文
  posted @ 2017-03-15 21:20 日月的弯刀 阅读(1239) 评论(0) 推荐(0) 编辑
• Spark算子--take、top、takeOrdered
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/552e8a32eee9d50fe394dfdcb14c78f3.html take、top、takeOrdered 代码示例 阅读全文
  posted @ 2017-03-15 20:53 日月的弯刀 阅读(1493) 评论(0) 推荐(0) 编辑
• Spark算子--countByKey
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/1633ffc63e2c925e930adadc9528c830.html countByKey--Action类算子 代码示例 阅读全文
  posted @ 2017-03-15 20:38 日月的弯刀 阅读(763) 评论(0) 推荐(0) 编辑
• Spark算子--SortBy
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/39edcbb10b5076599c0e5609b7136b88.html SortBy--Transformation类算子 代码示例 阅读全文
  posted @ 2017-03-15 20:32 日月的弯刀 阅读(793) 评论(0) 推荐(0) 编辑
• Spark算子--foreach和foreachPartition
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/6776fe93f754daf60d00d2cb509422a1.html foreach和foreachPartition--Action类算子 代码示例 阅读全文
  posted @ 2017-03-15 20:09 日月的弯刀 阅读(2641) 评论(3) 推荐(0) 编辑
• Spark算子--first、count、reduce、collect、lookup
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/4b8582c8dde1529abb11e4ccc8296171.html first、count、reduce、collect、lookup--Action类算子 代码示例 lookup$Operator 阅读全文
  posted @ 2017-03-15 16:23 日月的弯刀 阅读(910) 评论(0) 推荐(0) 编辑
• Spark算子--flatMapValues
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/e7a46cecc65720997392516d553d9891.html flatMapValues--Transformation类算子 代码示例 阅读全文
  posted @ 2017-03-15 16:03 日月的弯刀 阅读(1378) 评论(0) 推荐(0) 编辑
• Spark算子--mapValues
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/ccc9d6b5c46ac7209c1e104bd219bfb4.html mapValues--Transformation类算子 代码示例 阅读全文
  posted @ 2017-03-15 15:45 日月的弯刀 阅读(1574) 评论(0) 推荐(0) 编辑
• Spark算子--partitionBy
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/923b11fce561e82748baa016bcfb8421.html partitionBy--Transformation类算子 代码示例 阅读全文
  posted @ 2017-03-15 15:39 日月的弯刀 阅读(767) 评论(0) 推荐(0) 编辑
• Spark算子--groupByKey
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/0e90fe79f9f2e4b91a5d8e659ee68eaf.html groupByKey--Transformation类算子 代码示例 阅读全文
  posted @ 2017-03-15 15:11 日月的弯刀 阅读(586) 评论(0) 推荐(0) 编辑
• Spark算子--SortByKey
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/076a31e7caab1316b07990c02ac65e9c.html SortByKey--Transformation类算子 代码示例 阅读全文
  posted @ 2017-03-15 15:01 日月的弯刀 阅读(492) 评论(0) 推荐(0) 编辑
• Spark算子--cogroup
  摘要：转载请标明出处http://www.cnblogs.com/haozhengfei/p/b612b1e6d9b951fad5574cd0ce573d7e.html cogroup--Transformation类算子 代码示例 阅读全文
  posted @ 2017-03-15 14:50 日月的弯刀 阅读(1000) 评论(0) 推荐(0) 编辑