摘要: spark yarn的配置,主要是对yarn的日志的处理,其他参数请参考hadoop官网参数 地址:http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 阅读全文
posted @ 2017-01-05 17:36 拼命@三郎 阅读(154) 评论(0) 推荐(0) 编辑
摘要: Spark 定制版:005~贯通Spark Streaming流计算框架的运行源码 Spark 定制版:005~贯通Spark Streaming流计算框架的运行源码 本讲内容: a. 在线动态计算分类最热门商品案例回顾与演示 b. 基于案例贯通Spark Streaming的运行源码 注:本讲内容 阅读全文
posted @ 2016-05-09 10:04 拼命@三郎 阅读(148) 评论(0) 推荐(0) 编辑
摘要: Dream_Spark-----Spark 定制版:003~Spark Streaming(三) 阅读全文
posted @ 2016-05-09 09:56 拼命@三郎 阅读(179) 评论(0) 推荐(0) 编辑
摘要: Dream_Spark-----Spark 定制版:004~Spark Streaming事务处理彻底掌握 阅读全文
posted @ 2016-05-09 09:55 拼命@三郎 阅读(165) 评论(0) 推荐(0) 编辑
摘要: Dream_Spark定制第二课---转载 阅读全文
posted @ 2016-05-04 12:36 拼命@三郎 阅读(255) 评论(0) 推荐(0) 编辑
摘要: Dream_Spark版本定制第一课---转载 阅读全文
posted @ 2016-05-04 12:35 拼命@三郎 阅读(501) 评论(0) 推荐(0) 编辑
摘要: hive on spark spark1.4.1 hive 1.2.1 hbase 1.1.2 在hive上使用spark的引擎 阅读全文
posted @ 2015-12-25 10:01 拼命@三郎 阅读(314) 评论(0) 推荐(0) 编辑
摘要: Dream------Hbase--0.94版本和0.98/1.X版本api变动 hbase1.0.2/hbase1.1.2api变动 阅读全文
posted @ 2015-12-02 10:49 拼命@三郎 阅读(840) 评论(0) 推荐(0) 编辑
摘要: 大数据1,《大数据不眠夜:Spark内核天机解密(共100讲)》:http://pan.baidu.com/s/1eQsHZAq2,《Hadoop深入浅出实战经典》http://pan.baidu.com/s/1mgpfRPu3,《Spark纯实战公益大讲坛》http://pan.baidu.com... 阅读全文
posted @ 2015-11-11 18:21 拼命@三郎 阅读(236) 评论(0) 推荐(0) 编辑
摘要: 两个节点在一个本地网络中被称为“彼此的近邻”是什么意思?在高容量数据处理中,限制因素是我们在节点间 传送数据的速率-----带宽很稀缺。这个想法便是将两个节点间的带宽作为距离的衡量标准。 阅读全文
posted @ 2015-09-07 21:15 拼命@三郎 阅读(1220) 评论(0) 推荐(0) 编辑