yuerspring

摘要： Spark sql hive 整合 http://shiyanjun.cn/archives/1113.html都这个点了，很多同事还没有到公司，得那我就简单写个spark sql 的示例回顾而知新，孔老子明智package com.ib.e3import org... 阅读全文

posted @ 2016-09-02 09:55 yuerspring 阅读(385) 评论(0) 推荐(0)

摘要：同事都被老板叫去开会了 ....... 已经开了两个小时了 GOD 广播变量 broadcast这个变量只能在drive 端修改，不能在executor 端修改不产生shuffle 的优化，但是需要这个RDD 数据量较小累加器 accumulator在executo... 阅读全文

posted @ 2016-09-01 16:37 yuerspring 阅读(198) 评论(0) 推荐(0)

摘要： package cn.dowhatyouwant.codes/** * Created by DengNi on 2016/8/31. * Scala 是动态语言，静态类型，因为难，所以用起来方便 * spark 太优秀每个人都应该去学习，使用 * 学习spa... 阅读全文

posted @ 2016-08-31 21:34 yuerspring 阅读(101) 评论(0) 推荐(0)

摘要： sed用法实例1.替换命令 s ,不改变原来文件sed 's/book/bookall/' mysedsed -n 's/book/bookall/' mysed -n 单独使用不会输出任何内容sed 's/book/bookall/p' mysedp 单独使用，就是... 阅读全文

posted @ 2016-08-29 21:07 yuerspring 阅读(254) 评论(0) 推荐(0)

摘要：利用中午休息时间配置了个环境，写个Word count 本地模式测试下环境，环境OkayScala 2.10.4Java 1.7.08Spark 1.6.0package com.ib.e3import org.apache.spark.{SparkConf,... 阅读全文

posted @ 2016-08-29 13:02 yuerspring 阅读(172) 评论(0) 推荐(0)

摘要： standalong 模式需要在spark master 节点上启动 spark/sbin/start-all.sh主从节点都可以runstandalong client./bin/spark-submit --class org.apache.spark.examp... 阅读全文

posted @ 2016-08-27 21:56 yuerspring 阅读(173) 评论(0) 推荐(0)

摘要： Scala is a statically typed, object-oriented programming language that blends imperative and functional programming styles. Scala isde... 阅读全文

posted @ 2016-08-25 14:31 yuerspring 阅读(154) 评论(0) 推荐(0)

摘要： http://www.cnblogs.com/yjf512/p/4199105.htmlhttp://www.tuicool.com/articles/QFvARfr缓存可以使用Kafka MQ 阅读全文

posted @ 2016-08-24 12:31 yuerspring 阅读(288) 评论(0) 推荐(0)

摘要：搭建各个组建版本 centos 6.5hadoop 2.5.1hive 1.2.1 注意 jline 问题 myaql 驱动mysql yum 安装的，版本基本不需要控制 hbase 1.1.3kylin 1.5.1--hbase 1.1.3 ... 阅读全文

posted @ 2016-08-19 16:37 yuerspring 阅读(344) 评论(0) 推荐(0)

摘要： cat /etc/profile 配置 /usr/local/zookeeper-3.4.6/bin/zkServer.sh start 阅读全文

posted @ 2016-08-16 20:37 yuerspring 阅读(454) 评论(0) 推荐(0)