会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
yuerspring
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
19
20
21
22
23
24
25
26
27
···
34
下一页
2016年9月2日
Spark sql 简单示例
摘要: Spark sql hive 整合 http://shiyanjun.cn/archives/1113.html都这个点了,很多同事还没有到公司,得那我就简单写个spark sql 的示例 回顾而知新,孔老子明智package com.ib.e3import org...
阅读全文
posted @ 2016-09-02 09:55 yuerspring
阅读(385)
评论(0)
推荐(0)
2016年9月1日
spark中的Broadcast variables和Accumulator (广播变量和累加器)
摘要: 同事都被老板叫去开会了 ....... 已经开了两个小时了 GOD 广播变量 broadcast这个变量只能在drive 端修改,不能在executor 端修改不产生shuffle 的 优化,但是需要这个RDD 数据量较小累加器 accumulator在executo...
阅读全文
posted @ 2016-09-01 16:37 yuerspring
阅读(198)
评论(0)
推荐(0)
2016年8月31日
Scala 初级入门课程一
摘要: package cn.dowhatyouwant.codes/** * Created by DengNi on 2016/8/31. * Scala 是动态语言,静态类型,因为难,所以用起来方便 * spark 太优秀每个人都应该去学习,使用 * 学习spa...
阅读全文
posted @ 2016-08-31 21:34 yuerspring
阅读(101)
评论(0)
推荐(0)
2016年8月29日
sed用法实例 (内容不全)
摘要: sed用法实例1.替换命令 s ,不改变原来文件sed 's/book/bookall/' mysedsed -n 's/book/bookall/' mysed -n 单独使用不会输出任何内容sed 's/book/bookall/p' mysedp 单独使用,就是...
阅读全文
posted @ 2016-08-29 21:07 yuerspring
阅读(254)
评论(0)
推荐(0)
Spark word count 实例
摘要: 利用中午休息时间配置了个环境,写个Word count 本地模式测试下 环境 , 环境OkayScala 2.10.4Java 1.7.08Spark 1.6.0package com.ib.e3import org.apache.spark.{SparkConf,...
阅读全文
posted @ 2016-08-29 13:02 yuerspring
阅读(172)
评论(0)
推荐(0)
2016年8月27日
Spark 运行模式 standalong & yarn
摘要: standalong 模式需要在spark master 节点上启动 spark/sbin/start-all.sh主从节点都可以runstandalong client./bin/spark-submit --class org.apache.spark.examp...
阅读全文
posted @ 2016-08-27 21:56 yuerspring
阅读(173)
评论(0)
推荐(0)
2016年8月25日
First Steps to Scala
摘要: Scala is a statically typed, object-oriented programming language that blends imperative and functional programming styles. Scala isde...
阅读全文
posted @ 2016-08-25 14:31 yuerspring
阅读(154)
评论(0)
推荐(0)
2016年8月24日
ELK 实时日志分析
摘要: http://www.cnblogs.com/yjf512/p/4199105.htmlhttp://www.tuicool.com/articles/QFvARfr缓存可以使用Kafka MQ
阅读全文
posted @ 2016-08-24 12:31 yuerspring
阅读(288)
评论(0)
推荐(0)
2016年8月19日
Kylin 环境 搭建 成功 ,bulid Cube 成功
摘要: 搭建各个组建版本 centos 6.5hadoop 2.5.1hive 1.2.1 注意 jline 问题 myaql 驱动mysql yum 安装的 ,版本基本不需要控制 hbase 1.1.3kylin 1.5.1--hbase 1.1.3 ...
阅读全文
posted @ 2016-08-19 16:37 yuerspring
阅读(344)
评论(0)
推荐(0)
2016年8月16日
/usr/local/zookeeper-3.4.6/bin/zkServer.sh start
摘要: cat /etc/profile 配置 /usr/local/zookeeper-3.4.6/bin/zkServer.sh start
阅读全文
posted @ 2016-08-16 20:37 yuerspring
阅读(454)
评论(0)
推荐(0)
上一页
1
···
19
20
21
22
23
24
25
26
27
···
34
下一页
公告