摘要：
文章发自http://www.cnblogs.com/hark0623/p/4204104.html，转载请注明我发现太多太多的坑要趟了…向yarn提交sparkstreaming了，提交脚本如下，使用的是yarn-clientspark-submit --driver-memory 1g --ex... 阅读全文
posted @ 2015-01-05 17:20
HarkLee
阅读(5609)
评论(5)
推荐(0)
摘要：
2014年12月总结：这月1号新工作开始了我的大数据之旅，从.NET转向Hadoop。工作期间遇到了解决的没有解决的有各种坑，不过好在算是把整套业务给搭建了下来。大体使用的技术及流程如下：mosquittio->flume agent->flume collector->sparkstreaming... 阅读全文
posted @ 2014-12-31 22:20
HarkLee
阅读(197)
评论(0)
推荐(0)
摘要：
文章来自：http://www.cnblogs.com/hark0623/p/4196452.html 转发请注明代码如下：/** * 隐式转换 隐式参数 隐式类 *///隐式转换class Implicit(a: A) { def Test: Unit = { println("Im... 阅读全文
posted @ 2014-12-31 19:47
HarkLee
阅读(7872)
评论(1)
推荐(2)
摘要：
文章来自：http://www.cnblogs.com/hark0623/p/4196381.html 转载请注明需要在你的脚本前面添加nohub，后边添加&。例如下面的脚本：nohup ./flume_client.sh &nohup的作用：当你的SecureCRT会话关闭后，保证你的脚本还在Li... 阅读全文
posted @ 2014-12-31 18:29
HarkLee
阅读(2765)
评论(0)
推荐(0)
摘要：
转自 http://blog.csdn.net/bigdatahappy/article/details/41726389转这个目的，是因为该贴子中调优思路不错，值得学习 搜索推荐有一个job，1000多个map，200个reduce，运行到最后只剩一个reduce（10.39.6.130上）的时... 阅读全文
posted @ 2014-12-31 18:25
HarkLee
阅读(3334)
评论(0)
推荐(0)
摘要：
转载自http://www.aboutyun.com/thread-9189-1-1.html问题导读1.CM的安装目录在什么位置？2.hadoop配置文件在什么位置？3.Cloudera manager运行所需要的信息存在什么位置？4.CM结构和功能是什么？1. 相关目录/var/log/clou... 阅读全文
posted @ 2014-12-31 18:19
HarkLee
阅读(1978)
评论(0)
推荐(0)
摘要：
文章发自：http://www.cnblogs.com/hark0623/p/4196355.html 转发请注明脚本如下find /opt/data/sensor -name "*.maclog" -exec 'cat' {} \; > /opt/data/sensor/1.txt 阅读全文
posted @ 2014-12-31 18:11
HarkLee
阅读(261)
评论(0)
推荐(0)
摘要：
文章来自：http://www.cnblogs.com/hark0623/p/4196261.html 转载请注明代码如下：/** * 模式匹配 */case class Class1(param1: String, param2: String)case class Class2(param1: ... 阅读全文
posted @ 2014-12-31 18:00
HarkLee
阅读(18571)
评论(0)
推荐(0)
摘要：
文章来自：http://www.cnblogs.com/hark0623/p/4194940.html 转载请注明/** * Created by Administrator on 2014-12-31. */class ApplyTest { def apply() = "Apply custo... 阅读全文
posted @ 2014-12-31 07:02
HarkLee
阅读(807)
评论(0)
推荐(0)
摘要：
2015年其实才真正算的上是我的大数据元年，我需要在这一年中为自己的职业发展打好地基，所以需要做到但不限于：1、熟练使用mr,yarn,spark(spark sql,spark streaming,ml....),hive,mahout,hbase进行开发，并熟悉调优，及其中的执行原理。2、阅读f... 阅读全文
posted @ 2014-12-31 06:19
HarkLee
阅读(235)
评论(0)
推荐(0)
浙公网安备 33010602011771号