摘要：
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout 默认值：3分钟（180000ms） 说明... 阅读全文
posted @ 2016-03-15 21:15 ggzone 阅读(159) 评论(0) 推荐(0)
摘要：
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout 默认值：3分钟... 阅读全文
posted @ 2016-03-15 21:15 ggzone 阅读(133) 评论(0) 推荐(0)
摘要：
import org.apache.spark._import org.apache.spark.streaming._/** * Created by code-pc on 16/3/14. */object Pi { def functionToCreateContext(... 阅读全文
posted @ 2016-03-15 21:13 ggzone 阅读(289) 评论(0) 推荐(0)
摘要：
import org.apache.spark._import org.apache.spark.streaming._/** * Created by code-pc on 16/3/14. */object Pi { def functionToC... 阅读全文
posted @ 2016-03-15 21:13 ggzone 阅读(105) 评论(0) 推荐(0)
摘要：
import org.apache.spark._import org.apache.spark.streaming._/** * Created by code-pc on 16/3/14. */object Pi { def updateStateFunction(newV... 阅读全文
posted @ 2016-03-15 21:10 ggzone 阅读(115) 评论(0) 推荐(0)
摘要：
import org.apache.spark._import org.apache.spark.streaming._/** * Created by code-pc on 16/3/14. */object Pi { def updateState... 阅读全文
posted @ 2016-03-15 21:10 ggzone 阅读(274) 评论(0) 推荐(0)
摘要：
workflow创建任务进入hue–Workflows–编辑器–workflow–创建 拖一个mapreduce作业（在页面靠近顶端有一排选项图标）到页面中间虚线框中Jar路径必须是hdfs中jar包路径 添加属性：key:mapred.output.dir... 阅读全文
posted @ 2016-03-15 21:08 ggzone 阅读(506) 评论(0) 推荐(0)
摘要：
workflow创建任务进入hue–Workflows–编辑器–workflow–创建 拖一个mapreduce作业（在页面靠近顶端有一排选项图标）到页面中间虚线框中Jar路径必须是hdfs中jar包路径 添加属性：key:mapred.output.dirvalue:${outpu... 阅读全文
posted @ 2016-03-15 21:07 ggzone 阅读(640) 评论(0) 推荐(0)
摘要：
Mac自带了的JDK6，安装在目录：/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/下。 JDK8则需要自己到Oracle官网下载安装对应的版本。自己安装的JDK默认路径为：/Library/Java/JavaVirtualMac... 阅读全文
posted @ 2016-03-15 21:02 ggzone 阅读(116) 评论(0) 推荐(0)
摘要：
Mac自带了的JDK6，安装在目录：/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/下。 JDK8则需要自己到Oracle官网下载安装对应的版本。自己安装的JDK默认路径为：/Library/Java/J... 阅读全文
posted @ 2016-03-15 21:02 ggzone 阅读(90) 评论(0) 推荐(0)
摘要：
看mr的运行显示：sqoop job可以获得的select max(xxx)结果，但是当mr开始时却显示大片错误，就是连接超时，和连接重置等问题， 最后去每个节点ping mysql的ip地址，发现root@hslave1:/opt/cm-5.5.1/etc# ping 10.121... 阅读全文
posted @ 2016-03-15 21:00 ggzone 阅读(215) 评论(0) 推荐(0)
摘要：
看mr的运行显示：sqoop job可以获得的select max(xxx)结果，但是当mr开始时却显示大片错误，就是连接超时，和连接重置等问题， 最后去每个节点ping mysql的ip地址，发现root@hslave1:/opt/cm-5.5.1/etc... 阅读全文
posted @ 2016-03-15 21:00 ggzone 阅读(145) 评论(0) 推荐(0)
摘要：
修改所有主机/etc/hosts 修改所有agent节点的/opt/cm-5.5.1/etc/cloudera-scm-agent/config.ini，中server的ip主节点启动cm server 从节点启动agent 阅读全文
posted @ 2016-03-15 20:54 ggzone 阅读(135) 评论(0) 推荐(0)
摘要：
修改所有主机/etc/hosts 修改所有agent节点的/opt/cm-5.5.1/etc/cloudera-scm-agent/config.ini，中server的ip主节点启动cm server 从节点启动agent 阅读全文
posted @ 2016-03-15 20:54 ggzone 阅读(108) 评论(0) 推荐(0)
浙公网安备 33010602011771号