2019年4月29日
sparkStreaming运行yarn，提交任务报错
摘要： op.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.conta 阅读全文
posted @ 2019-04-29 20:10 niutao 阅读(738) 评论(0) 推荐(0) 编辑
关于hadoop的运行的一些指标监控（非cdh平台的）
摘要： 在hadoop-env.sh中添加： # 在配置namenode和datanode时都会有用到JMX_OPTS的代码，是为了减少重复提取出的公共代码 export JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxrem 阅读全文
posted @ 2019-04-29 18:04 niutao 阅读(1457) 评论(0) 推荐(0) 编辑
给hive的metastore做JVM优化
摘要： 最近在测试环境下，hive的metastore不稳定，于是做一次JVM优化 在hive-env.sh中 export HADOOP_HOME=/opt/cdh/hadoop-2.6.0-cdh5.14.0 if [ "$SERVICE" = "cli" ]; then if [ -z "$DEBUG 阅读全文
posted @ 2019-04-29 17:38 niutao 阅读(1575) 评论(0) 推荐(0) 编辑
编译phoneix源码，整合Hbase
摘要： Hbase版本：1.2.0-cdh5.14.0 1）：下载phoneix源码 链接:https://pan.baidu.com/s/1uryK_jLEekdXV04DRc3axg 密码:bkqg 2）：解压后，更改pom文件，指定你需要的cdh版本 因为我的是CDH5.14.0，所以要更改为我的版本 阅读全文
posted @ 2019-04-29 11:31 niutao 阅读(693) 评论(0) 推荐(0) 编辑
关于snappy的压缩 hadoop和hbase均支持
摘要： 临时做个随笔 下载snappy-1.1.1.tar.gz 解压后需要提前安装： yum -y update gccyum -y install gcc+ gcc-c++ 然后在解压后的snappy目录执行： ./confurati make make install 解压完毕会在/usr/local 阅读全文
posted @ 2019-04-29 01:04 niutao 阅读(344) 评论(0) 推荐(0) 编辑