摘要：
172.20.4.156 node1172.20.4.157 node2172.20.4.158 node3 #更改主机名和hostshostname node1 hostname node2 hostname node3 vi /etc/hosts #关闭防火墙service iptables s 阅读全文
posted @ 2018-07-17 17:49
南风叶
阅读(365)
评论(0)
推荐(0)
摘要：
命令查看日志：ssh -v localhost ssh服务确定是开着的，密码确定是正确的，只是输入密码之后，就立即断开连接了，ssh连接日志如下： Connection to 172.17.0.2 closed.Transferred: sent 2224, received 2992 bytes, 阅读全文
posted @ 2018-07-12 14:52
南风叶
阅读(5269)
评论(0)
推荐(1)
摘要：
集群环境： 集群架构：3台 node1-192.168.174.201 master datanode namenode node2-192.168.174.202 datanode node3-192.168.174.203 datanode 安装包准备： cloudera-manager-cen 阅读全文
posted @ 2018-07-05 16:25
南风叶
阅读(690)
评论(0)
推荐(0)
摘要：
集群组件：centos7+jdk1.8+hadoop-2.6.5+zookeeper3.4.12+hbase1.2.1+hive 2.1.1 虚拟机搭建的集群 宿主机IP:192.168.174.1提供的网关IP：192.168.174.2三台192.168.174.101192.168.174.1 阅读全文
posted @ 2018-06-21 14:58
南风叶
阅读(382)
评论(0)
推荐(0)
摘要：
spark项目中，编译没错，运行时报错Exception in thread "main" java.lang.NoSuchMethodError: scala.runtime.VolatileByteRef.create(B)Lscala/runtime/VolatileByteRef; 经排查， 阅读全文
posted @ 2018-05-22 11:08
南风叶
阅读(1054)
评论(0)
推荐(0)
摘要：
在学校spark streaming的时候，遇到CompactBuffer结构，网上百度了下，CompactBuffer并不是scala里定义的数据结构，而是spark里的数据结构，它继承自一个迭代器和序列，所以它的返回值是一个很容易进行循环遍历的集合， 阅读全文
posted @ 2018-04-19 15:01
南风叶
阅读(1204)
评论(0)
推荐(0)
摘要：
用scala调用hbase依赖写入hbase数据的时候报错： java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hbase.client.ConnectionFactory.cr 阅读全文
posted @ 2018-04-17 20:56
南风叶
阅读(6274)
评论(2)
推荐(0)
摘要：
spark、spark调优、spark streaming常见问题总结 1.server.TransportChannelHandler: Exception in connection from xxxxxx。java.io.IOException: Connection reset by pee 阅读全文
posted @ 2018-04-09 16:13
南风叶
阅读(2856)
评论(2)
推荐(0)
摘要：
1.找出这个冲突的jar包 用如下命令来导出各jar包的依赖关系： 2.在生成的dependency.txt文件里查找冲突包，在pom.xml里排除掉一个 阅读全文
posted @ 2018-03-15 10:19
南风叶
阅读(548)
评论(0)
推荐(0)
摘要：
使用cloudera工具集搭建的impala集群 使用cloudera工具集搭建的impala集群 查询的时候报错，显示节点内存不足，报错如下： 在官网查到是impala的配置Impala Daemon Memory Limit 设置过小引起的， 增大内存。 重启之后查询ok 阅读全文
posted @ 2018-03-12 17:46
南风叶
阅读(2141)
评论(0)
推荐(0)
浙公网安备 33010602011771号