摘要：
pom首位添加： <dependency> <groupId>com.yammer.metrics</groupId> <artifactId>metrics-core</artifactId> <version>2.2.0</version></dependency> 阅读全文
posted @ 2020-03-21 18:39
lemon胡
阅读(1387)
评论(0)
推荐(0)
摘要：
Flume采集的控制台提示：The channel is full or unexpected failure. The source will try again after 1000 ms 这个是因为当前被采集的文件过大，深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大 阅读全文
posted @ 2019-12-28 22:01
lemon胡
阅读(3108)
评论(1)
推荐(0)
摘要：
出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的，解决办法有两种。这里使用第一种办法就解决了。 解决方法：1.重启hbasestop-hbase.sh、然后start-hbase.sh或者，要 阅读全文
posted @ 2019-12-28 19:36
lemon胡
阅读(2437)
评论(0)
推荐(0)
摘要：
HMaster和HRegionServer是Hbase的两个子进程，但是使用jps发现没有启动起来，所以去我们配置的logs查看错误信息。提示：Could not start ZK at requested port of 2181. ZK was started at port: 2182. Ab 阅读全文
posted @ 2019-12-28 19:32
lemon胡
阅读(6079)
评论(0)
推荐(2)
摘要：
一、HBase的RK设计 HBase读写数据大多数是通过RK，MemStore/HFile存储也是按照字典顺序排列的RK存储，所以要关注RK。 RowKey设计原则： 1）长度原则： RowKey不应该超过16字节，因为若是过长再以KV形式存储，对于HFile和MemStore来说会极大的占用存储空 阅读全文
posted @ 2019-12-28 19:30
lemon胡
阅读(477)
评论(0)
推荐(0)
摘要：
设置NameNode和DataNode时间同步。在每台设备上使用以下两条命令： cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtimentpdate pool.ntp.org 阅读全文
posted @ 2019-12-26 23:38
lemon胡
阅读(417)
评论(0)
推荐(0)
摘要：
YARN的Memory和CPU调优配置详解 Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Contain 阅读全文
posted @ 2019-12-26 22:01
lemon胡
阅读(357)
评论(0)
推荐(0)
摘要：
IDEA程序访问Mysql，出现权限异常。SQLException: Access denied for user 'root'@'192.168.119.1' (using password: YES) 应该是mysql中的特定库、特定表等对特定的用户、特定的ip开放。 所以可以修改一下，在mys 阅读全文
posted @ 2019-12-26 18:32
lemon胡
阅读(1674)
评论(0)
推荐(0)
摘要：
IDEA中的scala项目访问HDFS，程序运行，可能出现的异常： 权限问题：Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数，因为HDFS上的文件所属的用户是ha 阅读全文
posted @ 2019-12-26 18:31
lemon胡
阅读(729)
评论(0)
推荐(0)
摘要：
IDEA程序代码中需要访问mysql，出现 java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/ruoze_g6 出现连接相关的问题的时候，如何进行思考呢： 1）ip，port，db名字有 阅读全文
posted @ 2019-12-26 18:30
lemon胡
阅读(940)
评论(0)
推荐(0)
浙公网安备 33010602011771号