摘要：
（1）、zookeeper.session.timeout：默认值3分钟，不可配置太短，避免session超时，hbase停止服务，线上生产环境由于配置为1分钟，出现过2次该原因导致的hbase停止服务，也不可配置太长，如果太长，当rs挂掉，zk不能快速知道，从而导致master不能及时对regio 阅读全文
posted @ 2019-12-02 19:13
大数据-云计算
阅读(180)
评论(0)
推荐(0)
摘要：
通过调用HTable.get(Get)方法可以根据一个指定的row key获取一行记录，同样HBase提供了另一个方法：通过调用HTable.get(List<Get>)方法可以根据一个指定的row key列表，批量获取多行记录，这样做的好处是批量执行，只需要一次网络I/O开销，这对于对数据实时性要 阅读全文
posted @ 2019-12-02 19:12
大数据-云计算
阅读(143)
评论(0)
推荐(0)
摘要：
（1）、Scanner Caching hbase.client.scanner.caching配置项可以设置HBase scanner一次从服务端抓取的数据条数，默认情况下一次一条。通过将其设置成一个合理的值，可以减少scan过程中next()的时间开销，代价是scanner需要通过客户端的内存来 阅读全文
posted @ 2019-12-02 19:11
大数据-云计算
阅读(223)
评论(0)
推荐(0)
摘要：
(1)数据库 hbase是一种面向列存储的非关系型数据库。 (2)用于存储结构化和非结构话的数据 适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。 (3)基于HDFS 数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进 阅读全文
posted @ 2019-12-02 19:09
大数据-云计算
阅读(182)
评论(0)
推荐(0)
摘要：
rsync远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 （1）查看rsync使用说明 man rsync | more （2）基本语法 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir 命令 命令参数 要拷贝的文件 阅读全文
posted @ 2019-12-02 19:07
大数据-云计算
阅读(69)
评论(0)
推荐(0)
摘要：
1）需求： 实现一个简单的双interceptor组成的拦截链。第一个interceptor会在消息发送前将时间戳信息加到消息value的最前部；第二个interceptor会在消息发送后更新成功发送消息数或失败发送消息数。 示意图 2）案例实操 （1）增加时间戳拦截器 package com.ha 阅读全文
posted @ 2019-12-02 19:07
大数据-云计算
阅读(120)
评论(0)
推荐(0)
摘要：
1）配置ssh （1）基本语法 ssh 另一台电脑的ip地址 （2）ssh连接时出现Host key verification failed的解决方法 [root@hadoop2 opt]# ssh 192.168.1.103 The authenticity of host '192.168.1. 阅读全文
posted @ 2019-12-02 19:06
大数据-云计算
阅读(24)
评论(0)
推荐(0)
摘要：
Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。 对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer 阅读全文
posted @ 2019-12-02 19:06
大数据-云计算
阅读(118)
评论(0)
推荐(0)
摘要：
1）停止进程 [hadoop@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager [hadoop@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager 阅读全文
posted @ 2019-12-02 19:04
大数据-云计算
阅读(124)
评论(0)
推荐(0)
浙公网安备 33010602011771号