摘要：
1）官方ip地址： http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/RackAwareness.html http://hadoop.apache.org/docs/r2.7.3/hadoop-projec 阅读全文
posted @ 2019-12-04 19:13
大数据-云计算
阅读(78)
评论(0)
推荐(0)
摘要：
（1）、zookeeper.session.timeout：默认值3分钟，不可配置太短，避免session超时，hbase停止服务，线上生产环境由于配置为1分钟，出现过2次该原因导致的hbase停止服务，也不可配置太长，如果太长，当rs挂掉，zk不能快速知道，从而导致master不能及时对regio 阅读全文
posted @ 2019-12-04 19:13
大数据-云计算
阅读(233)
评论(0)
推荐(0)
摘要：
（1）、hbase.client.write.buffer：写缓存大小，默认为2M，推荐设置为6M，单位是字节，当然不是越大越好，如果太大，则占用的内存太多。 （2）、hbase.client.scanner.caching：scan缓存，默认为1，太小，可根据具体的业务特征进行配置，原则上不可太大 阅读全文
posted @ 2019-12-04 19:12
大数据-云计算
阅读(144)
评论(0)
推荐(0)
摘要：
在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。 节点距离：两个节点到达最近的共同祖先的距离总和。 例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1 阅读全文
posted @ 2019-12-04 19:12
大数据-云计算
阅读(204)
评论(0)
推荐(0)
摘要：
1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客 阅读全文
posted @ 2019-12-04 19:10
大数据-云计算
阅读(97)
评论(0)
推荐(0)
摘要：
（1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemor 阅读全文
posted @ 2019-12-04 19:10
大数据-云计算
阅读(133)
评论(0)
推荐(0)
浙公网安备 33010602011771号