2019年12月4日
ZK调优——悟空智慧教育
摘要： （1）、zookeeper.session.timeout：默认值3分钟，不可配置太短，避免session超时，hbase停止服务，线上生产环境由于配置为1分钟，出现过2次该原因导致的hbase停止服务，也不可配置太长，如果太长，当rs挂掉，zk不能快速知道，从而导致master不能及时对regio 阅读全文
posted @ 2019-12-04 19:13 大数据-云计算 阅读(233) 评论(0) 推荐(0)
Client端调优——悟空智慧教育
摘要： （1）、hbase.client.write.buffer：写缓存大小，默认为2M，推荐设置为6M，单位是字节，当然不是越大越好，如果太大，则占用的内存太多。 （2）、hbase.client.scanner.caching：scan缓存，默认为1，太小，可根据具体的业务特征进行配置，原则上不可太大 阅读全文
posted @ 2019-12-04 19:12 大数据-云计算 阅读(144) 评论(0) 推荐(0)
服务端调优——悟空智慧教育
摘要： （1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemor 阅读全文
posted @ 2019-12-04 19:10 大数据-云计算 阅读(133) 评论(0) 推荐(0)
2019年12月3日
hive修改表-悟空智慧教育
摘要： 修改表 重命名表 1．语法 ALTER TABLE table_name RENAME TO new_table_name 2．实操案例 hive (default)> alter table dept_partition2 rename to dept_partition3; 增加、修改和删除表分 阅读全文
posted @ 2019-12-03 11:20 大数据-云计算 阅读(250) 评论(0) 推荐(0)
hive分区表操作-悟空智慧教育
摘要： 分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 分区表基本操作 1．引入分区表（需 阅读全文
posted @ 2019-12-03 11:18 大数据-云计算 阅读(375) 评论(0) 推荐(0)
2019年12月2日
ZK调优——悟空智慧教育
摘要： （1）、zookeeper.session.timeout：默认值3分钟，不可配置太短，避免session超时，hbase停止服务，线上生产环境由于配置为1分钟，出现过2次该原因导致的hbase停止服务，也不可配置太长，如果太长，当rs挂掉，zk不能快速知道，从而导致master不能及时对regio 阅读全文
posted @ 2019-12-02 19:13 大数据-云计算 阅读(180) 评论(0) 推荐(0)
批量读——悟空智慧教育
摘要： 通过调用HTable.get(Get)方法可以根据一个指定的row key获取一行记录，同样HBase提供了另一个方法：通过调用HTable.get(List<Get>)方法可以根据一个指定的row key列表，批量获取多行记录，这样做的好处是批量执行，只需要一次网络I/O开销，这对于对数据实时性要 阅读全文
posted @ 2019-12-02 19:12 大数据-云计算 阅读(143) 评论(0) 推荐(0)
Htable参数设置——悟空智慧教育
摘要： （1）、Scanner Caching hbase.client.scanner.caching配置项可以设置HBase scanner一次从服务端抓取的数据条数，默认情况下一次一条。通过将其设置成一个合理的值，可以减少scan过程中next()的时间开销，代价是scanner需要通过客户端的内存来 阅读全文
posted @ 2019-12-02 19:11 大数据-云计算 阅读(223) 评论(0) 推荐(0)
Hbase与hive对比——悟空智慧教育
摘要： (1)数据库 hbase是一种面向列存储的非关系型数据库。 (2)用于存储结构化和非结构话的数据 适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。 (3)基于HDFS 数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进 阅读全文
posted @ 2019-12-02 19:09 大数据-云计算 阅读(182) 评论(0) 推荐(0)
2019年11月29日
hql创表语句详解-悟空智慧教育
摘要： 创建表 1．建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED B 阅读全文
posted @ 2019-11-29 08:30 大数据-云计算 阅读(531) 评论(0) 推荐(0)
下一页