2019年11月29日
hive的优化
摘要： https://mp.weixin.qq.com/s?src=11&timestamp=1585114892&ver=2237&signature=Lk2sAwtr2YRwgCdaogk8ZKVyl6iBDy6tEgRStNoZDoWi3meswFbkAj13N4DTOE3VNswdOt4Z*WIh 阅读全文
posted @ 2019-11-29 11:37 站在云端看世界 阅读(447) 评论(0) 推荐(0)
es查询性能优化
摘要： 1.如果条件允许，内存和cpu一定要足够多，要超过总数据量的1半以上最好，当然数据量很大的时候要在经常查询数据的2倍以上。 2.数据分离存储，经常查询的数据放一些索引，不经常查询的放一部分索引，然后通过唯一的id关联即可，需要查那些不经常查的数据的时候通过id查询即可，这里可以和hbase联合使用。 阅读全文
posted @ 2019-11-29 11:17 站在云端看世界 阅读(2767) 评论(0) 推荐(0)
sqoop将hive数据导出到关系型数据库
摘要： 以下信息，只要根据自己的数据库的相应信息修改以下，即可，sqoop其实就是很简单的，一般hive数据存储为列式存储，所以要提前把要写到关系型数据库的数据写到一个text后缀的表里，然后才能导出到关系型数据库中。 还要特别注意写到关系型数据库中数据的格式要一一对应 #pg库相关信息 database_ 阅读全文
posted @ 2019-11-29 10:49 站在云端看世界 阅读(1295) 评论(0) 推荐(0)