为impala开启HDFS缓存

HDFS缓存

集中式缓存管理，由Datanode堆外内存组成，Namenode统一管理

优点：

  • 阻止频繁使用的数据从内存中删除
  • 由于是Namenode统一管理，因此在读可以根据情况调度，提高读性能
  • 客户端可以通过零拷贝技术直接读取缓存数据
  • 提高集群内存利用率，读某个文件的时候会将

解决步骤

hdfs cacheadmin -listPools
  • 创建HDFS缓冲池
hdfs cacheadmin -addPool idnmk -owner hive
  • 设置高速缓存副本
alter table idnmk.t70_idn_loan_rate set cached in 'idnmk' with replication = 3;
  • 查看表状态
show table stats idnmk.t70_idn_loan_rate;
  • 查看HDFS高速缓存池里文件的状态
hdfs cacheadmin -listPools -stats idnmk

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210413182645753.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L01yZXJsb3U=,size_16,color_FFFFFF,t_70)

posted @ 2021-04-13 18:29  彬在俊  阅读(415)  评论(0)    收藏  举报