随笔分类 -  HDFS

HDFS配置参数及优化之实战经验（Linux hdfs）
摘要：HDFS优化之实战经验 Linux系统优化 一、禁止文件系统记录时间 Linux文件系统会记录文件创建、修改和访问操作的时间信息，这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间，这对HDFS这种读取操作频繁 阅读全文
posted @ 2019-04-05 20:57 Levyxu胖胖 阅读(1954) 评论(0) 推荐(0)
hdfs性能调优(cloudera)
摘要：参照官方文档：http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html1）对YARN调优： 我们实际是2颗CPU，一共24核心数，上面的服务用掉了5核，还剩 阅读全文
posted @ 2019-04-05 20:53 Levyxu胖胖 阅读(490) 评论(0) 推荐(0)