随笔分类 -  hadoop

hadoop常见错误及解决办法整理
摘要：1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修 阅读全文

posted @ 2019-05-29 17:33 大数据运维 阅读(5336) 评论(0) 推荐(0)

Ambari2.6.2 HDP2.6.5 大数据集群搭建
摘要：Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SPARK-2.3.0 注：本文基于root用户操作 一、安装环境准备 操作系统 centos7.5 hdc-data1：192.168.163.5 阅读全文

posted @ 2019-04-18 19:23 大数据运维 阅读(818) 评论(0) 推荐(0)

导航