摘要： 1.问题梳理： CDH集群中，数据文件位置默认在 /dfs/dn 中，这个目录所属的盘符是 /，但是 ‘/’只有50G大小，还有其他各种文件的日志什么的，空间很紧张。今天启动脚本上传文件到hive，因为空间问题一直报错。查阅了资料，需要将CDH集群 HDFS数据存储 更换目录。 通过命令查看各个盘符 阅读全文

摘要： 1.从以下界面把删掉的NameNode，JournalNode和Failover Controller的三个角色再给加回去。 2.点击添加角色实例，并相应的选择之前删掉NameNode，JournalNode和Failover Controller角色所在的主机ip-172-31-9-113.ap- 阅读全文

摘要： 背景： sqoop抽取mysql数据到hive是成功的，但是使用dolphinscheduler调度sqoop抽取数据到mysql失败，报错信息如下： 4.[INFO] - [taskAppId=TASK-1-4-4]:[138] - -> Error: /opt/soft/hadoop does 阅读全文

摘要： https://help.fanruan.com/finebi/doc-view-1357.html https://help.fanruan.com/finebi/doc-view-56.html?source=4 linux最大打开文件数： https://help.fanruan.com/fi 阅读全文

摘要： hive 1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为mr，那么就会调用Hadoop的maprecude来运行需要执行job的程序；如果设置执行引擎为spark，那么就会调用spar 阅读全文

摘要： cdh6.3.2报错 network interface speed 原因是：在群集节点上安装了libvirt或其他虚拟化软件的用户可以创建虚拟网络接口。 这些接口与物理接口在双工和速度方面要经过相同的检查。 在这些情况下，Cloudera Manager会在创建低速（10Mb / s）虚拟接口时生 阅读全文

摘要： vim /etc/crontab * 23 * * * root /opt/startworkerserver.sh > /dev/null 2>&1 #每天晚上11点执行 /opt/startworkerserver.sh #!/bin/bash ps=$(jps |grep 'WorkerSer 阅读全文

摘要： FastDFS FastDFS是一个开放源代码的轻量级分布式文件系统，用c语言编写。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。 非常适合相册网站、视频网站等以文件为载体的在线服务（建议范围：4KB < file_size <500MB）。 商品追加的实现包括商品的类别选 阅读全文

摘要： https://www.likecs.com/show-204153470.html 阅读全文

摘要： 1、hadoop2.x版本和hadoop3.x版本hdfs高可用有什么区别？ 2版本namenode只有两台，3版本namenode可以有很多台，JournalNode同节点的数据 hdfs非高可用是secondarynamenode同步元数据 2、on yarn模式下spark集群规模是多少？ 一 阅读全文