摘要：
cloudera manager 更换MySQL服务器 更换存储cm元数据的MySQL的位置 n1机器更换到n2. 由于我只安装了下边四个服务，这四个不涉及到MySQL，所以不用更改他们的配置，也不用停止这四个服务。 如果所安装的集群使用到MySQL，并且需要一起迁移到新的MySQL，则需要停止这些 阅读全文
posted @ 2021-06-16 10:35
会飞的鹅
阅读(101)
评论(0)
推荐(0)
摘要：
cm5.14中的spark版本是默认是1.6，安装2.2版本的需要手动安装 安装准备： csd包：http://archive.cloudera.com/spark2/csd/ SPARK2_ON_YARN-2.2.0.cloudera3.jar parcel包：http://archive.clo 阅读全文
posted @ 2021-06-16 10:34
会飞的鹅
阅读(129)
评论(0)
推荐(0)
摘要：
CDH参数调优 HDFS参数 fs.trash.interval 垃圾桶功能（需要重启HDFS） 如果为零，垃圾桶功能将被禁用 设置7天后垃圾回收站中的文件会被系统永久删除 如果需要直接删除，不放进回收站需要使用下面命令删除 hadoop fs -rm -r -skipTrash /test fs. 阅读全文
posted @ 2021-06-16 10:33
会飞的鹅
阅读(439)
评论(0)
推荐(0)
摘要：
CDH虚拟网卡引起的警告信息处理 原因是CDH采集了virbr0这张网卡的信息导致的问题 通过ifconfig 可以看见有一个virbr的虚拟网卡 解决办法： 在该机器的配置中搜索 网络 修改网络接口收集排除正则表达式 阅读全文
posted @ 2021-06-16 10:32
会飞的鹅
阅读(159)
评论(0)
推荐(0)
摘要：
重新安装cloudera-manager接管已有集群 由于数据库数据丢失导致CDH集群无法使用，这时hadoop等集群可能在正常运行 但无法通过cloudera-manager来进行管理，需要重新安装cloudera-manager来接管之前的集群并恢复数据。 解决办法： 关闭service 和 a 阅读全文
posted @ 2021-06-16 10:31
会飞的鹅
阅读(545)
评论(0)
推荐(0)
摘要：
启动hue时 Load Balancer启动失败 这个问题一般都是没有安装Httpd 和 mod_ssl 这两个服务导致的 添加这两个服务 这里使用yum安装这两个服务 执行下面的命令 yum -y install httpd mod_ssl 阅读全文
posted @ 2021-06-16 10:28
会飞的鹅
阅读(149)
评论(0)
推荐(0)
摘要：
（1）hdfs dfsadmin -safemode get （功能描述：查看安全模式状态） （2）hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态） （3）hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态） （4）hd 阅读全文
posted @ 2021-06-16 10:27
会飞的鹅
阅读(86)
评论(0)
推荐(0)
摘要：
切片机制 FileInputFormat中默认的切片机制 切片的大小=块的大小=128M（如果程序运行在本地则是32M） 切片的标准是看文件大的小是达到块大小的1.1倍（140.8M），如果达到则按128M进行切片，如果没达到，则其本身就是一个切片。切完第一片剩下的数据在进行比较，如果达到块大小的1 阅读全文
posted @ 2021-06-16 10:26
会飞的鹅
阅读(373)
评论(0)
推荐(0)
摘要：
CentOS6安装与配置 环境准备 1.设置主机名 查看主机名 hostname 修改主机名 vim /etc/hosts IP地址 主机名 vi /etc/sysconfig/network HOSTNAME= 主机名 注意：hosts与network下的主机名称要保持一致 2.配置IP 主机名映 阅读全文
posted @ 2021-06-16 10:24
会飞的鹅
阅读(292)
评论(0)
推荐(0)
摘要：
CentOS7环境下配置Hadoop(CentOS6与7命令不同) 1.设置主机名 hostnamectl set-hostname 主机名 (永久生效) 2.配置IP 主机名映射 vi /etc/hosts 192.168.56.133 node1 192.168.56.133 node2 192 阅读全文
posted @ 2021-06-16 10:23
会飞的鹅
阅读(278)
评论(0)
推荐(0)
浙公网安备 33010602011771号