摘要：
##### CDH集群之YARN性能调优 > 本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在conta 阅读全文
posted @ 2023-08-17 19:22
a-tao必须奥利给
阅读(260)
评论(0)
推荐(0)
摘要：
# Linux根目录扩容--两篇 ## 1.命令汇总 ```shell // 首先查看根目录大小 # df -h / // 查看磁盘与挂载情况，可以看到磁盘的文件系统。 # lsblk # lsblk -f // 查看磁盘详细信息 # fdisk -1 // 对/dev/vda磁盘进行分区 # fd 阅读全文
posted @ 2023-07-26 19:22
a-tao必须奥利给
阅读(1427)
评论(0)
推荐(0)
摘要：
# 基于CDH环境下的Hive数仓配置及优化 原文连接地址：https://blog.csdn.net/sinat_31854967/article/details/127274575 ## YARN的基础配置 ### NodeManager CPU配置 - 在YARN界面中，点击配置，然后搜索配置 阅读全文
posted @ 2023-07-12 10:07
a-tao必须奥利给
阅读(312)
评论(0)
推荐(0)
摘要：
## sqoop参数问题 sqoop import 命令常用参数 表1.常用参数 参数 描述 ``` –connect 指定JDBC连接字符串 –connection-manager 指定要使用的连接管理器类 –driver 手动指定要使用的JDBC驱动程序类 –hadoop-mapred-home 阅读全文
posted @ 2023-07-12 09:52
a-tao必须奥利给
阅读(178)
评论(0)
推荐(0)
摘要：
## 解决root用户对HDFS文件系统没有权限的问题 #### ==说明：==HDFS文件系统的目录基本都属于 supergroup 超级用户组，所以就把用户添加到该用户组，即可解决很多权限问题。 第一步： > 在Linux执行如下命令增加 supergroup 用户组 > > groupadd 阅读全文
posted @ 2023-07-12 09:38
a-tao必须奥利给
阅读(510)
评论(0)
推荐(0)
摘要：
## 搭建CDH后，hdfs的权限问题 #### 问题描述：搭建cdh集群后，在hdfs中创建文件报错：Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x 
评论(0)
推荐(0)
摘要：
## 部署集群出现问题总结 ### 1，未在已配置的存储库中找到任何parcel >在装[cdh](https://so.csdn.net/so/search?q=cdh&spm=1001.2101.3001.7020)的时候遇到了问题，配置完parcel存储库以后页面提示：未在已配置的存储库中找到 阅读全文
posted @ 2023-07-07 12:38
a-tao必须奥利给
阅读(149)
评论(0)
推荐(0)
摘要：
## 配置多台服务器之间免密登录（实操） 1.准备三台云服务器或虚拟机，我这里用的是华为云服务器 2.在所有主机上创建ssh目录并赋予权限 
评论(0)
推荐(0)
摘要：
# 1.linux挂载新增硬盘--重点在后半截 ### linux挂载硬盘实操 >我要挂载的硬盘为`sda1`，首先将硬盘插上。 #### 1 查看硬盘 使用检测硬盘命令： ```shell lsblk ``` 
评论(0)
推荐(0)
摘要：
第 17 章大数据定制篇-Shell 编程 17.1 为什么要学习Shell 编程 \1) Linux 运维工程师在进行服务器集群管理时，需要编写 Shell 程序来进行服务器管理。 \2) 对于 JavaEE 和 Python 程序员来说，工作的需要，你的老大会要求你编写一些 Shell 脚本进行 阅读全文
posted @ 2023-04-16 23:27
a-tao必须奥利给
阅读(34)
评论(0)
推荐(0)
浙公网安备 33010602011771号