随笔分类 - hadoop
摘要：在配置SSH免密登录时报错：/usr/bin/ssh-copy-id: ERROR: failed to open ID file '/root/.pub': 没有那个文件或目录 问题 1 [root@hadoop1 sbin]# ssh-copy-id hadoop1 2 3 /usr/bin/s
阅读全文
posted @ 2021-07-06 22:41
温家三哥
摘要：shell中expect介绍 expect介绍 借助Expect处理交互的命令,可以将交互 过程如:ssh登录,ftp登录等写在一个脚本上,使之自动化完成.尤其适用于需 要对多台服务器执行相同操作的环境中,可以大大提高系统管理人员的工作效率 expect安装 [root@ansible ssh]#
阅读全文
摘要：vmware虚拟机配置centos7.6静态IP地址 VMware虚拟机配置centos7.6静态IP地址。 VMware版本 ：VMware Workstation 155.2 Pro。 centos版本：centos 7.6（CentOS-7.6-x86_64-DVD-1810）。 配置步骤：
阅读全文
posted @ 2021-07-05 22:35
温家三哥
摘要：无法访问hadoop yarn8088端口的解决方法 1、检查是否正确的启动了resourcemanager服务 若是没有启动，请检查yarn-site-xml配置 2、若是启动了 1、检查客户机和虚拟机之间是否能够相互ping通 2、检查虚拟机防火墙是否关闭 3、排查 1、首先，各个虚拟机和客户端
阅读全文
摘要：【Ambari】yarn资源调度之CapacityScheduler CapacityScheduler 1 CapacityScheduler介绍 2 启用CapacityScheduler 3 设置队列 3.1 队列特性 3.2 队列间调度 3.3 ACLs控制队列权限 4 定义队列映射策略Ma
阅读全文
posted @ 2021-06-30 23:25
温家三哥
摘要：Yarn资源调度工作原理 由于Yarn良好的兼容性和扩展性，目前可以支持大部分数据引擎，所以了解Yarn的资源调度原理很有必要，Yarn主要由四个重要角色组成 1 ResourceManager：顾名思义资源管理器，主要负责资源管理和调度，ResourceManager主要由两个组件构成：Appli
阅读全文
posted @ 2021-06-30 23:07
温家三哥
摘要：（转）CentOS 7.x系统添加70-persistent-net.rules文件，来实现网卡名称自定义 CentOS 7.x系统中网卡命名规则被重新定义，可能会是”eno167777xx”等，下面我们把网卡名称改为eth0这种。 一、cd /etc/sysconfig/network-scrip
阅读全文
摘要：hadoop distcp使用 概述distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个
阅读全文
浙公网安备 33010602011771号