摘要：
hadoop dfs -命令 或 Hadoop fs -命令 阅读全文
posted @ 2020-06-24 19:40
阿布都日
阅读(102)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2020-06-24 19:16
阿布都日
阅读(125)
评论(0)
推荐(0)
摘要：
HDFS是什么：一种分布式文件管理系统 HDFS使用场景：适合一次写入，多次读出的场景，且不支持文件的修改 高容错性：当副本丢失时，自动增加副本 数据规模：GB，TB，PB 文件规模：百万 不适合快速访问 不适合大量的小文件：无法高效存储，会占用大量的namenode内存，寻址时间会大于读取时间 不 阅读全文
posted @ 2020-06-24 18:57
阿布都日
阅读(114)
评论(0)
推荐(0)
摘要：
前期准备 可以正常联网 jar包准备 hadoop-xxx-src.tar.gz jdk-xxx-xxx-tar.gz apache-ant-xxx-bin.tar.gz apache-maven-xxx-bin.tar.gz protobuf-xxx.tar.gz jar包安装 jdk安装到mod 阅读全文
posted @ 2020-06-24 18:49
阿布都日
阅读(131)
评论(0)
推荐(0)
摘要：
服务器 1. 检查ntp是否安装 rpm -qa|grep ntp 2. 修改ntp配置 /etc/ntp.conf 设置网段 设置集群只使用本服务器时间同步 服务器没联网时依然可以提供时间同步服务 修改如下内容 //添加restrict 192.168.1.0 mask 255.255.255.0 阅读全文
posted @ 2020-06-24 18:10
阿布都日
阅读(140)
评论(0)
推荐(0)
摘要：
crontab -e|r|l e:修改 r:删除当前用户所有定时任务 l:查看当前用户所有定时任务 阅读全文
posted @ 2020-06-24 17:36
阿布都日
阅读(103)
评论(0)
推荐(0)
摘要：
1. 位置意义 项目 含义 范围 位置一 分钟 0-59 位置二 小时 0-23 位置三 天 1-31 位置四 月 1-12 位置五 星期_ 0-7(0=7=周日) 2. 特殊符号 特殊符号 符号含义 * 任意时间 , 枚举时间 - 范围时间 */n 每隔时间n 阅读全文
posted @ 2020-06-24 17:30
阿布都日
阅读(183)
评论(0)
推荐(0)
摘要：
service crond start|stop|restart 阅读全文
posted @ 2020-06-24 17:13
阿布都日
阅读(86)
评论(0)
推荐(0)
摘要：
1. 组件启动|停止方式 //启动|停止hdfs hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode //启动|停止yarn yarn-daemon.sh start|stop resourcemanager|nodeman 阅读全文
posted @ 2020-06-24 16:58
阿布都日
阅读(285)
评论(0)
推荐(0)
摘要：
1. 所有节点的etc/hadoop/slaves中添加数据节点【不允许有空格和回车】 2. 格式化namenode【namenode主机上】hadoop namenode -format 3. 启动hdfs【namenode主机上】 start-dfs.sh 4. 启动yarn【resourcem 阅读全文
posted @ 2020-06-24 16:44
阿布都日
阅读(148)
评论(0)
推荐(0)
浙公网安备 33010602011771号