随笔分类 -  Hadoop学习

Shell执行脚本时——bash: jps: 未找到命令
摘要：原代码： #!/bin/bash for i in node01 node02 node03; do #statements echo " $i " ssh $i "jps $@ | grep -v Jps" done 运行以上程序出现：bash: jps: 未找到命令。 解决办法： 方式一：在ss 阅读全文
posted @ 2022-02-24 18:18 干了这瓶老干妈 阅读(1327) 评论(0) 推荐(0)
Hadoop集群时间同步
摘要：如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准； 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。 1、需求 已有集群服务器，node01、node02、node03。 找一个机器(node01) 阅读全文
posted @ 2022-02-22 10:50 干了这瓶老干妈 阅读(260) 评论(0) 推荐(0)
Hadoop启动错误——ERROR: Attempting to operate on hdfs namenode as root but there is no HDFS_NAMENODE_USER defined. Aborting operation.
摘要：错误如下所示; [root@localhost sbin]# start-all.sh Starting namenodes on [192.168.71.129] ERROR: Attempting to operate on hdfs namenode as root ERROR: but th 阅读全文
posted @ 2022-02-05 23:02 干了这瓶老干妈 阅读(1631) 评论(0) 推荐(0)
Hadoop安装及配置
摘要：1、将hadoop-2.7.5.tar.gz上传到/opt目录下并解压缩到/usr目录下 tar -zxvf hadoop-2.7.5.tar.gz -C /usr #修改文件名 mv hadoop-2.7.5 hadoop 2、修改配置文件 vim /etc/profile //添加以下内容 ex 阅读全文
posted @ 2022-02-05 22:35 干了这瓶老干妈 阅读(2915) 评论(0) 推荐(0)
Hadoop文件操作常用命令
摘要：1、创建目录 #hdfs dfs -mkidr /test 2、查询目录结构 #hdfs dfs -ls / 子命令 -R递归查看//查看具体的某个目录：例如#hdfs dfs -ls /test 3、创建文件 #hdfs dfs -touchz /test/data.txt 4、查看文件内容 #h 阅读全文
posted @ 2022-01-25 13:46 干了这瓶老干妈 阅读(2290) 评论(0) 推荐(0)
了解hadoop
摘要：什么是hadoop？ Hadoop是一个开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集的框架。它旨在从单个服务器扩展到数千个机器，每个都提供本地计算和存储。 Hadoop提供的功能？ 1.可靠的共享存储（分布式存储）； 2.抽象的分析接口（分布式分析）。 Hadoop特性： 可运行 阅读全文
posted @ 2022-01-17 18:48 干了这瓶老干妈 阅读(167) 评论(0) 推荐(0)

Live2D