03 2021 档案

Hadoop_HDFS_API创建文件夹
摘要：前提：HDFS集群启动正常 建议：在IDEA上安装大数据插件 新建一个marven项目 并导入相应的依赖坐标**+**日志添加 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-cl 阅读全文
posted @ 2021-03-10 17:52 莳曳 阅读(625) 评论(0) 推荐(0)
hdfs的基本操作
摘要：HDFS相关基本操作 上传 -moveFromLocal 从本地剪切粘贴到HDFS -copyFromLocal 从本地拷贝粘贴到HDFS -put 等同于-copyFromLocal 从本地拷贝粘贴到HDFS -appendToFile 追加一个文件到一个已存在的文件末尾 下载 -copyToLo 阅读全文
posted @ 2021-03-10 17:44 莳曳 阅读(121) 评论(0) 推荐(0)
Hadoop 入门的两道面试题
摘要：一、常用端口号 hadoop3.x HDFS NameNode 内部通讯端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9820 Yarn 查看任务运行情况的端口：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通讯端口：802 阅读全文
posted @ 2021-03-06 17:44 莳曳 阅读(109) 评论(0) 推荐(0)
Hadoop 一键启动停止集群和查看节点服务运行情况的脚本配置
摘要：centos7 启动停止集群脚本 配置完成后 启动集群命令：myhadoop.sh start 关闭集群命令：myhadoop.sh stop 单节点启动命令（以启动datanode为例）：hdfs --daemon start datanode 在 /home/用户名/bin 中新建文件 myha 阅读全文
posted @ 2021-03-06 17:34 莳曳 阅读(1019) 评论(0) 推荐(0)
Hadoop 日志聚集功能配置
摘要：增加以下内容到 yarn-site.sh 中 <!-- 以下为日志聚集功能配置 --> <!-- 开启日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 阅读全文
posted @ 2021-03-06 16:38 莳曳 阅读(62) 评论(0) 推荐(0)
Hadoop 执行 wordcount 出错 exit code 127 可能问题解决
摘要：题面： 启动集群正常 运行 wordcount 脚本时出现错误如下： 2021-03-06 10:46:36,826 INFO mapreduce.Job: map 0% reduce 0% 2021-03-06 10:46:36,845 INFO mapreduce.Job: Job job_16 阅读全文
posted @ 2021-03-06 12:20 莳曳 阅读(3040) 评论(2) 推荐(0)
Hadoop 配置历史服务器
摘要：配置文件 mapred-site.xml 加入以下代码 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服 阅读全文
posted @ 2021-03-05 19:16 莳曳 阅读(119) 评论(0) 推荐(0)
Hadoop 集群崩溃操作办法
摘要：杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化 在 hadoop 根目录下执行 hdfs namenode 阅读全文
posted @ 2021-03-05 18:11 莳曳 阅读(101) 评论(0) 推荐(0)
Hadoop 群起集群并测试
摘要：配置 workers vim $HADOOP_HOME/etc/hadoop/workers 修改为以下内容 hadoop102 hadoop103 hadoop104 注：文中不要有空行 文末不要有空格 同步更改到其他服务器上 xsync workers 启动集群 注：第一次启动集群需要初始化 初 阅读全文
posted @ 2021-03-05 17:35 莳曳 阅读(175) 评论(0) 推荐(0)
Hadoop 服务器集群文件配置
摘要：服务器间的 hadoop 集群配置 应用操作以建立服务器之间的链接 到达指定目录 cd $HADOOP_HOME/etc/hadoop/ 修改四个文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml <!-- core-site.x 阅读全文
posted @ 2021-03-05 11:20 莳曳 阅读(171) 评论(0) 推荐(0)
CentOS7 Hadoop 实现ssh服务器间免密登录
摘要：~~预备知识：~~查看当前目录下所有的隐藏文件 ls -al 1.到/home/用户名/.ssh 文件夹中 2.运行 ssh-keygen -t rsa 之后敲三遍回车，会产生两个文件 id_ras 私钥文件 、id_rsa.pub公钥文件 3.将公钥copy到免密登录的目标主机上 ssh-copy 阅读全文
posted @ 2021-03-04 20:19 莳曳 阅读(140) 评论(0) 推荐(0)
scp&rsync&xsync的作用
摘要：scp（英文名：Special Containment Procedures Foundation secure copy）安全拷贝 完全拷贝一个文件从一个节点到另一个节点上 用法： scp -r 用户名@主机地址:主机文件地址 用户名@主机地址:主机文件地址 rsync 远程同步工具 可用同步两个 阅读全文
posted @ 2021-03-03 22:18 莳曳 阅读(273) 评论(0) 推荐(0)
关掉windows server 2019 的Ctrl+Alt+Delete解锁屏幕功能的实现
摘要：##1. 打开控制面板 ##2. 控制面板的查看方式选为 大图标 ##3. →管理工具 ##4. →本地安全策略 ##5. →本地策略->安全选项->交互式登录：无需按Ctrl+Alt+Del 双击或右键属性 ##6. →启用->确定->结束 阅读全文
posted @ 2021-03-03 20:22 莳曳 阅读(7230) 评论(0) 推荐(0)
虚拟服务器的搭建与配置（三） 对模板服务器hadoop100进行配置和克隆服务器
摘要：####对模板服务器hadoop100进行最后的配置 关闭防火墙 增加新建用户cheetah的访问权限 创建存放JDK和Hadoop的目录 使用模板服务器进行克隆 对hadoop100进行复制 更改hadoop102的IP 更改服务器主机名称为hadoop102 其他克隆服务器同理，只需更改IP地址 阅读全文
posted @ 2021-03-03 09:40 莳曳 阅读(117) 评论(0) 推荐(0)
虚拟服务器的搭建与配置（二）Xshell的配置
摘要：1.下载Xshell并安装 2.使用Xshell链接到虚拟机服务器 3.设置映射方便日后访问IP 阅读全文
posted @ 2021-03-03 09:28 莳曳 阅读(232) 评论(0) 推荐(0)
虚拟服务器的搭建与配置（一）安装CentOS7和配置IP
摘要：学习虚拟服务器的搭建与配置 CentOS7的安装与IP配置 先安装centos 配置VM的IP 配置电脑的IP 配置虚拟机服务器的IP 阅读全文
posted @ 2021-03-03 09:18 莳曳 阅读(328) 评论(0) 推荐(0)