08 2023 档案

idea安装bigdata tool 插件 HDFS客户端
摘要：在idea里面下载bigdata tool插件 使用hdfs客户端 一、下载hadoop安装包，并将文件解压 二、在idea的插件里面找到 bbigdata tool插件并进行安装 如果在idea里面下载比较慢，可以在官网下载 Big Data Tools - IntelliJ IDEs Plugi 阅读全文
posted @ 2023-08-23 12:36 伽澄 阅读(1610) 评论(0) 推荐(0)
HDFS的文件系统操作命令
摘要：下面分享一下最近学到的HDFS的有关文件系统操作shell命令 一、创建文件夹 hadoop fs -mkdir [-p] <path> ... hdfs dfs -mkdir [-p] <path> ... #hadoop fs -mkdir -p /ijc/bigdata #hdfs fs -m 阅读全文
posted @ 2023-08-22 21:14 伽澄 阅读(401) 评论(0) 推荐(0)
HDFS集群启停命令
摘要：HDFS集群启停命令： 一键启停脚本 #启动 $HADOOP_HOME/sbin/start-dfs.sh #停用 $HADOOP_HOME/sbin/stop-dfs.sh 独立进程启程 #脚本一 hadoop-daemon.sh (start|status|stop) (namenode|sec 阅读全文
posted @ 2023-08-22 13:29 伽澄 阅读(72) 评论(0) 推荐(0)
在VMware虚拟机集群上部署HDFS集群
摘要：本篇博客跟大家分享一下如何在VMware虚拟机集群上部署HDFS集群 一·、下载hadoop安装包 进入官网：https://hadoop.apache.org 下载hadoop安装包 由于Apache Hadoop是国外网址，下载安装包对于网络要求较高 二、上传压缩包，进行解压 在进行解压之前，保 阅读全文
posted @ 2023-08-22 12:47 伽澄 阅读(150) 评论(0) 推荐(0)
Hadoop部署HDFS集群 启动后只有node1有进程，node2和node3没有反应
摘要：最近有人向我询问说：为什么他的HDEF集群一键启动时只有node1进程有反应，node2和node3没有反应 我看完他的问题之后，想到了自己在部署时也遇到了同样的问题，现在来分享一下自己的解决方案 出现这种情况的主要原因是：workers文件没有配置好 解决方法： 输入：vim /export/se 阅读全文
posted @ 2023-08-22 00:05 伽澄 阅读(427) 评论(0) 推荐(0)
暑假第七周总结
摘要：这周我继续学习大数据相关知识，学习和了解了mapreduce和yarn的相关知识 一、MapReduce——分布式计算框架 在学习MapReduce时，我考虑了几个问题 什么是MapReduce MapReduce是Hadoop中的分布式计算组件 MapReduce可以以分散->汇总（聚合）模式执行 阅读全文
posted @ 2023-08-20 23:32 伽澄 阅读(15) 评论(0) 推荐(0)
暑假第六周总结
摘要：在本周，我学习的内容很少，因为我在本周选择了出去旅行放松身心。 在这一周中，我带着我的弟弟去了北京。这是我半年前答应好他的，在这个暑假我来实现这个承诺。说是带他去北京，但是这也是我为数不多去北京的机会，之前因为年纪小去过的景点都有些忘记，这一次去又是一种全新的体验。 我们一共去了三天，第一天中午到达 阅读全文
posted @ 2023-08-12 19:56 伽澄 阅读(29) 评论(0) 推荐(0)
暑假第五周总结
摘要：本周我开始学习hadoop框架 首先我了解到分布式系统的组织形式，以及Hadoop服从主从模式的框架架构 接着开始学习HDFS基础架构 HDFS架构属于主从模式，一个主节点和多个分节点 在了解完HDFS架构之后，我开始试着部署HDFS架构 在经过几个小时的努力下，最终成功部署成功，能够一键启动HDF 阅读全文
posted @ 2023-08-03 18:51 伽澄 阅读(11) 评论(0) 推荐(0)
《天道》——格律诗乐器的生产流程和质量控制流程
摘要：最近这些天，在王建民老师的建议下，我观看了王志文老师主演的电视剧《天道》。在最初看到老师的建议时，我感到十分诧异，为什么要让我们看这个十多年前的老电视剧呢，新拍的电视剧我都看不过来，更何况还是这种画质极低的老片子呢，但是在我看完一集之后，发现这个剧情挺有意思，于是耐着性子看完了整部电视剧。看完之后， 阅读全文
posted @ 2023-08-02 23:07 伽澄 阅读(153) 评论(0) 推荐(0)