7.26每周总结

这周开始学习 Hadoop 相关内容。首先了解了大数据技术生态体系，认识到 Hadoop 在其中的核心地位，以及它在处理大规模数据时的优势，比如高可靠性、高扩展性等。接着学习了 Hadoop 的三种安装模式，分别是单机模式、伪分布式模式和完全分布式模式，并且尝试在本地搭建了伪分布式环境，通过配置相关文件，成功启动了 Hadoop 服务。然后学习了 SSH 免秘钥登录，这对于在完全分布式环境下方便地进行节点间通信非常重要，我按照步骤生成了密钥对并进行了配置，实现了免密登录。之后还学习了 Hadoop 完全分布式 HDFS 安装以及 HDFS 命令行的使用，通过命令行创建目录、上传下载文件等操作，熟悉了 HDFS 的基本使用。
学习过程中遇到的问题主要有：在搭建伪分布式 Hadoop 环境时，由于对配置文件的理解不够深入，出现了服务无法正常启动的情况，经过反复查看日志和资料，才发现是配置文件中的端口设置有误。另外，在使用 HDFS 命令行时，对于一些命令的参数和用法还不够熟练，导致操作效率不高。
下周计划继续深入学习 Hadoop，重点学习 HDFS 分布式文件系统的相关概念和原理，比如 HDFS 的组成、块大小、NameNode 和 DataNode 的作用等，并且尝试在伪分布式环境下进行更多 HDFS 相关的操作和实验