第七周总结

前两周由于安装配置hadoop的时候出现了一点的问题所以花费的时间长了一点,同时在上个星期觉得用了许多的linux的命令所以也去学了一部分的linux的命令。

所以这一周主要是学习了一部分的hadoop的知识,首先是了解了hadoop中的各个组件是干什么用的

hadoop核心组件有HDFS、MapReduce和Yarn,以及其他常用组件如:HBase、Hive、其中HDFS:分布式海量数据存储功能,Yarn:提供资源调度与任务管理功能MapReduce:分布式并行编程模型和计算框架。解决分布式编程门槛高的问题,基于其框架对分布式计算的抽象map和reduce,可以轻松实现分布式计算程序。Hive:提供数据摘要和查询的数据仓库。解决数据仓库构建问题,基于Hadoop平台的存储与计算,与传统SQL相结合,让熟悉SQL的编程人员轻松向Hadoop平台迁移。HBase:基于列式存储模型的分布式数据库。解决某些场景下,需要Hadoop平台数据及时响应的问题。

还有一些HDFS的主要的命令Hdfs dfs -ls,Hdfs dfs -put,Hdfs dfs -mkdir,Hdfs dfs -get,Hdfs dfs -help,Hdfs dfs -cat,Hdfs dfs -rm,Hdfs dfs -text,Hdfs dfs -touch

这一周只是学了一些基本的概念下一周继续

posted @ 2022-08-14 19:16  李迎辉  阅读(13)  评论(0)    收藏  举报