高不高

摘要： InputFormat数据输入 切片与MapTask并行度决定机制 1）问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？ 阅读全文

摘要： 1）什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化 一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的 阅读全文

摘要： MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 优点 1）MapReduce易于编程 它简单的实现一些接口 阅读全文

摘要： （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 （2）DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上报所有的块信息。 DN向NN汇报当前解读信息的时间间 阅读全文

摘要： （1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传。 （3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 （4）NameNode返回3个 阅读全文

摘要： 配置HADOOP_HOME环境变量 配置Path环境变量。 在IDEA中创建一个Maven工程HdfsClientDemo，并导入相应的依赖坐标+日志添加 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifa 阅读全文

摘要： [atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod 阅读全文

摘要： HDFS产出背景及定义 1）HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2）HDFS定义 HDFS（Ha 阅读全文

摘要： 端口名称 Hadoop2.x Hadoop3.x NameNode内部通信端口 8020 / 9000 8020 / 9000/9820 NameNode HTTP UI 50070 9870 MapReduce查看执行任务端口 8088 8088 历史服务器通信端口 19888 19888 常见解 阅读全文

摘要： 1）各个模块分开启动/停止（配置ssh是前提）常用 （1）整体启动/停止HDFS start-dfs.sh/stop-dfs.sh （2）整体启动/停止YARN start-yarn.sh/stop-yarn.sh 2）各个服务组件逐一启动/停止 （1）分别启动/停止HDFS组件 hdfs --da 阅读全文