摘要：
阅读目录(Content) 一、写一个MapReduce程序例子 1.1、数据准备 1.2、需求分析 1.3、编写一个解析类解析天气数据 1.4、编写一个MapReduce程序求1992I年的最高温度 1.5、使用Maven打包Jar包上传到Hadoop客户端的Linux服务器中 二、分析上面Map 阅读全文
posted @ 2018-10-16 22:58
-草根-颜
阅读(402)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、背景 二、大数据的并行计算 三、Hadoop的MapReduce概述 3.1、需要MapReduce原因 3.2、MapReduce简介 3.3、MapReduce编程模型 四、编写MapReduce程序 4.1、数据样式与环境 4.2、需求分析 4.3、代码实现 3 阅读全文
posted @ 2018-10-16 22:57
-草根-颜
阅读(573)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、数据完整性概述 二、HDFS的数据完整性 2.1、本地文件上传到HDFS集群时的校验 2.2、HDFS集群文件读取到本地 三、涉及数据一致性的类：LocalFileSystem和RawFileSystem 3.1、概述 3.2、编写程序验证 2.1、本地文件上传到HD 阅读全文
posted @ 2018-10-16 22:56
-草根-颜
阅读(417)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、序列化和反序列化概述 1.1、序列化和反序列化的定义 1.2、序列化和反序列化的应用 1.3、RPC序列化格式要求 二、Hadoop中和虚序列化相关的接口和类 1.1、Hadoop对基本数据类型的包装 1.2、Writable接口 1.3、实例解释Java和Hadoo 阅读全文
posted @ 2018-10-16 22:56
-草根-颜
阅读(366)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、压缩（Compression）概述 1.1、压缩的好处 1.2、压缩格式总结 二、编解码器（Codec）概述 三、Java编程实现文件的压缩与解压缩 3.1、原理分析 3.2、相关类和方法 3.3、Java将本地文件压缩上传到集群当中 3.4、Java将集群文件解压缩 阅读全文
posted @ 2018-10-16 22:55
-草根-颜
阅读(308)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、HDFS中数据块概述 1.1、HDFS集群中数据块存放位置 1.2、数据块（data block）简介 1.3、对分布式文件系统中的块进行抽象会带来很多好处 二、Java访问HDFS中的数据块 2.1、相关类和方法介绍 2.2、编写程序访问 二、Java查看HDFS集 阅读全文
posted @ 2018-10-16 22:54
-草根-颜
阅读(1284)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、HDFS读取过程 二、HDFS的写入过程 三、通过实例说明HDFS的读写操作 3.1、写入操作 3.2、读取操作 四、图解HDFS的读取写入过程 4.1、角色出演 4.2、读取操作 3.2、写入操作 3.1、写入操作 3.2、读取操作 4.1、角色出演 4.2、读取操 阅读全文
posted @ 2018-10-16 22:53
-草根-颜
阅读(3212)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、HDFS容错机制 1.1、故障类型（三类故障） 1.2、故障检测机制 1.3、回复：心跳信息和数据块报告 1.4、读写容错 1.5、数据节点（DN）失效 二、HDFS备份规则 1.1、故障类型（三类故障） 1.2、故障检测机制 1.3、回复：心跳信息和数据块报告 1. 阅读全文
posted @ 2018-10-16 22:53
-草根-颜
阅读(722)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、Hadoop客户端配置 二、Java访问HDFS集群 2.1、HDFS的Java访问接口 2.2、Java访问HDFS主要编程步骤 2.3、使用FileSystem API读取数据文件 三、实战Java访问HDFS集群 3.1、环境介绍 3.2、查询HDFS集群文件系 阅读全文
posted @ 2018-10-16 22:52
-草根-颜
阅读(445)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、HDFS概述 1.1、HDFS概述 1.2、HDFS的概念和特性 1.3、HDFS的局限性 1.4、HDFS保证可靠性的措施 二、HDFS基本概念 2.1、HDFS主从结构体系 2.2、数据块（DataBlock） 2.3、名字节点（主节点：NameNode） 2.4 阅读全文
posted @ 2018-10-16 22:51
-草根-颜
阅读(687)
评论(0)
推荐(0)
浙公网安备 33010602011771号