随笔分类 -  大数据相关

上一页 1 2
Hadoop（十一）Hadoop IO之序列化与比较功能实现详解
摘要：阅读目录(Content) 一、序列化和反序列化概述 1.1、序列化和反序列化的定义 1.2、序列化和反序列化的应用 1.3、RPC序列化格式要求 二、Hadoop中和虚序列化相关的接口和类 1.1、Hadoop对基本数据类型的包装 1.2、Writable接口 1.3、实例解释Java和Hadoo 阅读全文
posted @ 2017-11-24 15:38 jstarseven 阅读(405) 评论(0) 推荐(0)
Hadoop（十）Hadoop IO之数据完整性
摘要：阅读目录(Content) 一、数据完整性概述 二、HDFS的数据完整性 2.1、本地文件上传到HDFS集群时的校验 2.2、HDFS集群文件读取到本地 三、涉及数据一致性的类：LocalFileSystem和RawFileSystem 3.1、概述 3.2、编写程序验证 2.1、本地文件上传到HD 阅读全文
posted @ 2017-11-24 15:36 jstarseven 阅读(691) 评论(0) 推荐(0)
Hadoop（九）Hadoop IO之Compression和Codecs
摘要：阅读目录(Content) 一、压缩（Compression）概述 1.1、压缩的好处 1.2、压缩格式总结 二、编解码器（Codec）概述 三、Java编程实现文件的压缩与解压缩 3.1、原理分析 3.2、相关类和方法 3.3、Java将本地文件压缩上传到集群当中 3.4、Java将集群文件解压缩 阅读全文
posted @ 2017-11-24 15:35 jstarseven 阅读(499) 评论(0) 推荐(0)
Hadoop（八）Java程序访问HDFS集群中数据块与查看文件系统
摘要：阅读目录(Content) 一、HDFS中数据块概述 1.1、HDFS集群中数据块存放位置 1.2、数据块（data block）简介 1.3、对分布式文件系统中的块进行抽象会带来很多好处 二、Java访问HDFS中的数据块 2.1、相关类和方法介绍 2.2、编写程序访问 二、Java查看HDFS集 阅读全文
posted @ 2017-11-24 15:34 jstarseven 阅读(1002) 评论(0) 推荐(0)
Hadoop（七）HDFS容错机制详解
摘要：阅读目录(Content) 一、HDFS容错机制 1.1、故障类型（三类故障） 1.2、故障检测机制 1.3、回复：心跳信息和数据块报告 1.4、读写容错 1.5、数据节点（DN）失效 二、HDFS备份规则 1.1、故障类型（三类故障） 1.2、故障检测机制 1.3、回复：心跳信息和数据块报告 1. 阅读全文
posted @ 2017-11-24 15:32 jstarseven 阅读(1345) 评论(0) 推荐(0)
Hadoop（六）之HDFS的存储原理（运行原理）
摘要：阅读目录(Content) 一、HDFS读取过程 二、HDFS的写入过程 三、通过实例说明HDFS的读写操作 3.1、写入操作 3.2、读取操作 四、图解HDFS的读取写入过程 4.1、角色出演 4.2、读取操作 3.2、写入操作 3.1、写入操作 3.2、读取操作 4.1、角色出演 4.2、读取操 阅读全文
posted @ 2017-10-17 16:15 jstarseven 阅读(20143) 评论(0) 推荐(3)
Hadoop（五）搭建Hadoop客户端与Java访问HDFS集群
摘要：阅读目录(Content) 一、Hadoop客户端配置 二、Java访问HDFS集群 2.1、HDFS的Java访问接口 2.2、Java访问HDFS主要编程步骤 2.3、使用FileSystem API读取数据文件 三、实战Java访问HDFS集群 3.1、环境介绍 3.2、查询HDFS集群文件系 阅读全文
posted @ 2017-10-17 16:12 jstarseven 阅读(862) 评论(0) 推荐(0)
Hadoop（四）HDFS集群详解
摘要：阅读目录(Content) 一、HDFS概述 1.1、HDFS概述 1.2、HDFS的概念和特性 1.3、HDFS的局限性 1.4、HDFS保证可靠性的措施 二、HDFS基本概念 2.1、HDFS主从结构体系 2.2、数据块（DataBlock） 2.3、名字节点（主节点：NameNode） 2.4 阅读全文
posted @ 2017-10-17 16:05 jstarseven 阅读(10213) 评论(0) 推荐(0)
Hadoop（三）搭建Hadoop全分布式集群
摘要：阅读目录(Content) 一、搭建Hadoop全分布式集群前提 1.1、网络 1.2、安装jdk 1.3、安装hadoop 二、Hadoop全分布式集群搭建的配置 2.1、hadoop-env.sh 2.2、core-site.xml 2.3、hdfs-site.xml 2.4.mapred-si 阅读全文
posted @ 2017-10-17 16:03 jstarseven 阅读(973) 评论(0) 推荐(0)
Hadoop（二）搭建伪分布式集群
摘要：阅读目录(Content) 一、Hadoop的三种运行模式（启动模式） 1.1、单机模式（独立模式）（Local或Standalone Mode） 1.2、伪分布式模式（Pseudo-Distrubuted Mode） 1.3、全分布式集群模式（Full-Distributed Mode） 二、搭建 阅读全文
posted @ 2017-10-17 16:01 jstarseven 阅读(1111) 评论(0) 推荐(0)
Hadoop（一）之初识大数据与Hadoop
摘要：阅读目录(Content) 一、引言（大数据时代） 1.1、从数据中得到信息 1.2、大数据表象概念 二、大数据基础 2.1、什么是大数据？ 2.2、大数据的基本特征 2.3、大数据的意义 2.4、大数据的系统架构（整体架构） 2.5、大数据处理平台 2.6、大数据中的几个概念 三、Hadoop概述 阅读全文
posted @ 2017-10-17 15:58 jstarseven 阅读(1142) 评论(0) 推荐(0)

上一页 1 2