摘要：
读取： 原理： 在Hadoop里面有一个最初的抽象基类叫FileSystem，可以去继承这个FileSystem抽象基类去实现很多具体的子类。例如去继承FileSystem实现HTTP方式访问相关文件、实现FTP方式进行读写文件，以及继承FileSystem实现DistributedFileSyst 阅读全文
摘要：
通信方式: 注：其实整个HDFS就是一个库，它向外界暴露HDFS文件系统的接口，让用户使用，但是隐藏了其背后实现功能的复杂性。 所有操作除了可以通过api来代码操作实现还可以通过shell命令实现。 (1)客户端与名称节点之间的连接:使用客户端的协议(比如TCP/IP); (2)整个集群中名称节点与 阅读全文
摘要：
一、HDFS的局限性： 1.不支持实时处理的任务需求。但Hbase满足实时处理需求。 2.无法高效存储大量的小文件，因为是以索引结构保存到内存当中去。 3.不支持多用户写入以及任意修改文件、只允许追加不允许修改。 二、HDFS的相关概念 1.块: 块存储，就是把一个物体分成很多块的意思。 2.采用块 阅读全文
摘要：
1、Hadoop的两大核心：HDFS(对底层硬件的需求)与MapReduce(对底层硬件的需求) 2、整个Hadoop集群的主要节点类别：【属于HDFS】 NameNode（名称节点、类似目录服务器,） 和 DataNode(数据节点、存取数据)【访问规则是：先访问NameNode获得具体的数据存储 阅读全文
摘要：
Hadoop的安装详情查看本博客本专栏内其它文章 一、三种安装模式的运行原理: 1.单机模式：Hadoop默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式，即java单进程，方便进行调试。 2.伪分布式模式： Hadoop在单节点上以伪分布式的方式运行，Hadoop进程以分离的 阅读全文
摘要：
一、Hadoop应用现状: 1.数据来源：数据源 2.大数据层：((1)(2)(3)的最底层：基于HDFS分布式文件存储) （1）进行高性分析：Hive、Pig、MR (2)进行实时查询 ：Soir、Redis、Hbase （3）BI分析Mahout 3.访问层：数据分析 数据实时查询 数据挖掘 二 阅读全文
摘要：
一、大数据技术支撑：1.存储 2.计算 3.网络 二、数据收集方式的改变： 1.第一阶段：运营式系统阶段 2.第二阶段:用户原则内容阶段 3.第三阶段:感知式系统阶段 三、典型计算模型: 1.批处理:针对大规模地批量处理:MapReduce、Spark 2.流计算：源源不断地到达系统、S4、Stor 阅读全文
摘要：
环境介绍:Centos7 + jdk1.8.0_211 一、首先、 安装JDK1.8.0，详情请移步 Centos7下安装配置JDK 关闭防火墙(建议关闭、当然也可以自己开放端口) Centos7下防火墙的操作 创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作) 可 阅读全文
摘要：
环境介绍:Centos7 + jdk1.8.0_211 一、首先、 安装JDK1.8.0，详情请移步 Centos7下安装配置JDK 关闭防火墙(建议关闭、当然也可以自己开放端口) Centos7下防火墙的操作 创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作) 可 阅读全文
摘要：
环境介绍:Centos7 + jdk1.8.0_211 首先、安装JDK1.8.0，详情请移步 Centos7下安装配置JDK 创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作) 可以创建一个linux用户叫hadoop作为Hadoop的工作者，因为root下是很危 阅读全文
摘要：
由于最近搭建环境发生端口冲突，所以总结此篇、希望有什么不足和不对的、请大家指出、我尽快改正、一起进步。 系统:centos7 查看防火墙状态。得到结果是running或者not running firewall-cmd --state 在running 状态下，向firewall 添加需要开放的端口 阅读全文