随笔分类 -  Big Data

3分布式文件系统HDFS
摘要：3.1分布式文件系统 3.1.1计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群，都由普通硬件构成的，这就大大降低了硬件上的开销 3.1.2分布式文 阅读全文
posted @ 2017-06-30 16:46 gisercode 阅读(4078) 评论(0) 推荐(1)
2大数据处理架构Hadoop
摘要：2.1概述 2.1.1Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构 Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中 Hadoop的核心是分布式文件系统HDFS（Hadoo 阅读全文
posted @ 2017-04-20 14:23 gisercode 阅读(2016) 评论(0) 推荐(0)
1大数据概述
摘要：1.1大数据时代 1.1.1第三次信息化浪潮 第三次信息化浪潮 2010年前后 大数据+云计算+物联网 信息爆炸 第二次信息化浪潮 1995年前后 互联网 信息传输 第一次信息化浪潮 1980年前后 个人计算机 信息处理 1.1.2信息科技为大数据时代提供技术支撑 1.存储设备容量不断增加 1PB= 阅读全文
posted @ 2017-04-19 17:29 gisercode 阅读(675) 评论(0) 推荐(0)