摘要： Hadoop 发展历史 Apache Nutch 网页抓取互据，数据量达到瓶颈， Google 发表论文 Google FileSystem Apache 根据论文解决问题 Google 发表论文MapReduce Apache 根据论文，写了一套Mapreduce系统，应用到自己的项目 Apach 阅读全文

摘要： 离线计算 计算的速度比较慢 计算的数据量大 需要的技术Hadoop、HIve(离线分析，他的本质就是hadoop)、sqoop（协作框架） Hbase（数据库，非关系型数据库，分布式数据库）Flume(写作框架，收集日志数据) CM (图形化管理器，监控集群资源状态，部署集群。) 实时计算 计算的数 阅读全文

摘要： 数据块 每个磁盘都有默认数据块大小，这个数据块就是磁盘存取得最小得单位。 磁盘块得大小一般为512字节 数据块得大小小于512字节，他得空间也会被占用。 HDSF 数据块 HDFS也有数据块得大小，大小以前为64M，当前得大小为128M 。 如果该块没有存满，不会占用整个数据块得空间。 HDFS 块 阅读全文