hwloser

摘要： hadoop(离线数据分析处理) Spark 实时数据 1. 构建Hadoop集群 2. HDFS操作与编程 3. MapReduce程序设计及优化 4. MapReduce高级应用及 1. 方便 hadoop的优势： 2. 弹性 易扩展和卸载 3. 健壮 自动恢复和监测 4. 简单 编写并行分布式 阅读全文

摘要： HDFS架构 Block数据块： 1. 基本存储单位，一般为64M（配置大的快主要是因为： 1） 减少搜寻时间，一般硬盘传输速率比寻道时间快，大的块可以减少寻道时间； 2） 减少管理块的数据开销，每个块都需要在NameNode上有对应的记录 3） 对数据块进行读写，减少建立网络的连接成本 2. 一个 阅读全文