随笔分类 - 006-分布式文件系统dfs

大数据技术连载-03-2-大数据的存储-Hadoop的HDFS的读写-JavaApi

摘要：读数据 import java.io.BufferedReader; import java.io.InputStreamReader; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSyst 阅读全文

posted @ 2021-02-26 19:27 从程序员到CTO 阅读(35) 评论(0) 推荐(0)

大数据技术连载-03-1-大数据的存储-分布式文件系统Hadoop的HDFS的原理

摘要：03-HDFS-01-模块结构 hadoop的存储方式，有点像scci硬盘，坏一个节点无所谓。随时插拔增减。 1.0 版本里，计算和资源调度在一个模块里。 2.0版本里：资源调度YARN，独立成一个模块。MapReduce是YARN支持的第一个计算框架，是批处理硬盘计算框架。除此之外，还支持批处理阅读全文

posted @ 2021-02-25 20:12 从程序员到CTO 阅读(30) 评论(0) 推荐(0)

随笔分类 - 006-分布式文件系统dfs

公告