随笔分类 -  022-Hadoop

大数据技术连载-03-2-大数据的存储-Hadoop的HDFS的读写-JavaApi
摘要：读数据 import java.io.BufferedReader; import java.io.InputStreamReader; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSyst 阅读全文
posted @ 2021-02-26 19:27 从程序员到CTO 阅读(36) 评论(0) 推荐(0)
大数据技术连载-03-1-大数据的存储-分布式文件系统Hadoop的HDFS的原理
摘要：03-HDFS-01-模块结构 hadoop的存储方式，有点像scci硬盘，坏一个节点无所谓。随时插拔增减。 1.0 版本里，计算和资源调度在一个模块里。 2.0版本里： 资源调度YARN，独立成一个模块。MapReduce是YARN支持的第一个计算框架，是批处理硬盘计算框架。除此之外，还支持批处理 阅读全文
posted @ 2021-02-25 20:12 从程序员到CTO 阅读(37) 评论(0) 推荐(0)
大数据技术连载-02-Hadoop的历史，架构，版本，生态，安装
摘要：02-Hadoop-01-简介 Java开发 1. 历史 hadoop从nutch而来，nutch又是从lucene而来。 lucene >nutch搜索引擎 >hadoop文本搜索库 2002年，nutch无法存储海量网页 2003.google.gfs论文 >2004.nutch.ndfs >h 阅读全文
posted @ 2021-02-15 11:51 从程序员到CTO 阅读(96) 评论(0) 推荐(0)

交流加我QQ：39667545