随笔分类 -  hadoop

MapReduce单表关联
摘要：数据：找出孩子的爷爷奶奶姥姥老爷 child parentTom LucyTom JackJone LucyJone JackLucy MarryLucy JesseJack AliceJack JesseTerry AliceTerry JessePhilip TerryPhilip AlmaMa 阅读全文
posted @ 2018-11-08 18:12 式微胡不归 阅读(298) 评论(0) 推荐(0)
SequenceFile
摘要：产生一个SequenceFile文件 阅读全文
posted @ 2018-11-05 19:12 式微胡不归 阅读(455) 评论(0) 推荐(0)
WordCount
摘要：1. 一个mapper 2. 一个reducer 3. 一个Job 4. 打包 https://www.cnblogs.com/blog5277/p/5920560.html 5. 运行命令 yarn　jar Myhadoop.jar mapreduce.WordCount /user/out.tx 阅读全文
posted @ 2018-11-05 16:10 式微胡不归 阅读(107) 评论(0) 推荐(0)
文件相关API
摘要：package HDFS; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; import java.io.FileInputStream; import java.io.FileOutputStream; impor... 阅读全文
posted @ 2018-10-25 10:40 式微胡不归 阅读(222) 评论(0) 推荐(0)