2019年8月20日
Hbase排错
摘要： 1.执行MR任务报Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads():?subprocess failed with code 1可能是map 的结果中存在参数不一致的情况导致的 还有就是map.py 或是 red.py 阅读全文
posted @ 2019-08-20 19:34 带了1个小才艺 阅读(250) 评论(0) 推荐(0)
大数据 — Spark笔记2
摘要： Spark（笔记） RDD： RDD是什么？ 弹性 内存和磁盘之间同步数据 RDD可以变成另外一个RDD RDD内部存储数据类型丰富 存什么数据？ RDD不存数据，只存数据的分区信息和读取方法（HDFS，其他RDD） 依赖（向上依赖）： 顶部RDD 非顶部RDD：记录自己来源于谁 — lineage 阅读全文
posted @ 2019-08-20 00:18 带了1个小才艺 阅读(116) 评论(0) 推荐(0)