2018年11月17日
用Mapreduce求共同好友
摘要： import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apac... 阅读全文
posted @ 2018-11-17 20:32 Z、某某 阅读(482) 评论(0) 推荐(0)
SparkSteaming中直连与receiver两种方式的区别
摘要： SparkStreaming的Receiver方式和直连方式有什么区别？ Receiver接收固定时间间隔的数据（放在内存中的），使用高级API，自动维护偏移量，达到固定的时间才去进行处理，效率低并且容易丢失数据，灵活性特别差，不好，而且它处理数据的时候，如果某一刻的数据量过大，那么就会造成磁盘溢写 阅读全文
posted @ 2018-11-17 20:12 Z、某某 阅读(1403) 评论(0) 推荐(0)
读json文件发生错误，所遇到的坑
摘要： 当我们生产者生产json 文件的时候 消费时用JSON读文件时，如下： Job aborted due to stage failure: Task 1 in stage 0.0 failed 1 times, most recent failure: Lost task 1.0 in stage  阅读全文
posted @ 2018-11-17 16:16 Z、某某 阅读(1586) 评论(0) 推荐(0)