2015年1月8日

抄袭，借鉴？

摘要： 前几天发生个很有意思的事情。就是在我的博客被各大不知名的所谓聚合网站收录后，某个比较畅销的技术书籍竟然也引用了我其中一篇博客。这个细节就不详细讲了。大概就是我讲了一件事情，角度还算是新颖，绝对是原创；然后其中有两个非常重要的地方漏掉了，那边博客是半年前写的，当时对于这块知识的确是掌握的不充分。然后... 阅读全文

posted @ 2015-01-08 08:15 wu2198 阅读(108) 评论(0) 推荐(0)

Spark技术内幕：Shuffle Pluggable框架详解，你怎么开发自己的Shuffle Service？

摘要： 首先介绍一下需要实现的接口。框架的类图如图所示（今天CSDN抽风，竟然上传不了图片。如果需要实现新的Shuffle机制，那么需要实现这些接口。1.1.1 org.apache.spark.shuffle.ShuffleManagerDriver和每个Executor都会持有一个ShuffleMa... 阅读全文

posted @ 2015-01-08 07:58 wu2198 阅读(224) 评论(0) 推荐(0)

导航