2018年4月11日
分布式爬取亿级微博架构和实现
摘要： 稍后更新。。 阅读全文
posted @ 2018-04-11 18:07 thinker1017 阅读(184) 评论(0) 推荐(0)
spark源码编译
摘要： spark编译的坑并不多，最早编译时spark1.2的版本是2015年的事情了，现在spark迭代更新到2.3版本了，架构和功能变化可谓很多。于是今天重新编译下源码，记录下编译的过程。 本次编译过程是在win10版本，jdk版本为1.8，scala版本为2.11，maven版本为3.2. 1、首先g 阅读全文
posted @ 2018-04-11 17:36 thinker1017 阅读(294) 评论(0) 推荐(0)