摘要：
这两天一直在写spark程序，遇到了一个奇怪的问题。 问题简单描述如下，有两个RDD，设为rdd_a,rdd_b,当将这两个rdd合并的时候，spark会在运行中卡死。 解决方式也是奇葩。 只要在合并这两个rdd之前，分别执行rdd_a.count(),rdd_b.count()，程序就又能够愉快的 阅读全文
posted @ 2016-03-10 23:15
ZHOU YANG
阅读(949)
评论(0)
推荐(0)
摘要：
因为微信公众号群发需要调用高级群发接口，其中涉及到python发起HTTP请求，现在将相关实现操作记录如下： 首先，HTTP请求分为GET和POST，如下所示： 首先是发起get 请求： # -*- coding: utf-8 -*- import httplib import urllib try 阅读全文
posted @ 2016-03-10 14:07
ZHOU YANG
阅读(1836)
评论(0)
推荐(0)
摘要：
将spark maven更新至1.6，运行原有程序，发现以下错误： java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use a larger heap si 阅读全文
posted @ 2016-03-10 00:37
ZHOU YANG
阅读(2434)
评论(0)
推荐(0)
浙公网安备 33010602011771号