摘要：
groupBy 和SQL中groupby一样，只是后面必须结合聚合函数使用才可以。 例如： groupByKey 对Key Value形式的RDD的操作。 例如(取自 "link" )： reduceByKey 与groupByKey功能一样，只是实现不一样。本函数会先在每个分区聚合然后再进行总的统 阅读全文
posted @ 2018-01-26 17:52
wswang
阅读(3162)
评论(0)
推荐(0)
摘要：
forall 对集合中的元素进行某个判断，全部为true则返回true，反之返回false。 例如： exists 对集合中的元素进行某个判断，其中之一符合条件则返回true，反之返回false。和forall是一个对应的关系，相当于 and 和 or。 例如： foreach 对集合中元素进行某种 阅读全文
posted @ 2018-01-25 17:26
wswang
阅读(3260)
评论(0)
推荐(1)
摘要：
问题描述 1. 开始使用 去解码，部分数据也提示如题的错误 2. 然后尝试使用 ，会提示 不属于 原因 1. 原因应该是编码后的URL长度不符合要求（要求长度是4的倍数），导致的这个问题 解决 1. 开始看到了 "这个" ，还以为这个bug没解决呢，后来想想不可能，这么容易改的，早应该有人改掉了，继 阅读全文
posted @ 2018-01-25 16:52
wswang
阅读(20301)
评论(0)
推荐(0)
摘要：
sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类 详述 1. 使用sbt对写的Spark程序打包，过程中没有问题 2. spark submit提交jar包运行提示找不到对应的类 解决 1. 编译环境没有变化，将代码拷贝到其他项目下打包可以运行，无解 2. 偶然发现ID 阅读全文
posted @ 2018-01-22 17:50
wswang
阅读(4724)
评论(0)
推荐(0)
摘要：
问题描述 出现如下错误： Command "/Users/wang/.pyenv/versions/3.3.1/bin/python3.3 u c "import setuptools, tokenize;__file__='/private/tmp/pip build _9zwnm/pyzmq/s 阅读全文
posted @ 2018-01-12 19:30
wswang
阅读(983)
评论(0)
推荐(0)
摘要：
sbt编译spark程序提示value toDF is not a member of Seq() 前提 使用Scala编写的Spark程序，在sbt编译打包的时候提示value toDF is not a member of Seq()，出问题的代码如下： 其中STU是一个定义的case clas 阅读全文
posted @ 2017-11-28 12:08
wswang
阅读(2579)
评论(0)
推荐(0)
摘要：
scp拷贝提示its a directory 错误 场景 使用scp的格式是 之前也一直这么用，没什么错误，莫名其妙 原因定位 去查了scp的用法，确认了不是用法的错误，然后去谷歌了，也没什么思路。 最后突然就想起来，我看一下路径吧，然后发现，路径改了！ 。。。 然后仔细回想了一下，跳板机改了……可 阅读全文
posted @ 2017-11-28 12:08
wswang
阅读(2842)
评论(0)
推荐(0)
摘要：
spark提示Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Lscala.collection.immutable.Map; 起因 编写了 阅读全文
posted @ 2017-11-28 12:07
wswang
阅读(11876)
评论(0)
推荐(0)
摘要：
Spark 保存文件 调整分隔符 废话 找了半天没找到，在某个 "地方" 看到了类似的（文中说的是读取的时候指定），试了一下保存，发现也好用，详细如下。 用法 参考 http://cherishlc.iteye.com/blog/2384865 阅读全文
posted @ 2017-11-28 12:06
wswang
阅读(3825)
评论(0)
推荐(0)
摘要：
腾讯云提示invalid pos, pos is bigger than filesize! pos: 0, file_size: 0错误 起因 使用 命令提示下面错误，使用 可以看到其文件大小为0 后续 出于好奇，尝试在Hadoop上创建了空文件，再使用text去查看内容，不会出现同样的问题 阅读全文
posted @ 2017-11-28 12:06
wswang
阅读(346)
评论(0)
推荐(0)
浙公网安备 33010602011771号