摘要：
sbt编译spark程序提示value toDF is not a member of Seq() 前提 使用Scala编写的Spark程序，在sbt编译打包的时候提示value toDF is not a member of Seq()，出问题的代码如下： 其中STU是一个定义的case clas 阅读全文
摘要：
scp拷贝提示its a directory 错误 场景 使用scp的格式是 之前也一直这么用，没什么错误，莫名其妙 原因定位 去查了scp的用法，确认了不是用法的错误，然后去谷歌了，也没什么思路。 最后突然就想起来，我看一下路径吧，然后发现，路径改了！ 。。。 然后仔细回想了一下，跳板机改了……可 阅读全文
摘要：
spark提示Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Lscala.collection.immutable.Map; 起因 编写了 阅读全文
摘要：
Spark 保存文件 调整分隔符 废话 找了半天没找到，在某个 "地方" 看到了类似的（文中说的是读取的时候指定），试了一下保存，发现也好用，详细如下。 用法 参考 http://cherishlc.iteye.com/blog/2384865 阅读全文
摘要：
腾讯云提示invalid pos, pos is bigger than filesize! pos: 0, file_size: 0错误 起因 使用 命令提示下面错误，使用 可以看到其文件大小为0 后续 出于好奇，尝试在Hadoop上创建了空文件，再使用text去查看内容，不会出现同样的问题 阅读全文