摘要: 问题描述 出现如下错误: Command "/Users/wang/.pyenv/versions/3.3.1/bin/python3.3 u c "import setuptools, tokenize;__file__='/private/tmp/pip build _9zwnm/pyzmq/s阅读全文
posted @ 2018-01-12 19:30 wswang 阅读(2) 评论(0) 编辑
摘要: sbt编译spark程序提示value toDF is not a member of Seq() 前提 使用Scala编写的Spark程序,在sbt编译打包的时候提示value toDF is not a member of Seq(),出问题的代码如下: 其中STU是一个定义的case clas阅读全文
posted @ 2017-11-28 12:08 wswang 阅读(28) 评论(0) 编辑
摘要: scp拷贝提示its a directory 错误 场景 使用scp的格式是 之前也一直这么用,没什么错误,莫名其妙 原因定位 去查了scp的用法,确认了不是用法的错误,然后去谷歌了,也没什么思路。 最后突然就想起来,我看一下路径吧,然后发现,路径改了! 。。。 然后仔细回想了一下,跳板机改了……可阅读全文
posted @ 2017-11-28 12:08 wswang 阅读(7) 评论(0) 编辑
摘要: spark提示Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Lscala.collection.immutable.Map; 起因 编写了阅读全文
posted @ 2017-11-28 12:07 wswang 阅读(136) 评论(0) 编辑
摘要: Spark 保存文件 调整分隔符 废话 找了半天没找到,在某个 "地方" 看到了类似的(文中说的是读取的时候指定),试了一下保存,发现也好用,详细如下。 用法 参考 http://cherishlc.iteye.com/blog/2384865阅读全文
posted @ 2017-11-28 12:06 wswang 阅读(50) 评论(0) 编辑
摘要: 腾讯云提示invalid pos, pos is bigger than filesize! pos: 0, file_size: 0错误 起因 使用 命令提示下面错误,使用 可以看到其文件大小为0 后续 出于好奇,尝试在Hadoop上创建了空文件,再使用text去查看内容,不会出现同样的问题阅读全文
posted @ 2017-11-28 12:06 wswang 阅读(5) 评论(0) 编辑
摘要: 远程mysql导入本地文件 登陆数据库 选择数据库 导入文件 转载自 http://blog.csdn.net/vinson0526/article/details/9063615阅读全文
posted @ 2017-10-23 17:59 wswang 阅读(55) 评论(0) 编辑
摘要: 使用BC库解密出现no such provider错误 错误提示如下: 解决方式 谷歌得到了一个 "解决方式" ,如下: 但是上面这种方式并不在某些情况下不适用,又找到了另外一个方式,在代码里用到的地方前添加如下代码:阅读全文
posted @ 2017-10-23 17:58 wswang 阅读(82) 评论(0) 编辑
摘要: 使用Python实现Map Reduce程序 起因 想处理一些较大的文件,单机运行效率太低,多线程也达不到要求,最终采用了集群的处理方式。 详细的讨论可以在 "v2ex" 上看一下。 步骤 MapReduce程序要分为两部分,即Map和Reduce部分,所以Python代码也是要分为两部分 程序运行阅读全文
posted @ 2017-10-23 17:57 wswang 阅读(58) 评论(0) 编辑
摘要: 使用PyHive操作Hive 废话 搜了一下,看到了StackOverFlow的 "回答" ,试了一下前两个方案,感觉第二个更简洁,这里记录一下,更详细的见参考。 安装依赖 操作 参考 https://github.com/dropbox/PyHive https://stackoverflow.c阅读全文
posted @ 2017-10-23 17:57 wswang 阅读(873) 评论(0) 编辑