摘要：
远程mysql导入本地文件 登陆数据库 选择数据库 导入文件 转载自 http://blog.csdn.net/vinson0526/article/details/9063615 阅读全文
posted @ 2017-10-23 17:59
wswang
阅读(2176)
评论(0)
推荐(0)
摘要：
使用BC库解密出现no such provider错误 错误提示如下： 解决方式 谷歌得到了一个 "解决方式" ，如下： 但是上面这种方式并不在某些情况下不适用，又找到了另外一个方式，在代码里用到的地方前添加如下代码： 阅读全文
posted @ 2017-10-23 17:58
wswang
阅读(11467)
评论(0)
推荐(0)
摘要：
使用Python实现Map Reduce程序 起因 想处理一些较大的文件，单机运行效率太低，多线程也达不到要求，最终采用了集群的处理方式。 详细的讨论可以在 "v2ex" 上看一下。 步骤 MapReduce程序要分为两部分，即Map和Reduce部分，所以Python代码也是要分为两部分 程序运行 阅读全文
posted @ 2017-10-23 17:57
wswang
阅读(1345)
评论(0)
推荐(0)
摘要：
使用PyHive操作Hive 废话 搜了一下，看到了StackOverFlow的 "回答" ，试了一下前两个方案，感觉第二个更简洁，这里记录一下，更详细的见参考。 安装依赖 操作 参考 https://github.com/dropbox/PyHive https://stackoverflow.c 阅读全文
posted @ 2017-10-23 17:57
wswang
阅读(19142)
评论(0)
推荐(0)
摘要：
安装Python2.7出现configure: error: no acceptable C compiler found in $PATH错误 安装步骤： 安装依赖 安装Python2.7 错误 由于没有gcc导致的，安装gcc即可解决： 参考 http://raulkang.blog.51cto 阅读全文
posted @ 2017-10-23 17:56
wswang
阅读(13209)
评论(0)
推荐(0)
摘要：
新买的主机，安装MySQL遇到了一系列问题，如下： 1 这是由于包名应该是 mysql server 2 这个就奇怪了，为毛正确了还不行呢？想了一下，新主机，应该是源的问题，随手 了一下，然后就好了，啧啧 3 安装MySQL的过程中提示有一个错误： 这让我感到很奇怪，因为已经让我输入MySQL的密码 阅读全文
posted @ 2017-10-23 17:56
wswang
阅读(404)
评论(0)
推荐(0)
摘要：
hive 当前用到的就这些，以后用到的再补充。 参考自 "官方文档" 大小写不敏感 创建/删除数据库 创建表（例子来源于 "官方文档" ） 根据已有表建新表（复制表结构） 注意： stored as 后面默认为textfile，此种类型不可对其进行分片（split your //file into 阅读全文
posted @ 2017-10-23 17:54
wswang
阅读(515)
评论(0)
推荐(0)
摘要：
参数 crontab是一个处理定时任务的命令，在终端输入man crontab可以得到使用方法提示，主要参数如下： crontab u 指定运行的账户，默认为当前账户 crontab l list当前任务 crontab r remove任务 crontab e 编辑任务 使用流程 crontab 阅读全文
posted @ 2017-10-23 17:54
wswang
阅读(228)
评论(0)
推荐(0)
摘要：
hive sequencefile导入文件遇到FAILED: SemanticException Unable to load data to destination table. Error: The file that you are trying to load does not match 阅读全文
posted @ 2017-10-23 17:53
wswang
阅读(12942)
评论(0)
推荐(0)
摘要：
hive查询遇到java.io.EOFException: Unexpected end of input stream错误 原因基本上有两个： 空文件 不完整的文件 解决办法： 删除对应文件… 参考 看 "这里" 阅读全文
posted @ 2017-10-23 17:52
wswang
阅读(5945)
评论(0)
推荐(1)
浙公网安备 33010602011771号