摘要: linux rpm常用形式http://blog.sina.com.cn/s/blog_535aa0930100bo3c.htmlmysql5.1.73-3.el6_5.x86_64 rpm依赖冲突:http://bbs.chinaunix.net/thread-4095937-1-1.htmlht... 阅读全文
posted @ 2014-09-02 09:30 wrencai 阅读(169) 评论(0) 推荐(0) 编辑
摘要: oracle数据库中Date类型倒入到hive中出现时分秒截断问题解决方案1.问题描述: 用sqoop将oracle数据表倒入到hive中,oracle中Date型数据会出现时分秒截断问题,只保留了‘yyyy-MM-dd',而不是’yyyy-MM-dd HH24:mi:ss'格式的,后面的‘HH2... 阅读全文
posted @ 2014-08-25 21:17 wrencai 阅读(10831) 评论(0) 推荐(2) 编辑
摘要: 1.下载spark源码,在spark源码目录下面有个make-distribution.sh文件,修改里面的参数,使编译后能支持hive,修改后执行该文件。(要预先安装好maven才能编译)。2.将编译好的spark源码部署到机器上,然后将hive/conf中的hive-site.xml拷贝到spa... 阅读全文
posted @ 2014-08-25 09:15 wrencai 阅读(4523) 评论(0) 推荐(0) 编辑
摘要: sqoop从oracle定时增量导入数据到hive感谢:http://blog.sina.com.cn/s/blog_3fe961ae01019a4l.htmlhttp://f.dataguru.cn/thread-94073-1-1.html sqoop.metastore.client.reco... 阅读全文
posted @ 2014-08-14 14:22 wrencai 阅读(2544) 评论(0) 推荐(1) 编辑
摘要: 在使用命令导数据过程中,出现如下错误sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.29.16:1521/testdb --username NAME --passord PASS --verbose -m 1 --tab... 阅读全文
posted @ 2014-08-12 21:28 wrencai 阅读(5506) 评论(0) 推荐(0) 编辑
摘要: 环境:redhat6.5 hadoop2.4.1感谢:http://wenku.baidu.com/view/a9083da8dd3383c4bb4cd274.html注释hbase检查感谢: http://xubo8118.blog.163.com/blog/static/185552332201... 阅读全文
posted @ 2014-08-11 16:09 wrencai 阅读(650) 评论(0) 推荐(1) 编辑
摘要: 感谢:http://www.myexception.cn/database/1600202.html官网配置指导:http://sqoop.apache.org/docs/1.99.3/Installation.html官网deam:http://sqoop.apache.org/docs/1.99... 阅读全文
posted @ 2014-08-09 20:39 wrencai 阅读(411) 评论(0) 推荐(0) 编辑
摘要: hive0.13.1在hadoop2.4.1伪分布式部署上安装过程环境:redhat enterprice 6.5 +hadoop2.4.1+hive0.13.1+mysql单节点伪分布式部署相关网址:hive官网安装指导:https://cwiki.apache.org/confluence/di... 阅读全文
posted @ 2014-08-09 20:31 wrencai 阅读(1278) 评论(0) 推荐(0) 编辑
摘要: 完全分布式部署:http://blog.csdn.net/licongcong_0224/article/details/12972889伪分布式部署:http://www.kankanews.com/ICkengine/archives/72851.shtml 阅读全文
posted @ 2014-08-08 15:31 wrencai 阅读(164) 评论(0) 推荐(0) 编辑
摘要: hadoop2.4.1伪分布模式部署(承接上一篇hadoop2.4.1-src的编译安装继续配置:http://www.cnblogs.com/wrencai/p/3897438.html) 感谢:http://blog.sina.com.cn/s/blog_5252f6ca0101kb3s.ht... 阅读全文
posted @ 2014-08-08 14:55 wrencai 阅读(790) 评论(0) 推荐(0) 编辑