摘要：
全量导入： 增量导入：（根据时间促来导入，如果表中没有时间促属性，可以增加一列时间簇） 从HIVE中到出道mysql中 阅读全文
posted @ 2016-11-22 21:22
OnTheWay_duking
阅读(5363)
评论(0)
推荐(0)
摘要：
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。 Sqoop1安装配置比较简单 一、安装部署 （1）、下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz 解压到 阅读全文
posted @ 2016-11-21 16:01
OnTheWay_duking
阅读(4836)
评论(0)
推荐(0)
摘要：
一 下载sqoop 1.99.7 http://mirror.bit.edu.cn/apache/sqoop/1.99.7/ 二 解压安装文件 三 配置Sqoop 环境变量 最后把mysql的驱动jar文件复制到extera这个目录下。 四 配置Hadoop代理访问 因为sqoop访问Hadoop的 阅读全文
posted @ 2016-11-19 17:59
OnTheWay_duking
阅读(4109)
评论(0)
推荐(0)
摘要：
打开help-> install from catalog 输入pydev查找并安装pydev 根据提示进行安装，安装完后重启myeclipse 阅读全文
posted @ 2016-11-19 16:44
OnTheWay_duking
阅读(5847)
评论(0)
推荐(0)
摘要：
源文地址：http://jingyan.baidu.com/article/cdddd41c5c883353cb00e19e.html 在有些版本的eclips上并没有eclipse marketplace ,这让eclipse添加插件变得比较玛法,传统的办法都是通过自行下载插件或者用 help-> 阅读全文
posted @ 2016-11-19 15:33
OnTheWay_duking
阅读(4308)
评论(0)
推荐(0)
摘要：
hive的配置：hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置；hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚 阅读全文
posted @ 2016-11-18 15:45
OnTheWay_duking
阅读(5845)
评论(0)
推荐(0)
摘要：
原文：http://wingmzy.iteye.com/blog/1260570 hadoop中的map-reduce是处理<key,value>这样的键值对，故指定<key,value>的分割符等参数可以分成三类： map输出时分割符 分桶时的分隔符 reduce输出时的分割符 下面分别叙述： 1 阅读全文
posted @ 2016-11-18 11:40
OnTheWay_duking
阅读(3979)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2016-11-16 23:10
OnTheWay_duking
阅读(396)
评论(0)
推荐(0)
摘要：
创建表： hive>create table tablename(id int,name string,password string); 创建一个名字为tablename的表，表的属性有int id; string name; string password; 创建表时指定分隔符 hive> cr 阅读全文
posted @ 2016-11-16 22:03
OnTheWay_duking
阅读(5098)
评论(0)
推荐(0)
摘要：
前期工作 安装Hive 下载Hive安装包 可以从 Apache 其中一个镜像站点中下载最新稳定版的 Hive, apache-hive-2.1.0-bin.tar.gz。 解压安装Hive 使用以下命令安装 Hive: 设置 Hive环境变量 编辑 .bash_profile 文件, 在其中添加以 阅读全文
posted @ 2016-11-16 17:11
OnTheWay_duking
阅读(1053)
评论(0)
推荐(0)
浙公网安备 33010602011771号