Talend 将Oracle中数据导入到hive中,根据系统时间设置hive分区字段

首先,概览下任务图:

image

流程是,先用tHDFSDelete将hdfs上的文件删除掉，然后将oracle中的机构表中的数据导入到HDFS中；建立hive连接-》hive建表-》tJava获取系统时间-》tHiveLoad将hdfs上的文件导入到hive表中。

下面介绍每一个组件的设置：

tHDFSDelete_1:

image

机构：

image

tHDFSOutput_1:

image

hive:

image

tHiveCreateTable:

image

tJava_1:

image

tHiveLoad_1:

image

在Context下面建一个内容变量：

image

这个内容变量riqi, 在tJava_1中赋值，然后在tHiveLoad_1中被使用，这样插入的分区就是程序运行是的系统日期。

image

[hive@h1 root]$ hive

Logging initialized using configuration in file:/etc/hive/conf/hive-log4j.properties
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hdp/2.2.0.0-2041/hadoop/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/hdp/2.2.0.0-2041/hive/lib/hive-jdbc-0.14.0.2.2.0.0-2041-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
hive> use zhangchao;
OK
Time taken: 1.023 seconds

hive> show tables;
OK
jigou
Time taken: 0.255 seconds, Fetched: 1 row(s)
hive> select * from jigou limit 10;
OK
d64ceb0d-c85a-43ca-a705-c34f4258e938    002     成都高新区西园社区卫生服务中心  CDGXQXYSQW      1       09465203-3              程小川                  oracle.sql.OPAQUE@7cfa3f14      510109          13323434
821028cc-30cc-461b-a197-28d62abc92dc    002     成都高新区中和社区卫生服务中心  CDGXQZHSQW      1       45081237-2              贾朝勇  028-85658497    成都市高新区中和大道3段56号     oracle.sql.OPAQUE@11437a26                    13323434
0a49de29-5562-4951-abf3-829b0cff9692    004     成都高新区肖家河社区卫生服务中心        CDGXQXJHSQ      1                       岳晖    028-85178759    成都高新区肖家河巷8号   oracle.sql.OPAQUE@65085da4   13323434
fd6d1f13-e435-4461-8cdc-d2fe48158c8c    001     高新区合作社区卫生服务中心      GXQHZSQWSF      1       45085201-6              罗洪林  028-87876286    成都高新区合作清江小区清源环街171号     oracle.sql.OPAQUE@83bedce     510109          13323434
94ac1712-199f-4461-9761-5d5ed3410a7f    003     高新区芳草社区卫生服务中心      GXQFCSQWSF      1       003             管理员                  oracle.sql.OPAQUE@1679739b                      13323434
d64ceb0d-c85a-43ca-a705-c34f4258e938    002     成都高新区西园社区卫生服务中心  CDGXQXYSQW      1       09465203-3              程小川                  oracle.sql.OPAQUE@3116aa4b      510109          2015-06-29
821028cc-30cc-461b-a197-28d62abc92dc    002     成都高新区中和社区卫生服务中心  CDGXQZHSQW      1       45081237-2              贾朝勇  028-85658497    成都市高新区中和大道3段56号     oracle.sql.OPAQUE@47063b1a                    2015-06-29
0a49de29-5562-4951-abf3-829b0cff9692    004     成都高新区肖家河社区卫生服务中心        CDGXQXJHSQ      1                       岳晖    028-85178759    成都高新区肖家河巷8号   oracle.sql.OPAQUE@6a124c63   2015-06-29
fd6d1f13-e435-4461-8cdc-d2fe48158c8c    001     高新区合作社区卫生服务中心      GXQHZSQWSF      1       45085201-6              罗洪林  028-87876286    成都高新区合作清江小区清源环街171号     oracle.sql.OPAQUE@57552dfc    510109          2015-06-29
94ac1712-199f-4461-9761-5d5ed3410a7f    003     高新区芳草社区卫生服务中心      GXQFCSQWSF      1       003             管理员                  oracle.sql.OPAQUE@193e282f                      2015-06-29
Time taken: 0.807 seconds, Fetched: 10 row(s)
hive>

 

 

 

 

 
posted @ 2015-07-01 09:38  justinzhang  阅读(3804)  评论(1)  编辑  收藏  举报