转-Hive/Phoenix + Druid + JdbcTemplate 在 Spring Boot 下的整合

 

Hive/Phoenix + Druid + JdbcTemplate 在 Spring Boot 下的整合

http://blog.csdn.net/balabalayi/article/details/67631726
原创 2017年03月28日 09:10:05

一.POM依赖

 

作者的hadoop集群环境为：

HDFS,YARN,MapReduce2 : 2.7.3
Hive : 1.2.1000
HBase : 1.1.2

注：phoenix版本依赖性较强，请注意不同发行版之间的差异（直接从集群服务器上获取jar包最为可靠）

[html] view plain copy
 
  1. <properties>  
  2.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>  
  3.     <spring-data-hadoop.version>2.4.0.RELEASE</spring-data-hadoop.version>  
  4.     <hive.version>1.2.1</hive.version>  
  5.         <phoenix-client.version>4.7</phoenix-client.version>  
  6.        <druid.version>1.0.27</druid.version>  
  7. </properties>  
  8.   
  9. <dependencies>  
  10.     <dependency>  
  11.         <groupId>org.springframework.boot</groupId>  
  12.         <artifactId>spring-boot-starter-jdbc</artifactId>  
  13.     </dependency>  
  14.     <dependency>  
  15.         <groupId>org.springframework.data</groupId>  
  16.         <artifactId>spring-data-hadoop</artifactId>  
  17.         <version>${spring-data-hadoop.version}</version>  
  18.     </dependency>  
  19.     <dependency>  
  20.         <groupId>org.apache.hive</groupId>  
  21.         <artifactId>hive-jdbc</artifactId>  
  22.         <version>${hive.version}</version>  
  23.     </dependency>  
  24.         <dependency>  
  25.           <groupId>org.apache.phoenix</groupId>  
  26.           <artifactId>phoenix-client</artifactId>  
  27.           <version>${phoenix-client.version}</version>  
  28.      </dependency>  
  29.        <dependency>  
  30.         <groupId>com.alibaba</groupId>  
  31.         <artifactId>druid</artifactId>  
  32.         <version>${druid.version}</version>  
  33.     </dependency>  
  34. </dependencies>  



二.spring boot 配置文件

 

因为spring boot 是默认且推荐采用yaml和properties配置文件的方式。因此，作者在这里采用yaml方式为例：

application.yml:

 

[html] view plain copy
 
  1. # hive 数据源自定义配置  
  2. hive:  
  3.   url: jdbc:hive2://192.168.61.43:10000/default  
  4.   type: com.alibaba.druid.pool.DruidDataSource  
  5.   driver-class-name: org.apache.hive.jdbc.HiveDriver  
  6.   username: hive  
  7.   password: hive  
  8.   
  9. # phoenix 数据源自定义配置  
  10. phoenix:  
  11.   enable: true  
  12.   url: jdbc:phoenix:192.168.61.43  
  13.   type: com.alibaba.druid.pool.DruidDataSource  
  14.   driver-class-name: org.apache.phoenix.jdbc.PhoenixDriver  
  15.   username:   
  16.   password:   
  17.   default-auto-commit: true  

当然，druid还有很多其它可选配置，请读者自行斟酌：

 

 

[html] view plain copy
 
  1. max-active: 100  
  2. initialSize: 1  
  3. maxWait: 60000  
  4. minIdle: 1  
  5. timeBetweenEvictionRunsMillis: 60000  
  6. minEvictableIdleTimeMillis: 300000  
  7. testWhileIdle: true  
  8. testOnBorrow: false  
  9. testOnReturn: false  
  10. poolPreparedStatements: true  
  11. maxOpenPreparedStatements: 50  

 

 

三.spring boot 配置Bean实现

 

 

因为上述配置信息为自定义的信息，spring boot 的 auto configuration 并不能完全理解编码者的意图，因此我们要手动创造数据源Bean：

Hive:

 

[html] view plain copy
 
  1. /**  
  2.  * hive数据源配置  
  3.  * @author chenty  
  4.  *  
  5.  */  
  6. @Configuration  
  7. public class HiveDataSource {  
  8.       
  9.     @Autowired  
  10.     private Environment env;  
  11.   
  12.     @Bean(name = "hiveJdbcDataSource")  
  13.     @Qualifier("hiveJdbcDataSource")  
  14.     public DataSource dataSource() {  
  15.         DruidDataSource dataSource = new DruidDataSource();  
  16.         dataSource.setUrl(env.getProperty("hive.url"));  
  17.         dataSource.setDriverClassName(env.getProperty("hive.driver-class-name"));  
  18.         dataSource.setUsername(env.getProperty("hive.username"));  
  19.         dataSource.setPassword(env.getProperty("hive.password"));  
  20.         return dataSource;  
  21.     }  
  22.       
  23.     @Bean(name = "hiveJdbcTemplate")  
  24.     public JdbcTemplate hiveJdbcTemplate(@Qualifier("hiveJdbcDataSource") DataSource dataSource) {  
  25.         return new JdbcTemplate(dataSource);  
  26.     }  
  27.   
  28. }  

Phoenix:

 

 

[html] view plain copy
 
  1. /**  
  2.  * phoenix数据源配置  
  3.  * @author chenty  
  4.  *  
  5.  */  
  6. @Configuration  
  7. public class PhoenixDataSource {  
  8.       
  9.     @Autowired  
  10.     private Environment env;  
  11.   
  12.     @Bean(name = "phoenixJdbcDataSource")  
  13.     @Qualifier("phoenixJdbcDataSource")  
  14.     public DataSource dataSource() {  
  15.         DruidDataSource dataSource = new DruidDataSource();  
  16.         dataSource.setUrl(env.getProperty("phoenix.url"));  
  17.         dataSource.setDriverClassName(env.getProperty("phoenix.driver-class-name"));  
  18.         dataSource.setUsername(env.getProperty("phoenix.username"));//phoenix的用户名默认为空  
  19.         dataSource.setPassword(env.getProperty("phoenix.password"));//phoenix的密码默认为空  
  20.         dataSource.setDefaultAutoCommit(Boolean.valueOf(env.getProperty("phoenix.default-auto-commit")));  
  21.         return dataSource;  
  22.     }  
  23.          
  24.         @Bean(name = "phoenixJdbcTemplate")  
  25.      public JdbcTemplate phoenixJdbcTemplate(@Qualifier("phoenixJdbcDataSource") DataSource dataSource) {  
  26.           return new JdbcTemplate(dataSource);  
  27.      }  
  28. }  

 

 

 

四.数据源测试

 

 

接下来我们只需在测试类中，注入 hive/phoenix 的 JdbcTemplate，即可实现 hive/phoenix 的数据交互：

Hive:

 

[html] view plain copy
 
  1. @RunWith(SpringJUnit4ClassRunner.class)  
  2. @SpringApplicationConfiguration(HiveServiceApplication.class)  
  3. public class MainTest {  
  4.       
  5.     @Autowired  
  6.     @Qualifier("hiveJdbcTemplate")  
  7.     JdbcTemplate hiveJdbcTemplate;  
  8.       
  9.     @Test    
  10.     public void DataSourceTest() {   
  11.           
  12.         // create table  
  13.         StringBuffer sql = new StringBuffer("create table IF NOT EXISTS ");  
  14.         sql.append("HIVE_TEST1 ");  
  15.         sql.append("(KEY INT, VALUE STRING) ");  
  16.         sql.append("PARTITIONED BY (S_TIME DATE)"); // 分区存储  
  17.         sql.append("ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' "); // 定义分隔符  
  18.         sql.append("STORED AS TEXTFILE"); // 作为文本存储  
  19.           
  20.         // drop table  
  21. //      StringBuffer sql = new StringBuffer("DROP TABLE IF EXISTS ");  
  22. //      sql.append("HIVE_TEST1");  
  23.           
  24.           
  25.         hiveJdbcTemplate.execute(sql.toString());  
  26.     }   
  27.   
  28. }  

 

Phoenix:

 

[html] view plain copy
 
  1. @RunWith(SpringJUnit4ClassRunner.class)  
  2. @SpringApplicationConfiguration(HBaseServiceApplication.class)  
  3. public class MainTest {  
  4.       
  5.     @Autowired  
  6.         @Qualifier("phoenixJdbcTemplate")  
  7.        JdbcTemplate phoenixJdbcTemplate;  
  8.       
  9.     @Test    
  10.     public void DataSourceTest() {        
  11.         //phoenix  
  12.         phoenixJdbcTemplate.execute("create table IF NOT EXISTS PHOENIX_TEST2 (ID INTEGER not null primary key, Name varchar(20),Age INTEGER)");  
  13.     }   
  14.   
  15. }  


 


五.传统方式

 

虽然 spring boot 本身是不推荐传统的xml配置的，但是实际生产过程中因各种客观因素，导致有时我们不得不引入传统的xml形式的配置文件。因此针对 hive/phoenix 如果用xml配置文件，并且在spring boot 下如何实现再做下简单的介绍:

application.xml:

 

[html] view plain copy
 
  1. <!-- 配置HiveTemplate -->  
  2. <bean id="hiveTemplate" class="org.springframework.jdbc.core.JdbcTemplate">  
  3.     <constructor-arg ref="hiveDataSource"/>  
  4.     <qualifier value="hiveTemplate"/>  
  5. </bean>  
  6. <bean id="hiveDataSource" class="com.alibaba.druid.pool.DruidDataSource">  
  7.     <property name="driverClassName" value="org.apache.hive.jdbc.HiveDriver"/>  
  8.     <property name="url" value="jdbc:hive2://172.20.36.212:10000/default"/>  
  9.     <property name="username" value="hive"/>  
  10.     <property name="password" value="hive"/>  
  11.     <!-- 初始化连接大小 -->    
  12.     <property name="initialSize" value="0" />    
  13.     <!-- 连接池最大使用连接数量 -->    
  14.     <property name="maxActive" value="1500" />    
  15.     <!-- 连接池最小空闲 -->    
  16.     <property name="minIdle" value="0" />    
  17.     <!-- 获取连接最大等待时间 -->    
  18.     <property name="maxWait" value="60000" />  
  19. </bean>  
  20.   
  21. <!-- 配置PhoenixTemplate -->  
  22. <bean id="phoenixTemplate" class="org.springframework.jdbc.core.JdbcTemplate">  
  23.     <constructor-arg ref="phoenixDataSource"/>  
  24.     <qualifier value="phoenixJdbcTemplate"/>  
  25. </bean>  
  26. <bean id="phoenixDataSource" class="com.alibaba.druid.pool.DruidDataSource">  
  27.     <property name="driverClassName" value="org.apache.phoenix.jdbc.PhoenixDriver"/>  
  28.     <property name="url" value="jdbc:phoenix:172.20.36.212"/>    
  29.     <!-- 初始化连接大小 -->    
  30.     <property name="initialSize" value="0" />    
  31.     <!-- 连接池最大使用连接数量 -->    
  32.     <property name="maxActive" value="1500" />    
  33.     <!-- 连接池最小空闲 -->    
  34.     <property name="minIdle" value="0" />    
  35.     <!-- 获取连接最大等待时间 -->    
  36.     <property name="maxWait" value="60000" />  
  37.     <!--因为Phoenix进行数据更改时不会自动的commit,必须要添加defaultAutoCommit属性,否则会导致数据无法提交的情况-->    
  38.     <property name="defaultAutoCommit" value="true"/>  
  39. </bean>  

 

实现测试:

 

有了xml配置，我们只需在上述第四步骤测试类的类定义上加入如下注解，即可实现xml配置文件信息的加载：

 

[html] view plain copy
 
  1. @ImportResource({"classpath:application.xml","..."})  

注意：配置文件中bean的名字要与注入注解的名字一致

 

 

posted on 2017-11-15 10:35  anruy  阅读(2900)  评论(1)  编辑  收藏  举报

导航