代码改变世界

CentOS6.5安装RHive

2016-05-08 15:54  猎手家园  阅读(375)  评论(0编辑  收藏

1、安装RServe软件包(各个节点都要安装)

[root@Hadoop-NN-01 mysofts] # R CMD INSTALL Rserve_1.7-2.tar.gz

 

2、设置环境变量

[root@Hadoop-NN-01 ~]# vi /etc/profile
export R_HOME= /usr/local/lib64/R
export PATH=$PATH:$R_HOME/bin

[root@Hadoop-NN-01 ~]# source /etc/profile  #保存生效

 

3、创建Rserv.conf

$R_HOME的目录下创建Rserv.conf文件,写入``remote enable''保存并退出。

vi Rserv.conf
``remote enable''

 

4、拷贝文件

cp /root/mysofts/R-3.2.5/lib/* /usr/lib64/

 

5、所有节点启动Rserve

如果没有Rserve请先建立软链:

ln -s /usr/local/lib64/R/bin/Rserve /usr/bin/Rserve

启动:

Rserve --RS-conf /usr/local/lib64/R/Rserv.conf

验证:

telnet Hadoop-NN-01 6311    #显示 Rsrv0103QAP1 则表示连接成功
netstat -tunpl | grep 6311

 

6、RHive包的安装(各个节点都要安装,因此Hive也要各节点都要安装)

[root@Hadoop-NN-01 mysofts] # R CMD INSTALL RHive_2.0-0.2.tar.gz

创建目录

[root@Hadoop-NN-01 mysofts] # cd $R_HOME
[root@Hadoop-NN-01 mysofts] # mkdir -p rhive/data
[root@Hadoop-NN-01 mysofts] # chmod 777 -R rhive/data

配置环境变量

[root@Hadoop-NN-01 mysofts] # vi /etc/profile
export RHIVE_DATA=/usr/local/lib64/R/rhive/data

如果找不到hadoop命令,把下面加到~/.bashrc中

# hadoop cdh5
export HADOOP_HOME=/home/hadoopuser/hadoop-2.6.0-cdh5.6.0
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使用hadoopuser创建hdfs目录

hadoop fs -mkdir /rhive
hadoop fs -mkdir /rhive/lib
hadoop fs -ls /rhive/lib

把jar包拷贝到相应的目录

hadoop fs -put /usr/local/lib64/R/library/RHive/java/rhive_udf.jar /rhive/lib

 

7、启动

hive客户端启(master、各slave均可)动hive远程服务(rhive是通过thrift连接hiveserver的,需要要启动后台thrift服务):

nohup hive --service hiveserver2 &   #注意这里是hiveserver2

 

8、RHive测试

1)rhive-api

从HIVE中获得表信息的函数,比如:

    rhive.list.tables():获得表名列表,支持pattern参数(正则表达式),类似于HIVE的show table

    rhive.desc.table(TableName):表的描述,相当于HIVE中的desc table。

    rhive.exist.table(TableName):表是否存在

2)测试

> rhive.env()

3)简单应用

#R
>library(RHive)
>rhive.connect(host ='ip')
>d <- rhive.query('select * from emp limit 1000')
>class(d)
>m <- rhive.block.sample(data_sku, percent =0.0001, seed =0)
>rhive.close()

一般在系统中已经配置了host,因此可以直接rhive.connect()进行连接,记得最后要有rhive.close()操作。 通过HIVE查询语句,将HIVE中的目标数据加载至R环境下,返回的 d 是一个dataframe。

实际上,rhive.query的实际用途有很多,一般HIVE操作都可以使用,比如变更scheme等操作:

>rhive.query('use scheme1')
>rhive.query('show tables')
>rhive.query('drop table emp')

但需要注意的是,数据量较大的情况需要使用rhive.big.query,并设置memlimit参数。

将R中的对象通过构建表的方式存储到HIVE中需要使用:

    rhive.write.table(dat, tablename ='usertable', sep =',')

而后使用join等HIVE语句获得相关建模数据。其实写到这儿,有需求的看官就应该明白了,这几项 RHive 的功能就足够 折腾些有趣的事情了。

 

可能出现的问题:

Exception in thread "main" java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.206.128:10000/default: java.net.ConnectException: Connection refused: connect

解决方法:

1. 检查hive server2是否启动:

netstat -anp | grep 10000

2. 检查conf/hive-site.xml 下的配置是否正确:

    <configuration>
      <property>
       <name>hive.server2.thrift.port</name>
      <value>10000</value>
    </property>
    <property>
       <name>hive.server2.thrift.bind.host</name>
       <value>192.168.206.128</value>
     </property>
    </configuration>