windows平台kettle连接hbase的问题

我本机安装的环境是centos7,并在本机上安装了zookeeper,hadoop,hbase,hive等组件,

使用pdi7.1来连接hbase,把mysql表中的数据导出到hbase中去,没有问题。

因为其他同事使用的是windows环境,在连接cdh vm的环境时,hbase一直连接可以,而执行有问题。

而在使用自己在虚机中安装的hadoop环境时,hbase连接经常报找不到主机异常或连接拒绝等问题。

这类问题,基本都是hadoop core-site.xml中hdfs端口监听的IP配置问题,和hbase hbase-site.xml中的配置有关,

还有/etc/hosts的配置有关。

现贴上我本机的相关配置文件,

core-site.xml

<configuration>
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>



<property>
  <name>hadoop.proxyuser.student.groups</name>
  <value>*</value>
</property>

<property>
  <name>hadoop.proxyuser.student.hosts</name>
  <value>*</value>
</property>

<property>
  <name>hadoop.proxyuser.hive.groups</name>
  <value>*</value>
</property>

<property>
  <name>hadoop.proxyuser.hive.hosts</name>
  <value>*</value>
</property>


</configuration>

hbase hbase-site.xml

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://student:9000/user/hbase</value>
</property>

<property>
<name>hbase.cluster.distributed </name>
<value>true</value>
</property>

  <property>
    <name>hbase.regionserver.ipc.address</name>
    <value>0.0.0.0</value>
  </property>

  <property>
    <name>hbase.master.ipc.address</name>
    <value>0.0.0.0</value>
  </property>

  <property>
    <name>hbase.thrift.info.bindAddress</name>
    <value>0.0.0.0</value>
  </property>

<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2182</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>student</value>
</property>

</configuration>

 如果还报找不到主机异常,kettle java.net.UnknownHostException: C

你选择的hbase-site.xm文件位于C盘,请修改为如下的方式,在前面添加文件协议:file:///

file:///C:\Users\Administrator\Desktop\hbase-site.xml

posted on 2018-09-26 09:08  tneduts  阅读(1942)  评论(0编辑  收藏

导航