ambari关于ranger的一个大坑----端口永远是3306，需要手动修改
摘要：ambari关于ranger的一个大坑 端口永远是3306 这个坑是我在搭建ambari环境的时候发现的，我并没有找到原因，求助同事，然后一步步循着蛛丝马迹和试探，终于解决了，然而也揭露了ambari的大坑！！！！ ambari安装ranger的时候需要连接数据库，我选择的是mysql数据库，这个时
阅读全文
posted @
2018-10-25 17:51
内心独白
阅读(3102)
推荐(1)
记ambari启用kerberos添加kafka组件后yarn和hive出现Failure unspecified at GSS-API level (Mechanism level: Checksum failed)--403错误
摘要：出现警告的过程是： 1、搭建ambari集群成功后，添加了hdfs和zk组件，然后启用了kerberos； 2、kerberos启用完毕后添加hbase和yarn、MapReduce、hive都没有出现警告 3、添加kafka之后，在ambari的kerberos处更新了票据，这时候发现hive和y
阅读全文
posted @
2018-10-25 17:40
内心独白
阅读(3643)
推荐(0)
kettle转换添加hbase-output无法获取hbase表
摘要：问题：kettle转换添加hbase-output无法获取hbase表 win本机安装kettle，本机虚拟机三台，root用户安装有jdk、zookeeper、hadoop、hbase kettle能添加并连接上hadoop，访问文件夹 但是添加hbase output时候，会报java.io.I
阅读全文
posted @
2018-08-06 15:56
内心独白
阅读(919)
推荐(0)
kettle部分传输场景应用（每个作业都实验过啦）
摘要：不过都是全量的，没有增量的，增量的需要自行写脚本实现 1、mysql-》mysql 2、ftp-》mysql（整个文件夹下面读取） 3、hdfs-》mysql 4、sftp-》mysql 5、mysql-》ftp 6、mysql-》hdfs 7、mysql-》sftp 8、ftp-》ftp 所有场景
阅读全文
posted @
2018-07-27 17:30
内心独白
阅读(301)
推荐(0)
logstash的各个场景应用（配置文件均已实践过）
摘要：场景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstash-> elasticsearch->kibana 3） datasource->filebeat->logstash->redis/
阅读全文
posted @
2018-07-27 16:35
内心独白
阅读(27187)
推荐(3)
kettle添加hadoop cluster时报错Caused by: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: hadoop:password@node56:9000
摘要：完整报错是： Caused by: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: hadoop:password@node56:9000 解决方案： 我在添加hadoop clust
阅读全文
posted @
2018-07-27 16:17
内心独白
阅读(556)
推荐(0)
zookeeper3.4.5集群安装
摘要：机器配置： 机器 Hostname user 192.168.169.139 node139 hadoop 192.168.169.140 node140 hadoop 192.168.169.141 node141 hadoop root用户先新建用户hadoop useradd hadoop p
阅读全文
posted @
2018-03-21 17:31
内心独白
阅读(1750)
推荐(0)
浙公网安备 33010602011771号