随笔分类 -  hadoop

hue搭建以及报错记录
摘要：搭建： 1.拉取镜像docker pull gethue/hue:latest 2.启动服务，挂载数据docker run -itd --name hue -p 8888:8888 gethue/hue:latest 3.hue.ini文件定位find / -name 'hue.ini' 4.访问： 阅读全文
posted @ 2021-07-22 19:22 天宇星空 阅读(310) 评论(0) 推荐(0)
presto找不到jdk环境
摘要：背景：1、本地有jdk环境2、hadoop使用本地的jdk没问题 问题：presto启动时候报错如下： 原因：1、可能是jdk跟presto版本不兼容，导致了本地jdk环境未生效2、可能是presto自身变量配置没生效解决方法：在presto的启动文件bin/launcher中配置jdk环境变量，然 阅读全文
posted @ 2021-07-03 10:50 天宇星空 阅读(231) 评论(0) 推荐(0)
hadoop初始化namenode报错22端口找不到
摘要：由于将服务器的登陆端口修改，导致hadoop初始化namenode报错22端口找不到解决方法：vim etc/hadoop/hadoop-env.sh##添加下面变量 export HADOOP_SSH_OPTS="-p 16666" 阅读全文
posted @ 2021-07-02 11:30 天宇星空 阅读(201) 评论(0) 推荐(0)
kettle连接hive2报错TCLIService$Iface
摘要：kettle连接hive源报错： 错误连接数据库 [hive_hdp] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Er 阅读全文
posted @ 2021-05-14 14:26 天宇星空 阅读(2073) 评论(0) 推荐(0)
数仓项目
摘要：背景：客户行为数据越积越多，公司有着挖掘客户大数据分析的需求 方案： 通过大数据仓库离线分析+presto引擎工具实现 用到的组件：hadoop2.7.4 、 hive-1.2.1(不要用2.X版本，坑很多) 、 sqoop-1.4.6 、 presto-server 、metabase(prest 阅读全文
posted @ 2021-02-19 10:55 天宇星空 阅读(192) 评论(0) 推荐(0)
ls: Call From hdoop2/192.168.18.87 to hdoop2:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see
摘要：场景： 预发环境中，同事已经搭建了一套hadoop集群，由于版本与所需不符，所以需要替换版本 问题描述： 在配置文件都准确的情况下，启动hadoop,出现以下报错： 启动之前初始化： 初始化目录跟配置文件目录不一致 hdfs namenode -format [root@hdoop2 hadoop- 阅读全文
posted @ 2018-11-30 14:10 天宇星空 阅读(5250) 评论(0) 推荐(0)
hive中文字符乱码 解决方法【转】
摘要：一.个人初始开发环境的基本情况以及Hive元数据库说明 ①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置) ②hive-site.xml中设置元数据库对应的配置为 jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfN 阅读全文
posted @ 2018-11-27 13:24 天宇星空 阅读(6802) 评论(0) 推荐(0)
sqoop mysql--->hive 报错 （ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf）
摘要：ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf sqoop从mysql导入到hive报错 阅读全文
posted @ 2018-11-22 09:04 天宇星空 阅读(1566) 评论(0) 推荐(0)
hive安装报错
摘要：当我们输入./schematool -initSchema -dbType mysql的时候，会出现以下错误 Metastore connection URL: jdbc:mysql://192.168.*./hive?createDatabaseIfNotExist=true Metastore 阅读全文
posted @ 2018-11-14 16:53 天宇星空 阅读(854) 评论(0) 推荐(0)
NodeManager 启动一会儿挂掉
摘要：[root@hadoop1 hadoop-2.8.5]# less logs/yarn-root-nodemanager-hadoop1.log 查看日志发现 hostname配置错误 [root@hadoop1 hadoop-2.8.5]# vim etc/hadoop/yarn-site.xml 阅读全文
posted @ 2018-11-12 10:15 天宇星空 阅读(1759) 评论(0) 推荐(0)