夏天换上冬装

2022年11月

Windows系统下运行hadoop、spark程序出错Could not locate executable null\bin\winutils.exe in the Hadoop binaries

摘要：在Windows系统下调试Hadoop读写，对linux虚拟机进行相应的操作，运行时报错Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate execu 阅读全文

posted @ 2022-11-22 11:23 夏天换上冬装阅读(356) 评论(0) 推荐(0)

2022年7月

HDFS配置HA下spark-sql写入hive报错Wrong FS

摘要：背景: CDH集群的HDFS HA已配置完毕，Hive也相应进行了Update Hive Metastore NameNode，Hive的业务sql脚本都正常运行。在使用spark-sql 写入hive时报错： Caused by: java.lang.IllegalArgumentExcepti 阅读全文

posted @ 2022-07-28 16:52 夏天换上冬装阅读(529) 评论(0) 推荐(0)

2022年4月

Maxwell部署配置整理

摘要：整理一下以前的笔记：项目背景: 需要使用Maxwell进行对MySQL的业务库数据采集到Kafka 版本选择：当时v1.29.1开始支持HA 参考文档：https://maxwells-daemon.io/quickstart/ 下载地址：https://github.com/zendesk/ma 阅读全文

posted @ 2022-04-30 20:18 夏天换上冬装阅读(466) 评论(0) 推荐(0)

使用spark进行hbase的bulkload

摘要：一、背景 HBase 是一个面向列，schemaless，高吞吐，高可靠可水平扩展的 NoSQL 数据库，用户可以通过 HBase client 提供的 put get 等 api 实现在数据的实时读写。在过去的几年里，HBase 有了长足的发展，它在越来越多的公司里扮演者越来越重要的角色。HBa 阅读全文

posted @ 2022-04-25 17:37 夏天换上冬装阅读(1451) 评论(0) 推荐(0)

kafka eagle关联不到kafka，web无信息

摘要：如下图： kafka-eagle配置 ###################################### # multi zookeeper & kafka cluster list ###################################### kafka.eagle.zk 阅读全文

posted @ 2022-04-22 17:45 夏天换上冬装阅读(713) 评论(0) 推荐(0)

2022年3月

windows git更新后连接远程仓库失败

摘要：背景：不小心把git升级到了版本 git version 2.34.1.windows.1 然后连接远程仓库时报错如下报错： Unable to negotiate with 161.117.7.xx port 22: no matching host key type found. Their 阅读全文

posted @ 2022-03-31 14:12 夏天换上冬装阅读(356) 评论(0) 推荐(0)

Alluxio介绍使用

摘要：一、Alluxio概述 Alluxio（前身Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。 Alluxio项目源自加州大学伯克利分校AMPLab，作为伯克利数据分析堆栈（BDAS）的数据访问层。Alluxio是增长最阅读全文

posted @ 2022-03-09 17:04 夏天换上冬装阅读(1883) 评论(0) 推荐(0)

集群namenode与journalNode通讯超时导致namenode挂掉问题分析

摘要：背景：因业务要求进行了一次业务数据的全量采集，采集过程中集群namenode与journalNode通讯超时导致namenode挂掉。如下图 Error: starting log segment 11771414 failed for required journal (JournalAndSt 阅读全文

posted @ 2022-03-01 17:17 夏天换上冬装阅读(1799) 评论(0) 推荐(0)

2022年1月

hue安装连接mysql,hive和hdfs过程和遇到的问题

摘要： 1.打开官网 https://docs.gethue.com/administrator/installation/ 查看了下，实在有点乱，我梳理下。 2.依赖 a. yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyr 阅读全文

posted @ 2022-01-13 11:14 夏天换上冬装阅读(941) 评论(0) 推荐(0)

Hive hiveserver2 监听端口10000异常启动失败

摘要：先启动metastore nohup hive --service metastore & 再启动 hiveserver2 nohup hive --service hiveserver2 & 用jps和ps -ef查看进程都启动着，但发现10000端口没有被监听看不出来问题，打开hive日志 c 阅读全文

posted @ 2022-01-13 10:07 夏天换上冬装阅读(9269) 评论(0) 推荐(1)

公告