摘要： 在Windows系统下调试Hadoop读写，对linux虚拟机进行相应的操作，运行时报错Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate execu 阅读全文

摘要： 背景: CDH集群的HDFS HA已配置完毕，Hive也相应进行了Update Hive Metastore NameNode，Hive的业务sql脚本都正常运行。 在使用spark-sql 写入hive时报错： Caused by: java.lang.IllegalArgumentExcepti 阅读全文

摘要： 整理一下以前的笔记： 项目背景: 需要使用Maxwell进行对MySQL的业务库数据采集到Kafka 版本选择：当时v1.29.1开始支持HA 参考文档：https://maxwells-daemon.io/quickstart/ 下载地址：https://github.com/zendesk/ma 阅读全文

摘要： 一、 背景 HBase 是一个面向列，schemaless，高吞吐，高可靠可水平扩展的 NoSQL 数据库，用户可以通过 HBase client 提供的 put get 等 api 实现在数据的实时读写。在过去的几年里，HBase 有了长足的发展，它在越来越多的公司里扮演者越来越重要的角色。HBa 阅读全文

摘要： 如下图： kafka-eagle配置 ###################################### # multi zookeeper & kafka cluster list ###################################### kafka.eagle.zk 阅读全文

摘要： 背景： 不小心把git升级到了版本 git version 2.34.1.windows.1 然后连接远程仓库时报错如下 报错： Unable to negotiate with 161.117.7.xx port 22: no matching host key type found. Their 阅读全文

摘要： 一、Alluxio概述 Alluxio（前身Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。 Alluxio项目源自加州大学伯克利分校AMPLab，作为伯克利数据分析堆栈（BDAS）的数据访问层。Alluxio是增长最 阅读全文

摘要： 背景： 因业务要求进行了一次业务数据的全量采集，采集过程中集群namenode与journalNode通讯超时导致namenode挂掉。如下图 Error: starting log segment 11771414 failed for required journal (JournalAndSt 阅读全文

摘要： 1.打开官网 https://docs.gethue.com/administrator/installation/ 查看了下，实在有点乱，我梳理下。 2.依赖 a. yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyr 阅读全文

摘要： 先启动metastore nohup hive --service metastore & 再启动 hiveserver2 nohup hive --service hiveserver2 & 用jps和ps -ef查看进程都启动着，但发现10000端口没有被监听 看不出来问题，打开hive日志 c 阅读全文