业余砖家

摘要： 1. Hadoop (1).HDFS：启动HDFS：start-dfs.sh关闭HDFS：stop-dfs.sh格式化NameNode：hdfs namenode -format查看文件系统状态：hdfs dfsadmin -report创建目录：hdfs dfs -mkdir /path/to/d 阅读全文

摘要： Flink CDC写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操作:{"name":"魏夜游","remark": 阅读全文

摘要： 问题描述 Caused by: org.postgresql.util.PSQLException: 错误: 无法访问文件 "decoderbufs": 没有那个文件或目录 解决办法 postgres-cdc的属性缺少如下配置： 'slot.name' = 'myslot','decoding.pl 阅读全文

摘要： 问题描述 通过./bin/start-cluster.sh启动Flink程序，正常启动后无法通过浏览器访问web UI界面，http://192.168.80.133:8081。 问题原因 Flink1.12之前启动Flink程序后，可以正常打开WebUI界面，换成新的版本后Flink1.15、Fl 阅读全文

摘要： (1) Hadoop Web UI http://master-1:9870/dfshealth.html#tab-overview 旧版本的端口可能为：50070 http://master-1:50070/dfshealth.html#tab-overview 如果不知道端口，可以查看hdfs- 阅读全文

摘要： 1、kafka 1.1、kafka介绍 ​ kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的消息队列系统。 1.2、kafka相比其他消息队列的优势 常见的消息队列：RabbitMQ，Redis ，zeroMQ ，Active 阅读全文

摘要： 问题描述：在linux云服务器上搭建了一套kafka3.0集群，然后按照以前的创建topic指令： ./kafka-topics.sh --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --replication-factor 1 --par 阅读全文

摘要： 一、kafka是什么？ Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力，适合在大规模消息处理场景中使用。 (1) 分布式系统 阅读全文

摘要： 1．数据集下载 TPC-H数据集： https://github.com/gregrahn/tpch-kit 2．解压安装 unzip tpch-kit-master.zip cd tpch-kit-master/dbgen/ make -f Makefile 通过上面命令，生成两个文件，分别是db 阅读全文

摘要： 笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 一 .Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作 阅读全文