摘要：
在Idea安装Lua插件Emmylua，安装完成后重启IDE 创建lua工程 File-> New Project, 选择lua 创建lua文件 helloworld.lua 编写lua文件，打印hello lua 运行lua文件 参考： 文档：https://www.runoob.com/lua/ 阅读全文
posted @ 2022-02-13 13:41 work hard work smart 阅读(203) 评论(0) 推荐(1)
摘要：
三条服务器，每台服务器安装两个clickhouse实例 一、服务器规划 单机两个clickhouse实例安装，参考Clickhouse 单机双实例 zookeeper集群安装，参考： Zookeeper 集群搭建--单机伪分布式集群 我这里用的是三台服务器，分别为第一台sever1 118.xx.x 阅读全文
posted @ 2021-11-11 19:41 work hard work smart 阅读(1662) 评论(0) 推荐(0)
摘要：
一、生产者负载均衡 1、分区器 使用分区器，kafka生产消息时，根据分区器将消息投递到指定的分区中。 Kafka默认的分区器时DefaultPartitioner。它的分区策略是根据key进行分配的。 如果key不为null： 对key值进行Hash计算，算出一个分区号； 拥有相同Key值被写入同 阅读全文
posted @ 2021-11-03 11:53 work hard work smart 阅读(1178) 评论(0) 推荐(0)
摘要：
目前kafka集群有3个节点，server.properties 配置 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 目前设置 阅读全文
posted @ 2021-11-02 20:00 work hard work smart 阅读(240) 评论(0) 推荐(0)
摘要：
1、增加依赖 <!-- curator ZK客户端--> <dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-framework</artifactId> <version>2.10.0</version> < 阅读全文
posted @ 2021-10-30 21:41 work hard work smart 阅读(338) 评论(0) 推荐(0)
摘要：
1、下载 wget https://alibaba.github.io/arthas/arthas-boot.jar 启动 java -jar arthas-boot.jar 2、相关命令 1）输入dashboard，仪表盘显示当前进程相关信息 ID 线程ID NAME 线程名称 GROUP 线程组 阅读全文
posted @ 2021-10-24 21:26 work hard work smart 阅读(180) 评论(0) 推荐(0)
摘要：
2、kafka副本集 kafka副本集是指将日志复制多份 kafka可以为每个Topic设置副本集 Kafka可以通过配置设置默认副本集数量。 3、集群概念介绍 Broker： 一般指Kafka的部署节点 Leader： 用于处理消息的接收和消费等请求。 Follower：主要用于备份消息数据。 K 阅读全文
posted @ 2021-10-23 21:42 work hard work smart 阅读(83) 评论(0) 推荐(0)
摘要：
一、Kafka Stream介绍 Kafka Stream是处理分析存储在Kafka数据的客户端程序库 Kafka Stream通过state store可以实现高效状态操作。 支持原语Processor和高层抽象DSL 二、Kafka高层架构图 三、Kafka Stream关键词 流及流处理器 流 阅读全文
posted @ 2021-10-15 11:50 work hard work smart 阅读(91) 评论(0) 推荐(0)
摘要：
一、单机安装 参考：ClickHouse 的安装和使用 二、修改配置 logger->log：服务日志存储位置 logger->errorlog:异常日志存储位置 http_port:连接端口号 tcp_port：连接端口号 path：数据存放路径 tmp_path：临时数据的存放路径 user_f 阅读全文
posted @ 2021-10-11 10:20 work hard work smart 阅读(699) 评论(0) 推荐(0)
摘要：
zookeepe版本: zookeeper-3.4.13, 安装路径/usr/local/zookeeper-3.4.13/ kafka版本：kafka_2.13-2.6.0.tgz 一、Zookeeper配置 安装Zookeeper 参考: Zookeeper的下载、安装和启动 Zookeeper 阅读全文
posted @ 2021-09-30 10:19 work hard work smart 阅读(797) 评论(0) 推荐(0)
摘要：
一、Syslog4j Syslog4j是一个实现Syslog(RFC3164)协议的Java开源类库包括客户端与服务器端 1、引入依赖 <dependency> <groupId>org.syslog4j</groupId> <artifactId>syslog4j</artifactId> <ve 阅读全文
posted @ 2021-09-22 15:07 work hard work smart 阅读(946) 评论(0) 推荐(1)
摘要：
1、最简单的consumer使用（工作中不推荐使用） 每次启动，都会重新收到一次。解决方法，业务处理成功后收到提交。 private static void helloWorld(){ Properties prop = new Properties(); prop.put(ProducerConf 阅读全文
posted @ 2021-09-12 23:38 work hard work smart 阅读(116) 评论(0) 推荐(0)
摘要：
一、Producer发送 1、Producer发送模式同步发送异步发送异步回调发送 2、异步发送 /** * Producer异步发送 */ public static void producerSend(){ Properties properties = new Properties(); pr 阅读全文
posted @ 2021-09-11 20:01 work hard work smart 阅读(89) 评论(0) 推荐(0)
摘要：
引入kafka依赖 <!--kafka--> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.1.7.RELEASE</version 阅读全文
posted @ 2021-09-11 15:35 work hard work smart 阅读(149) 评论(0) 推荐(0)
摘要：
1、创建springboot工程，使用的版本为2.4 工程结构如下: 2、增加依赖 <!--flywaydb--> <dependency> <groupId>org.flywaydb</groupId> <artifactId>flyway-core</artifactId> <version>5 阅读全文
posted @ 2021-09-08 20:23 work hard work smart 阅读(379) 评论(0) 推荐(0)
摘要：
1、增加依赖 <dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.1.54</version> </dependency> 2、代码实现 pu 阅读全文
posted @ 2021-07-25 12:29 work hard work smart 阅读(586) 评论(0) 推荐(0)
摘要：
一、搭建Zookeeper集群 参考： Zookeeper 集群搭建--单机伪分布式集群 我这里用的是三台服务器，分别为第一台118.xx.xx.101，第二台 49.xx.xx.125， 第三台110.xx.xx.67 二、配置ClickHouse集群 用的也是三台服务器，分别为第一台118.xx 阅读全文
posted @ 2021-07-25 00:09 work hard work smart 阅读(1116) 评论(0) 推荐(0)
摘要：
表引擎： 一、日志引擎 创建表 引擎使用Log create table tb_user( id UInt8, name String, sal Float64, address String, birthday Date ) engine=Log; 插入数据 insert into tb_user 阅读全文
posted @ 2021-07-24 11:17 work hard work smart 阅读(297) 评论(0) 推荐(0)
摘要：
1、ClickHouse介绍 ck不使用HDFS存储数据 可以继承HDFS mpp架构 是一个DBMS 数据库 列式存储 实现语言 C++ 处理数据速度快 横向扩展，高可靠。 CK引擎介绍 分为数据库引擎和表引擎， 不同的引擎,决定了数据存储的特点和数据存储的位置 1) 引擎决定数据存储的特点 2) 阅读全文
posted @ 2021-07-20 23:22 work hard work smart 阅读(705) 评论(0) 推荐(0)
浙公网安备 33010602011771号