jsqup

2022年9月7日

摘要： 1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties & 阅读全文

posted @ 2022-09-07 15:35 jsqup 阅读(75) 评论(0) 推荐(0)

Java代码编写Kafka的注意:需要修改server.properties

摘要：修改文件 [root@node1 ~]# vi /opt/app/kafka-0.11.0.0/config/server.properties advertised.listeners=PLAINTEXT://192.168.200.111:9092 [root@node2 ~]# vi /opt 阅读全文

posted @ 2022-09-07 15:31 jsqup 阅读(65) 评论(0) 推荐(0)

2022年9月6日

kafka生产者和消费者的多种形式及应用场景及存储

posted @ 2022-09-06 22:12 jsqup 阅读(55) 评论(0) 推荐(0)

kafka的简单介绍

摘要： 1. kafka是apache开源的消息队列 2. 消息队列有什么好处？解耦：在消费者和生产者两端均设置一个相同的接口，两边都实现接口。防止消费者因为生产者数据量太大，导致访问数据库的次数大大增加，而导致系统崩溃。削峰，峰值处理能力顺序保证，每个topic内部是有序的缓冲：消息队列通过一个阅读全文

posted @ 2022-09-06 17:49 jsqup 阅读(38) 评论(0) 推荐(0)

zookeeper中通过JavaAPI操作

摘要：步骤创建maven项目引入zookeeper编程依赖 <dependencies> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.6</ve 阅读全文

posted @ 2022-09-06 17:10 jsqup 阅读(70) 评论(0) 推荐(0)

通过命令行操作zookeeper

摘要： 1. 启动zk客户端 zkCli.sh 2. 节点的命令创建节点命令 create [-s] [-e] 节点路径节点内容 -s和-e是一个可选项，可以加也可以不加 -s代表的是创建的字节点需不需要带序号，如果加上-s的话，创建的子节点会自动在节点后拼接一个编号 -e代表的是否创建一个临时节点，如阅读全文

posted @ 2022-09-06 13:36 jsqup 阅读(68) 评论(0) 推荐(0)

kafka的操作1(命令行方式)及操作2(kafka的工作流程写/读)

摘要：命令行方式与主题有关的命令需要连接上zookeeper集群操作(主题的名字以及分区数据、副本数等属于元数据，元数据是在zookeeper中存储) 查看kafka服务器中有哪些主题 kafka-topics.sh --zookeeper node1:2181 --list 创建一个主题 kafka 阅读全文

posted @ 2022-09-06 11:22 jsqup 阅读(126) 评论(0) 推荐(0)

2022年9月5日

防火墙

摘要： 1:查看防火状态 systemctl status firewalld service iptables status 2:暂时关闭防火墙 systemctl stop firewalld service iptables stop 3:永久关闭防火墙 systemctl disable firew 阅读全文

posted @ 2022-09-05 22:41 jsqup 阅读(46) 评论(0) 推荐(0)

自定义聚合函数(统计每种行为的触发次数排名前三的商品id)

摘要： package SparkSQL.fun.project import org.apache.spark.SparkConf import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregate 阅读全文

posted @ 2022-09-05 21:23 jsqup 阅读(28) 评论(0) 推荐(0)

自定义聚合函数(统计每一个商品的四种行为出现次数)

摘要：要求：统计每一个商品的四种行为出现次数案例 package SparkSQL.fun.project import org.apache.spark.SparkConf import org.apache.spark.sql.expressions.{MutableAggregationBuffe 阅读全文

posted @ 2022-09-05 21:23 jsqup 阅读(49) 评论(0) 推荐(0)

公告