jsqup

2022年9月8日

Kafka、Flume、SparkStreaming的整合案例(电商网站的黑名单统计)

摘要：背景：电商网站用户在网站的每次行为都会以日志数据的形式加以记录到日志文件中，其中用户的行为数据日志格式如下：1,2268318,pv,1511544070 黑名单用户的定义规则如下：如果某一件商品被同一用户在1分钟之内点击超过10次，那么此时这个用户就是当前商品的黑名单用户，我们需要将黑名单用户阅读全文

posted @ 2022-09-08 14:42 jsqup 阅读(107) 评论(0) 推荐(0)

一般真实业务情况下，实时/离线计算的数据流程（技术选型）

摘要： ![](https://img2022.cnblogs.com/blog/2487693/202209/2487693-20220908134139595-978773126.png) 阅读全文

posted @ 2022-09-08 13:41 jsqup 阅读(32) 评论(0) 推荐(0)

Kafka和Spark Streaming实时计算框架整合说明

摘要： Spark Streaming只能充当Kafka的消费者 Spark Steaming整合Kafka数据，读取Kafka数据有两种方式 1、Receiver（使用Spark中接受器去处理Kafka的数据）方法连接zookeeper集群读取数据仅作了解（被淘汰） 2、Direct方法--直连kaf 阅读全文

posted @ 2022-09-08 10:20 jsqup 阅读(48) 评论(0) 推荐(0)

sparkstreming整合kafka(Spark Streaming相当于是Kafka的一个消费者)

摘要：引入pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance 阅读全文

posted @ 2022-09-08 10:13 jsqup 阅读(94) 评论(0) 推荐(0)

kafka与flume整合(kafka充当source,sink,channel)

摘要： 1. Kafka充当Flume的source数据源，此时也就意味着Flume需要采集Kafka的数据，Flume相当于是kafka的一个消费者 .conf文件(KafkaToConsole.conf) #sources别名:r1 a1.sources = r1 #sink别名:k1 a1.sinks 阅读全文

posted @ 2022-09-08 09:45 jsqup 阅读(340) 评论(0) 推荐(0)

2022年9月7日

6. kafka案例--将控制台输入的每一行数据发送到Kafka中进行存储

摘要：案例要求 /** * 要求将控制台输入的每一行数据发送到Kafka中进行存储 * 输入的每一行数据形式如下 * s001 zs 20 男 * s002 ls 21 女 * 要求将数据发送到我们的kafka的student主题中同时要求发送的数据以学生编号为key，以学生信息为value形式进行数据阅读全文

posted @ 2022-09-07 22:46 jsqup 阅读(113) 评论(0) 推荐(0)

5. 消费者消费数据

摘要： 1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties & 阅读全文

posted @ 2022-09-07 21:51 jsqup 阅读(69) 评论(0) 推荐(0)

4. 新版本的生产者API 带有自定义分区和回调函数的生产者

摘要： 1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties & 阅读全文

posted @ 2022-09-07 20:08 jsqup 阅读(42) 评论(0) 推荐(0)

3. 新版本的生产者API 带有回调函数的生产者

摘要： 1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties & 阅读全文

posted @ 2022-09-07 17:31 jsqup 阅读(23) 评论(0) 推荐(0)

2. 新版本生产者代码--建议使用的版本

摘要： 1. 开启进程 [node123]systemctl stop firewalld [node123]zkServer.sh start [node123]kafka-server-start.sh /opt/app/kafka-0.11.0.0/config/server.properties & 阅读全文

posted @ 2022-09-07 17:05 jsqup 阅读(22) 评论(0) 推荐(0)

公告