摘要： kafka 应用数据读取理论生产者和消费者 生产者：生产数据 消费者：消费生产者产生的数据 对应关系：一个任务可以有多个分组，可以对应多个消费者，但消费者数量不能大于生产者分组数量，多余的也是无用的。（多对多的中的一对一关系） 特性：kafka只需写入一次，可以支持任意多的应用读取全部数据，如果应用 阅读全文

摘要： 文章目录前言一、confluent-kafka 是什么？二、使用步骤1.引入库2.消费数据2.1 初始化consumer对象2.2 消费数据偏移量3. 生产数据总结前言kafka是一个开源的流处理平台，一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 一、conflu 阅读全文

摘要： kafka集群有权限校验，在连接时需要加入client.id。但pykafka不能配置该选项。搜索了一下，需要使用confluent-kafka 链接： https://blog.csdn.net/lanyang123456/article/details/80639625 #coding:utf- 阅读全文

摘要： 概 述 本文主要记录一下 Linux 系统上一些常用的系统监控工具，非常好用。正所谓磨刀不误砍柴工，花点时间总结一下是值得的！ 本文内容脑图如下： top 命令 top 命令我想大家都挺熟悉吧！ Linux 下的 top 命令有点类似于 Windows 下的任务管理器，能够实时动态地监控并显示系统中 阅读全文

摘要： 在RabbitMQ中消费者有2种方式获取队列中的消息: a) 一种是通过basic.consume命令，订阅某一个队列中的消息,channel会自动在处理完上一条消息之后，接收下一条消息。（同一个channel消息处理是串行的）。除非关闭channel或者取消订阅，否则客户端将会一直接收队列的消息。 阅读全文

摘要： 词是中文表达语义的最小单位，自然语言处理的基础步骤就是分词，分词的结果对中文信息处理至为关键。 本文先对中文分词方法进行一下概述，然后简单讲解一下结巴分词背后的原理。 中文分词概述 简单来说，中文分词根据实现特点大致可分为两个类别： 基于词典的分词方法、基于统计的分词方法。 基于词典的分词方法 基于 阅读全文

摘要： 异步请求库aiohttp的使用 1.使用aiohttp发起一个请求 官方推荐使用一个客户端会话来发起所有请求，会话中记录了请求的cookie，但你还可以使用aiohttp.request来发送请求。 当我们使用 async def 就是定义了一个异步函数，异步逻辑由asyncio提供支持。 asyn 阅读全文

摘要： 前言 说起APP爬虫，相信大家会很容易联想到一些抓包工具：Fiddler、Charles、mitmproxy和anyproxy等等。 借助这些抓包工具，我们可以知道APP在运行过程中具体发起了什么请求，之后我们就可以详细分析这些请求，再用程序模拟这些请求最终实现爬虫。 然而，在爬虫的实操中，APP的 阅读全文

摘要： 消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）： （1）使用一个全新的"group.id"（就是之前没有被任何消费者使用过）; （2）指定"auto.offset.reset"参数的值为earliest； 对应的spring-kafka消费者客户端配置参数 阅读全文

摘要： kafka consumer：消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。 因为Kafka的broker是无状态的，所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset，意味着该 阅读全文