上一页 1 ··· 34 35 36 37 38 39 40 41 42 ··· 234 下一页

2021年6月29日

python kafka权限校验client.id

摘要: kafka集群有权限校验,在连接时需要加入client.id。但pykafka不能配置该选项。搜索了一下,需要使用confluent-kafka 链接: https://blog.csdn.net/lanyang123456/article/details/80639625 #coding:utf- 阅读全文

posted @ 2021-06-29 17:37 ExplorerMan 阅读(688) 评论(0) 推荐(0)

2021年6月25日

一文详解 Linux 系统常用监控工具(top,htop,iotop,iftop)

摘要: 概 述 本文主要记录一下 Linux 系统上一些常用的系统监控工具,非常好用。正所谓磨刀不误砍柴工,花点时间总结一下是值得的! 本文内容脑图如下: top 命令 top 命令我想大家都挺熟悉吧! Linux 下的 top 命令有点类似于 Windows 下的任务管理器,能够实时动态地监控并显示系统中 阅读全文

posted @ 2021-06-25 11:48 ExplorerMan 阅读(968) 评论(0) 推荐(0)

2021年6月22日

RabbitMQ BasicGet与BasicConsume的区别

摘要: 在RabbitMQ中消费者有2种方式获取队列中的消息: a) 一种是通过basic.consume命令,订阅某一个队列中的消息,channel会自动在处理完上一条消息之后,接收下一条消息。(同一个channel消息处理是串行的)。除非关闭channel或者取消订阅,否则客户端将会一直接收队列的消息。 阅读全文

posted @ 2021-06-22 18:34 ExplorerMan 阅读(379) 评论(0) 推荐(0)

中文分词概述及结巴分词原理

摘要: 词是中文表达语义的最小单位,自然语言处理的基础步骤就是分词,分词的结果对中文信息处理至为关键。 本文先对中文分词方法进行一下概述,然后简单讲解一下结巴分词背后的原理。 中文分词概述 简单来说,中文分词根据实现特点大致可分为两个类别: 基于词典的分词方法、基于统计的分词方法。 基于词典的分词方法 基于 阅读全文

posted @ 2021-06-22 17:11 ExplorerMan 阅读(1995) 评论(0) 推荐(0)

异步请求库aiohttp的使用

摘要: 异步请求库aiohttp的使用 1.使用aiohttp发起一个请求 官方推荐使用一个客户端会话来发起所有请求,会话中记录了请求的cookie,但你还可以使用aiohttp.request来发送请求。 当我们使用 async def 就是定义了一个异步函数,异步逻辑由asyncio提供支持。 asyn 阅读全文

posted @ 2021-06-22 16:50 ExplorerMan 阅读(547) 评论(0) 推荐(0)

不懂抓包也能做APP爬虫?1招教你爬取抖音流行歌名

摘要: 前言 说起APP爬虫,相信大家会很容易联想到一些抓包工具:Fiddler、Charles、mitmproxy和anyproxy等等。 借助这些抓包工具,我们可以知道APP在运行过程中具体发起了什么请求,之后我们就可以详细分析这些请求,再用程序模拟这些请求最终实现爬虫。 然而,在爬虫的实操中,APP的 阅读全文

posted @ 2021-06-22 11:57 ExplorerMan 阅读(794) 评论(0) 推荐(0)

2021年6月15日

kafka消费者如何才能从头开始消费某个topic的全量数据

摘要: 消费者要从头开始消费某个topic的全量数据,需要满足2个条件(spring-kafka): (1)使用一个全新的"group.id"(就是之前没有被任何消费者使用过); (2)指定"auto.offset.reset"参数的值为earliest; 对应的spring-kafka消费者客户端配置参数 阅读全文

posted @ 2021-06-15 11:10 ExplorerMan 阅读(1676) 评论(0) 推荐(0)

kafka consumer消费者 offset groupID详解

摘要: kafka consumer:消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。 因为Kafka的broker是无状态的,所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset,意味着该 阅读全文

posted @ 2021-06-15 11:07 ExplorerMan 阅读(2116) 评论(0) 推荐(0)

2021年6月11日

Kafka auto.offset.reset值详解

摘要: 昨天在写一个java消费kafka数据的实例,明明设置auto.offset.reset为earliest,但还是不从头开始消费,官网给出的含义太抽象了。earliest: automatically reset the offset to the earliest offset,自动将偏移量置为最 阅读全文

posted @ 2021-06-11 17:34 ExplorerMan 阅读(269) 评论(0) 推荐(0)

最清晰易懂的 Go WaitGroup 源码剖析

摘要: 本篇主要介绍 WaitGroup 的一些特性,让我们从本质上去了解 WaitGroup。关于 WaitGroup 的基本用法这里就不做过多介绍了。相对于《这可能是最容易理解的 Go Mutex 源码剖析》来说,WaitGroup 就简单的太多了。 源码剖析 Add() Wait() type Wai 阅读全文

posted @ 2021-06-11 10:37 ExplorerMan 阅读(93) 评论(0) 推荐(0)

上一页 1 ··· 34 35 36 37 38 39 40 41 42 ··· 234 下一页

导航