06 2021 档案

Kafka auto.offset.reset值详解
摘要:当创建一个新分组的消费者时,auto.offset.reset值为 latest 时, 昨天在写一个java消费kafka数据的实例,明明设置auto.offset.reset为earliest,但还是不从头开始消费,官网给出的含义太抽象了。earliest: automatically reset 阅读全文

posted @ 2021-06-30 11:05 ExplorerMan 阅读(392) 评论(0) 推荐(0)

python --kakfa(三):kafka模块生产和消费数据
摘要:文章目录一、kafka是什么?二、使用步骤1. 安装1.引入库2.消费端:读取数据3.发送端:发送数据总结一、kafka是什么?kafka 是一个分布式流式计算平台。而在大部分企业开发人员中,都是把 kafka 当成消息系统使用,即它是一个分布式消息队列,很少会使用 kafka 的流式计算。它有四个 阅读全文

posted @ 2021-06-29 19:33 ExplorerMan 阅读(1103) 评论(0) 推荐(0)

python-- kafka(一): kafka 安装和查询
摘要:kafka 应用数据读取理论生产者和消费者 生产者:生产数据 消费者:消费生产者产生的数据 对应关系:一个任务可以有多个分组,可以对应多个消费者,但消费者数量不能大于生产者分组数量,多余的也是无用的。(多对多的中的一对一关系) 特性:kafka只需写入一次,可以支持任意多的应用读取全部数据,如果应用 阅读全文

posted @ 2021-06-29 19:32 ExplorerMan 阅读(472) 评论(0) 推荐(0)

python --kafka(二): confluent-kafka 模块生产数据消费数据
摘要:文章目录前言一、confluent-kafka 是什么?二、使用步骤1.引入库2.消费数据2.1 初始化consumer对象2.2 消费数据偏移量3. 生产数据总结前言kafka是一个开源的流处理平台,一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 一、conflu 阅读全文

posted @ 2021-06-29 19:31 ExplorerMan 阅读(4954) 评论(0) 推荐(0)

python kafka权限校验client.id
摘要:kafka集群有权限校验,在连接时需要加入client.id。但pykafka不能配置该选项。搜索了一下,需要使用confluent-kafka 链接: https://blog.csdn.net/lanyang123456/article/details/80639625 #coding:utf- 阅读全文

posted @ 2021-06-29 17:37 ExplorerMan 阅读(688) 评论(0) 推荐(0)

一文详解 Linux 系统常用监控工具(top,htop,iotop,iftop)
摘要:概 述 本文主要记录一下 Linux 系统上一些常用的系统监控工具,非常好用。正所谓磨刀不误砍柴工,花点时间总结一下是值得的! 本文内容脑图如下: top 命令 top 命令我想大家都挺熟悉吧! Linux 下的 top 命令有点类似于 Windows 下的任务管理器,能够实时动态地监控并显示系统中 阅读全文

posted @ 2021-06-25 11:48 ExplorerMan 阅读(961) 评论(0) 推荐(0)

RabbitMQ BasicGet与BasicConsume的区别
摘要:在RabbitMQ中消费者有2种方式获取队列中的消息: a) 一种是通过basic.consume命令,订阅某一个队列中的消息,channel会自动在处理完上一条消息之后,接收下一条消息。(同一个channel消息处理是串行的)。除非关闭channel或者取消订阅,否则客户端将会一直接收队列的消息。 阅读全文

posted @ 2021-06-22 18:34 ExplorerMan 阅读(376) 评论(0) 推荐(0)

中文分词概述及结巴分词原理
摘要:词是中文表达语义的最小单位,自然语言处理的基础步骤就是分词,分词的结果对中文信息处理至为关键。 本文先对中文分词方法进行一下概述,然后简单讲解一下结巴分词背后的原理。 中文分词概述 简单来说,中文分词根据实现特点大致可分为两个类别: 基于词典的分词方法、基于统计的分词方法。 基于词典的分词方法 基于 阅读全文

posted @ 2021-06-22 17:11 ExplorerMan 阅读(1989) 评论(0) 推荐(0)

异步请求库aiohttp的使用
摘要:异步请求库aiohttp的使用 1.使用aiohttp发起一个请求 官方推荐使用一个客户端会话来发起所有请求,会话中记录了请求的cookie,但你还可以使用aiohttp.request来发送请求。 当我们使用 async def 就是定义了一个异步函数,异步逻辑由asyncio提供支持。 asyn 阅读全文

posted @ 2021-06-22 16:50 ExplorerMan 阅读(538) 评论(0) 推荐(0)

不懂抓包也能做APP爬虫?1招教你爬取抖音流行歌名
摘要:前言 说起APP爬虫,相信大家会很容易联想到一些抓包工具:Fiddler、Charles、mitmproxy和anyproxy等等。 借助这些抓包工具,我们可以知道APP在运行过程中具体发起了什么请求,之后我们就可以详细分析这些请求,再用程序模拟这些请求最终实现爬虫。 然而,在爬虫的实操中,APP的 阅读全文

posted @ 2021-06-22 11:57 ExplorerMan 阅读(788) 评论(0) 推荐(0)

kafka消费者如何才能从头开始消费某个topic的全量数据
摘要:消费者要从头开始消费某个topic的全量数据,需要满足2个条件(spring-kafka): (1)使用一个全新的"group.id"(就是之前没有被任何消费者使用过); (2)指定"auto.offset.reset"参数的值为earliest; 对应的spring-kafka消费者客户端配置参数 阅读全文

posted @ 2021-06-15 11:10 ExplorerMan 阅读(1665) 评论(0) 推荐(0)

kafka consumer消费者 offset groupID详解
摘要:kafka consumer:消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。 因为Kafka的broker是无状态的,所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset,意味着该 阅读全文

posted @ 2021-06-15 11:07 ExplorerMan 阅读(2111) 评论(0) 推荐(0)

Kafka auto.offset.reset值详解
摘要:昨天在写一个java消费kafka数据的实例,明明设置auto.offset.reset为earliest,但还是不从头开始消费,官网给出的含义太抽象了。earliest: automatically reset the offset to the earliest offset,自动将偏移量置为最 阅读全文

posted @ 2021-06-11 17:34 ExplorerMan 阅读(267) 评论(0) 推荐(0)

最清晰易懂的 Go WaitGroup 源码剖析
摘要:本篇主要介绍 WaitGroup 的一些特性,让我们从本质上去了解 WaitGroup。关于 WaitGroup 的基本用法这里就不做过多介绍了。相对于《这可能是最容易理解的 Go Mutex 源码剖析》来说,WaitGroup 就简单的太多了。 源码剖析 Add() Wait() type Wai 阅读全文

posted @ 2021-06-11 10:37 ExplorerMan 阅读(90) 评论(0) 推荐(0)

这可能是最容易理解的 Go Mutex 源码剖析
摘要:上一篇文章《一文完全掌握 Go math/rand》,我们知道 math/rand 的 global rand 有一个全局锁,我的文章里面有一句话:“修复方案: 就是把 rrRand 换成了 globalRand, 在线上高并发场景下, 发现全局锁影响并不大.”, 有同学私聊我“他们遇到线上服务的锁 阅读全文

posted @ 2021-06-11 10:36 ExplorerMan 阅读(119) 评论(0) 推荐(0)

当 Go struct 遇上 Mutex
摘要:struct 是我们写 Go 必然会用到的关键字, 不过当 struct 遇上一些比较特殊类型的时候, 你注意过你的程序是否正常吗 ? 一段代码 type URL struct { Ip string Port string mux sync.RWMutex params url.Values } 阅读全文

posted @ 2021-06-11 10:35 ExplorerMan 阅读(103) 评论(0) 推荐(0)

Go sync.Pool 浅析
摘要:sync.Pool 应该是 Go 里面明星级别的数据结构,有很多优秀的文章都在介绍这个结构,本篇文章简单剖析下 sync.Pool。不过说实话 sync.Pool 并不是我们日常开发中使用频率很高的的并发原语。 尽管用的频率很低,但是不可否认的是 sync.Pool 确实是 Go 的杀手锏,合理使用 阅读全文

posted @ 2021-06-11 10:34 ExplorerMan 阅读(118) 评论(0) 推荐(0)

golang面向对象分析
摘要:说道面向对象(OOP)编程, 就不得不提到下面几个概念: 抽象 封装 继承 多态 其实有个问题Is Go An Object Oriented Language?, 随便谷歌了一下, 你就发现讨论这个的文章有很多: reddit google group 那么问题来了 Golang是OOP吗? 使用 阅读全文

posted @ 2021-06-11 10:33 ExplorerMan 阅读(74) 评论(0) 推荐(0)

一次错误使用 go-cache 导致出现的线上问题
摘要:话说一个美滋滋的上午, 突然就出现大量报警, 接口大量请求都响应超时了. 排查过程 查看服务器的监控系统, CPU, 内存, 负载等指标正常 排查日志, 日志能够响应的结果也正常. request.log 中响应时长高达数秒 查看数据库, codis 监控, 各项指标正常 不得已, 只能打开线上 p 阅读全文

posted @ 2021-06-11 10:32 ExplorerMan 阅读(399) 评论(0) 推荐(0)

Go timer 是如何被调度的?
摘要:本篇文章剖析下 Go 定时器的相关内容。定时器不管是业务开发,还是基础架构开发,都是绕不过去的存在,由此可见定时器的重要程度。 我们不管用 NewTimer, timer.After,还是 timer.AfterFun 来初始化一个 timer, 这个 timer 最终都会加入到一个全局 timer 阅读全文

posted @ 2021-06-11 10:31 ExplorerMan 阅读(72) 评论(0) 推荐(0)

Python异步Request操作: aiohttp
摘要:目录 1. Tutorial 2. 其他库推荐 2.1. aiohttp-requests 2.2. aiofiles 2.3. grequests 3. 问题记录 3.1. Multipart.FormData 示例 3.2. with open("xxx") 会被自动关闭 3.3. filena 阅读全文

posted @ 2021-06-10 15:33 ExplorerMan 阅读(638) 评论(0) 推荐(0)

小白爬虫第四弹之爬虫快跑(多进程 + 多线程)
摘要:PS:使用多线程时好像在目录切换的问题上存在问题,可以给线程加个锁试试 Hello 大家好!我又来了。你是不是发现下载图片速度特别慢、难以忍受啊!对于这种问题 一般解决办法就是多进程了!一个进程速度慢!我就用十个进程,相当于十个人一起干。速度就会快很多啦!(为什么不说多线程?懂点 Python 的小 阅读全文

posted @ 2021-06-10 15:25 ExplorerMan 阅读(217) 评论(0) 推荐(0)

python 爬虫之requests模块设置代理
摘要:文章目录为什么设置代理?设置代理常用获取代理IP地址测试IP地址可用性为什么设置代理?我们都知道上网连接到互联网时会有一个【ip】地址。 而网站都有请求的临界点,当我们对一个网站发起多次请求时,网站发现请求次数超过了临界点,就会自动屏蔽掉我们的【ip】,这时就再也无法访问此网站了。 这就是基础的一种 阅读全文

posted @ 2021-06-10 14:33 ExplorerMan 阅读(1505) 评论(0) 推荐(0)

python : itertools 中的 islice : 获取迭代器结果的切片,消耗迭代器
摘要:islice(iterable, [start, ] stop [, step]):创建一个迭代器,生成项的方式类似于切片返回值: iterable[start : stop : step],将跳过前start个项,迭代在stop所指定的位置停止,step指定用于跳过项的步幅。与切片不同,负值不会用 阅读全文

posted @ 2021-06-03 20:33 ExplorerMan 阅读(318) 评论(0) 推荐(0)

python中的imp模块——让引用模块更加简单
摘要:最近撸代码的时候发现python有一个imp模块,有点儿意思。 首先: pip install imp看模块名,可以看出其实就是"import"的缩写。在功能上也一样,但用起来比import要成熟一些。 直接看例子:在一个py文件中调用另一个py文件,不用import的方式。 第一个文件func.p 阅读全文

posted @ 2021-06-03 20:15 ExplorerMan 阅读(893) 评论(0) 推荐(0)

导航