ExplorerMan

摘要： 异步请求库aiohttp的使用 1.使用aiohttp发起一个请求 官方推荐使用一个客户端会话来发起所有请求，会话中记录了请求的cookie，但你还可以使用aiohttp.request来发送请求。 当我们使用 async def 就是定义了一个异步函数，异步逻辑由asyncio提供支持。 asyn 阅读全文

摘要： 前言 说起APP爬虫，相信大家会很容易联想到一些抓包工具：Fiddler、Charles、mitmproxy和anyproxy等等。 借助这些抓包工具，我们可以知道APP在运行过程中具体发起了什么请求，之后我们就可以详细分析这些请求，再用程序模拟这些请求最终实现爬虫。 然而，在爬虫的实操中，APP的 阅读全文

摘要： 消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）： （1）使用一个全新的"group.id"（就是之前没有被任何消费者使用过）; （2）指定"auto.offset.reset"参数的值为earliest； 对应的spring-kafka消费者客户端配置参数 阅读全文

摘要： kafka consumer：消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。 因为Kafka的broker是无状态的，所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset，意味着该 阅读全文

摘要： 昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最 阅读全文

摘要： 本篇主要介绍 WaitGroup 的一些特性，让我们从本质上去了解 WaitGroup。关于 WaitGroup 的基本用法这里就不做过多介绍了。相对于《这可能是最容易理解的 Go Mutex 源码剖析》来说，WaitGroup 就简单的太多了。 源码剖析 Add() Wait() type Wai 阅读全文

摘要： 上一篇文章《一文完全掌握 Go math/rand》，我们知道 math/rand 的 global rand 有一个全局锁，我的文章里面有一句话：“修复方案: 就是把 rrRand 换成了 globalRand, 在线上高并发场景下, 发现全局锁影响并不大.”， 有同学私聊我“他们遇到线上服务的锁 阅读全文

摘要： struct 是我们写 Go 必然会用到的关键字, 不过当 struct 遇上一些比较特殊类型的时候, 你注意过你的程序是否正常吗 ? 一段代码 type URL struct { Ip string Port string mux sync.RWMutex params url.Values } 阅读全文

摘要： sync.Pool 应该是 Go 里面明星级别的数据结构，有很多优秀的文章都在介绍这个结构，本篇文章简单剖析下 sync.Pool。不过说实话 sync.Pool 并不是我们日常开发中使用频率很高的的并发原语。 尽管用的频率很低，但是不可否认的是 sync.Pool 确实是 Go 的杀手锏，合理使用 阅读全文

摘要： 说道面向对象(OOP)编程, 就不得不提到下面几个概念: 抽象 封装 继承 多态 其实有个问题Is Go An Object Oriented Language?, 随便谷歌了一下, 你就发现讨论这个的文章有很多: reddit google group 那么问题来了 Golang是OOP吗? 使用 阅读全文