摘要: 1. 前言 crawlab 是基于Golang的分布式爬虫管理平台,但是没有实现批量添加爬虫的功能。 作为党国的优秀青年,怎么可以容忍这件事情呢,那就实现一个脚本去批量添加爬虫吧。 2. 主要解决的问题是 需要抓取的网站有几百个,爬虫代码编写完毕,但是需要手动的去添加爬虫代码,一个一个的去添加,累死 阅读全文
posted @ 2021-08-22 11:35 淋哥 阅读(507) 评论(0) 推荐(0) 编辑