摘要:
一般比较小型的爬虫需求,我是直接使用requests库 + bs4就解决了,再麻烦点就使用selenium解决js的异步 加载问题。相对比较大型的需求才使用框架,主要是便于管理以及扩展等。 一、爬虫技术库-urllib.request和requests库的使用(简单) 1. requests库imp 阅读全文
摘要:
快速入门安装pip install scrapy一、创建Scrapy项目scrapy startproject Tencent命令执行后,会创建一个Tencent文件夹,结构如下lsTencent/scrapy.cfgTencent/ __init__.py items.py pipelines.p 阅读全文