2018 年 10月 12 日随笔档案 - 金色洋光

2018年10月12日

摘要：一般比较小型的爬虫需求，我是直接使用requests库 + bs4就解决了，再麻烦点就使用selenium解决js的异步加载问题。相对比较大型的需求才使用框架，主要是便于管理以及扩展等。一、爬虫技术库-urllib.request和requests库的使用（简单） 1. requests库imp 阅读全文

posted @ 2018-10-12 17:09 金色洋光阅读(12137) 评论(0) 推荐(1)

python Scrapy 爬虫框架快速入门

摘要：快速入门安装pip install scrapy一、创建Scrapy项目scrapy startproject Tencent命令执行后，会创建一个Tencent文件夹，结构如下lsTencent/scrapy.cfgTencent/ __init__.py items.py pipelines.p 阅读全文

posted @ 2018-10-12 17:01 金色洋光阅读(1042) 评论(0) 推荐(0)