随笔分类 -  spider

spider基础
摘要：1、爬虫框架过程： 1、创建项目 scrapy startproject yangguang 2、创建爬虫 scrapy genspider yg 域名 创建 crawlspider scrapy genspider -t crawl csdn csdn.com 2、运行爬虫 scrapy craw 阅读全文
posted @ 2017-09-23 21:46 西湖歌舞几时休 阅读(125) 评论(0) 推荐(0)
简单爬虫
摘要：import requests# requests模块，发出请求，接受响应，包括请求响应 headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, lik 阅读全文
posted @ 2017-09-15 11:37 西湖歌舞几时休 阅读(301) 评论(0) 推荐(0)