随笔分类 -  B 爬虫

python 爬虫不停换代理
摘要：内网看到的一个小技巧，卧槽，感觉真TM厉害 函数均放到main函数内即可 def get_proxy(): url="http://www.xicidaili.com" req=urllib.request.Request(url,headers=headers) response=urllib.r 阅读全文
posted @ 2017-05-09 09:55 qscqesze 阅读(1167) 评论(0) 推荐(2)
京东商品信息及其价格爬虫
摘要：python 2.7 coding:utf 8 导入模块 import urllib2,re,urllib from bs4 import BeautifulSoup import json,time import sys reload(sys) sys.setdefaultencoding('ut 阅读全文
posted @ 2017-05-07 11:07 qscqesze 阅读(913) 评论(0) 推荐(1)