2016年11月24日
完善爬取糗百的段子
摘要： 最后下载完第一页， 第二页还是出不来。 郁闷的是第一页能出来，说明调用 download()是成功执行了 估计是糗百的还有其他的防爬虫吧，等以后再回来完善 爬取”百思不得其姐”段子的前50页： 阅读全文
posted @ 2016-11-24 17:06 糖饼好吃 阅读(190) 评论(0) 推荐(0)
为自己的爬虫更换代理和HTML头部
摘要： import requestsimport reimport randomimport time class download(): def __init__(self): self.iplist = [] ##初始化一个list用来存放我们获取到的IP html = requests.get("h 阅读全文
posted @ 2016-11-24 16:56 糖饼好吃 阅读(474) 评论(0) 推荐(0)
我的第一个爬虫（爬取糗百的段子）
摘要： 写个这么简答的东西踩的坑有： os.chdir("D:\mzitu")f = open("111.txt", 'a') 一开始下面写的是D:\mzitu.111.txt，拼命的保存，就是看不到数据，我这暴脾气，简直不能忍。 还有直接打印文本内容会出现乱码 然后type()了一下发现是unicode， 阅读全文
posted @ 2016-11-24 15:33 糖饼好吃 阅读(261) 评论(0) 推荐(0)