随笔分类 -  使用python创造一个蜘蛛

爬虫的好处在于—— 1.每个人都享受偷东西的快感，别急着否认； 2.十行代码就能让我们进入别人的私密花园时如入无人之境； 3.顺便在把他们花园里的郁金香全部偷走。 4.如果可以，给他留下一封匿名信？
urllib库中cookie的使用
摘要：#----------------------------如何获取cookie信息-------------------------------------------- import http.cookiejar,urllib.request # #第一步声明一个Cookiejar对象 # cookie_obj=http.cookiejar.CookieJar() # #第二步，根据cooki... 阅读全文
posted @ 2018-12-10 15:23 陈桑啊丶 阅读(278) 评论(0) 推荐(0)
使用代理IP和随机请求头
摘要：#为什么要设置代理IP和随机请求头？#爬虫默认的User-Agent(python-urllib/python版本)#1.服务器会判断一个频繁的请求是不是来自于同一个User-Agent标识，或者判断User-Agent是不是以python开头。如果是，则会限制访问。#解决方案：随机切换User-A 阅读全文
posted @ 2018-12-10 14:56 陈桑啊丶 阅读(2404) 评论(0) 推荐(0)
urllib库发送get和post请求
摘要：urllib是Python中内置的发送网络请求的一个库(包)，在Python2中由urllib和urllib2两个库来实现请求的发送，但是在Python中已经不存在urllib2这个库了，已经将urllib和urllib2合并为urllib。urllib是一个库(包)，request是urllib库 阅读全文
posted @ 2018-12-10 14:38 陈桑啊丶 阅读(7684) 评论(1) 推荐(0)