摘要: 代理的IP通过去网上找# -*- coding: utf-8 -*- import re import _thread from time import sleep, ctime from urllib.request import urlopen from urllib.request import Request from urllib.request import ProxyHandler... 阅读全文
posted @ 2017-11-07 20:33 窃语 阅读(152) 评论(0) 推荐(0)
摘要: 通过lxml的方式去分析数据,将爬到的数据放到file中的html中代码如下# 用线程去爬虫 from urllib.request import Request from urllib.request import urlopen from time import sleep,ctime from lxml import etree import _thread; ii=0 headers =... 阅读全文
posted @ 2017-11-07 20:29 窃语 阅读(168) 评论(0) 推荐(0)
摘要: 透明代理的意思是客户端根本不需要知道有代理服务器的存在,但是它传送的仍然是真实的IP。你要想隐藏的话,不要用这个。 普通匿名代理能隐藏客户机的真实IP,但会改变我们的请求信息,服务器端有可能会认为我们使用了代理。不过使用此种代理时,虽然被访问的网站不能知道你的ip地址,但仍然可以知道你在使用代理,当 阅读全文
posted @ 2017-11-07 20:19 窃语 阅读(624) 评论(0) 推荐(0)