【Pyton】【小甲鱼】爬虫3---隐藏，避免网站防爬虫

两种方法隐藏（修改）headers
1.下面是关于用Python程序调用有道进行翻译的 一段隐藏的代码（第一种方法）。
2.为什么要进行隐藏操作？因为如果一个IP在一定时间访问过于频繁，那么就会被被访问网站进行反爬虫拦截，无法进行我们爬虫的后续工作了，所以要给爬虫披上一层神秘的面纱，从而瞒天过海喽~
 1 import urllib.request
import urllib.parse #负责解析功能
import json

content=input("请输入需要翻译的内容：")
url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'

head={} #增加header赋值代码
head['User-Agent']='Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'#增加header赋值代码，通过网址F12之后Network找到POST请求，找到User-Agent值，在此处进行定位赋值。

data={}
data['type']='AUTO'
data['i']=content #'I'换成content
data['doctype']='json'
data['xmlVersion']='1.8'
data['keyfrom']='fanyi.web'
data['ue']='UTF-8'
data['action']='FY_BY_CLICKBUTTON'
data['typoResult']='true'
data=urllib.parse.urlencode(data).encode('utf-8')

req=urllib.request.Request(url,data,head)
response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')

#print(html)
target=json.loads(html)
print("翻译结果：%s"%(target['translateResult'][0][0]['tgt']))

运行结果及headers是否正确输入的检查：

>>> 
请输入需要翻译的内容：I
翻译结果：我
>>> req.headers #检查
{'User-agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'}

第二种方法隐藏：

import urllib.request
import urllib.parse 
import json

content=input("请输入需要翻译的内容：")
url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'

'''
1.用下面一句add_header函数语句q来代替以下head的赋值
head={}
head['User-Agent']='Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'
'''

data={}
data['type']='AUTO'
data['i']=content 
data['doctype']='json'
data['xmlVersion']='1.8'
data['keyfrom']='fanyi.web'
data['ue']='UTF-8'
data['action']='FY_BY_CLICKBUTTON'
data['typoResult']='true'
data=urllib.parse.urlencode(data).encode('utf-8')

#req=urllib.request.Request(url,data,head)  #2.替换成下一句，因为不再引用上面的head所以去掉head
req=urllib.request.Request(url,data)
#+3.q语句
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36')

response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')

#print(html)
target=json.loads(html)
print("翻译结果：%s"%(target['translateResult'][0][0]['tgt']))

第三种方法：引入休息时间：

import urllib.request
import urllib.parse 
import json
import time

while True:#+添加循环
    content=input('请输入需要翻译的内容(输入"q!"退出程序)：')#+
    if content =='q!':#+
        break#+
    url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'

    '''
    1.用下面一句add_header函数语句q来代替以下head的赋值
    head={}
    head['User-Agent']='Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'
    '''

    data={}
    data['type']='AUTO'
    data['i']=content 
    data['doctype']='json'
    data['xmlVersion']='1.8'
    data['keyfrom']='fanyi.web'
    data['ue']='UTF-8'
    data['action']='FY_BY_CLICKBUTTON'
    data['typoResult']='true'
    data=urllib.parse.urlencode(data).encode('utf-8')

    req=urllib.request.Request(url,data)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36')

    response=urllib.request.urlopen(req)
    html=response.read().decode('utf-8')

    #print(html)
    target=json.loads(html)
    #print("翻译结果：%s"%(target['translateResult'][0][0]['tgt']))
    target=target['translateResult'][0][0]['tgt']#+
    print(target)#+
    time.sleep(5)#+延长时间以避免网站认为是爬虫非法访问

第四种：引入代理，代理把看到的内容返回给你，所以可以达到同样的效果

import urllib.request

url='http://www.whatismyip.com.tw'
iplist=['']#+

#proxy_support = urllib.request.ProxyHandler({'http':'196.168.0.100:808'})
proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})

opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36')]
urllib.request.install_opener(opener)

response=urllib.request.urlopen(url)
html=response.read().decode('utf-8')

print(html)