手把手教你搞定ip反爬并获取招聘网站信息

哈罗，大家好啊，之前跟大家分享过很多关于爬虫的知识，今天给大家继续带来干货，JS逆向。

网站的反爬措施有很多，例如：js反爬、ip反爬、css反爬、字体反爬、验证码反爬、滑动点击类验证反爬等等，今天我们通过爬取某招聘来实战ip反爬。

今日访问的目标网站：https://www.zhipin.com/

ip反爬是数据采集中最常见的反爬技术，目标网站通过限制访问的ip来限制爬虫程序的访问，基本上有价值的网站都是会有ip反爬的。解决ip反爬的最简单方式就是使用代理，但是网上代理千千万万，好用的确只有那么极少数。今天跟大家分享一家代理，即亿牛云代理，我们通过使用亿牛云代理来访问目标网站，实现数据的获取。基础的代理使用示例如下：

! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

上面使用的额是动态转发，相比api模式提取的会更简单和方便，我觉得挺适合很多人需求的。如果有需求的小伙伴可以亲自实践看下。好了，学习ip反爬并爬取某招聘就讲到这里了！