代理池的维护（二）

获取模块

获取模块的逻辑比较简单，从各大网站抓取代理

利用元类的方式获取抓取代理的方法

方便起见，将获取代理的每个方法统一定义为crawl开头，扩展的时候，只需要添加crawl开头的方法即可。

示例如下：

# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq

from ProxyPool.utils import get_page


class ProxyMetaclass(type):
    def __new__(cls, name, bases, attrs):
        count = 0
        attrs['__CrawlFunc__'] = []
        for k, v in attrs.items():
            if 'crawl_' in k:
                attrs['__CrawlFunc__'] = count
                count += 1
        attrs['__CrawlFuncCount__'] = count
        return type.__new__(cls, name, bases, attrs)


class Crawl(object, metaclass=ProxyMetaclass):
    def get_proxies(self, callback):
        proxies = []
        for proxy in eval("self.{}()".format(callback)):
            print("成功获取到代理", proxy)
            proxies.append(proxy)
        return proxies

    def crawl_dali66(self, page_count=4):
        """
        获取代理66
        :param page_count: 页码
        :return: 代理
        """
        start_url = 'http://www.66ip.cn/{}.html'
        urls = [start_url.format(page) for page in range(1, page_count+1)]
        for url in urls:
            print('Crawling', url)
            html = get_page(url)
            if html:
                doc = pq(html)
                trs = doc('.containerbox table tr:gt(0)').items()
                for tr in trs:
                    ip = tr.find('td:nth-child(1)')
                    port = tr.find('td:nth-child(2)')
                    print(':'.join([ip, port]))
                    yield ':'.join([ip, port])

定义成生成器，通过yield返回一个代理。首先获取网页，然后利用pyquery解析，解析出Ip加port的形式的代理然后返回。

然后定义了一个get_proxies方法，将所有以crawl开头的方法调用一遍，获取每个方法返回的代理组合成列表形式返回。

如果要做扩展，只需要添加一个以crawl开头的方法，仿照现有方法将其定义为生成器，抓取其网站的代理，通过yield返回。