python爬虫训练——爬poj题目

首先要解决的就是不同的题目在不同的页上，也就是要实现翻页功能，自动获取所要爬取的地址，通过分析可以得出不同的页面也就是volume=后面的数字不同

所以我们可以用re模块来替换即可：

new_url = re.sub('(\d+)', '%s' %i, url)

得到所有URL后就很简单了，写个正则表达式来匹配即可。

from urllib import request
import re

def get_page_list(url, total_page):
    page_list = []
    for i in range(1, total_page):
        new_url = re.sub('(\d+)', '%s' %i, url)
        page_list.append(new_url)
    return page_list

if __name__ == '__main__':
    f = open('in.txt','a')
    url = 'http://poj.org/problemlist?volume=1'

    page_list = get_page_list(url, 3)
    for page in page_list:
        text = request.urlopen(page).read().decode()
        s = re.compile(r'href=problem\?(.*?)</a>')
        problem_list = re.findall(s, text)
        for problem in problem_list:
            f.writelines(problem+'\n')
    f.close()