中国大学排名定向爬虫

　　最近开始学习爬虫，在自己的这双笨拙的手一行一行的敲打出代码，完成了一个简单的实例，突然有了想写博客的冲动，便急急忙忙的去申请.......这才有了这篇随笔。

 

中国大学排名url：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html

所要用到的python库：Requests  bs4

获取网址内容

def getHtmlText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent.encoding
        return r.text
    except:
 8          print('获取网址错误')

 

提取网页内容存放到合适的数据结构

import bs4

def fillRankList(ulist,demo):
    soup = BeautifulSoup(demo,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')    #tr是一行，td是行中的列，相当于tds = tr.find_all('td')
8             ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])

打印排名

def printRankList(ulist,num):
    print("{:^10}\t{:^6}\t{:^10}\t{:^6}".format('排名‘，’学校名称‘，’省份‘，‘总分’）
    for i in range(num):
        u = ulist[i]
        print("{:^10}\t{:^6}\t{:^10}\t{:^6}".format(u[0],u[1],u[2],u[3]))

主程序

imort Request
from bs4 import BeautifulSoup

def mian():
    Ulist = []
    url = "http://zuihaodaxue.cn/zuihaodaxuepaiming2019.html"
    demo = getHtmlText(url)
    fillRankList(Ulist,demo)
    printRankList(Ulist,20)