第一次作业——结合三次小作业

作业①:UniversityRanking

1)要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。

2)代码：

import urllib.request
from bs4 import BeautifulSoup
url = "http://www.shanghairanking.cn/rankings/bcur/2020"
resp = urllib.request.urlopen(url)  #打开URL
data = resp.read()  #读取URL内容
html = data.decode()  #对网页内容解码，转为字符串
soup = BeautifulSoup(html,"html.parser")    #使用beautifulsoup库解析
university=soup.select("a[href$='university']")
print("排名\t\t学校名称\t\t省市\t\t学校类型\t总分")   #打印表头
for table in university:
    tag=table.parent    #这是表的主码
    tank=tag.previous_sibling
    area=tag.next_sibling
    type=area.next_sibling
    result=type.next_sibling
    print(tank.text.strip()+"\t\t"+tag.text.strip()+"\t\t"+area.text.strip()+"\t\t"+type.text.strip()+"\t\t"+result.text.strip())    
    #if(len(tag)>=8):
        #print(tank.text.strip()+"\t\t"+tag.text.strip()+"\t"+area.text.strip()+"\t\t"+type.text.strip()+"\t\t"+result.text.strip())
    #else:
        #print(tank.text.strip()+"\t\t"+tag.text.strip()+"\t\t"+area.text.strip()+"\t\t"+type.text.strip()+"\t\t"+result.text.strip())
    #本来是打算调节一下间距的，但好像没用

3）结果

4）心得

1.初步了解了爬取网页的大致流程
2.学习了HTML网页架构
3.学习了beautifulsoup库，urllib.request方法的使用

作业②:

1)要求：用requests和re库方法设计某个商城（自已选择）商品比价定向爬虫，爬取该商城，以关键词“书包”搜索页面的数据，爬取商品名称和价格。

2)代码：

import requests
from bs4 import BeautifulSoup
def getHTMLText(url):   #获得网页内容
        header = {"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 6.0 x64; en-US; rv:1.9pre) Gecko/2008072421 Minefield/3.0.2pre"}   #伪装成浏览器的头部，然而京东似乎并没有对爬虫作出限制
        html = requests.get(url, headers=header)
        html.encoding = html.apparent_encoding  #作用是把编码方式改为UTF-8
        return html.text
def getList(html):  #给出列表
        if html=='':
            print('页面不存在')
        else:
            dict = {}   #要先声明dict是个列表
            soup = BeautifulSoup(html, 'html.parser')
            for i in range(20):
                info = soup.find_all('div',attrs={'class':"gl-i-wrap"})[i]
                price = info.find_all('div',attrs={'class':"p-price"})[0]
                name = info.find_all('div',attrs={'class':"p-name p-name-type-2"})[0]
                valuelist = price.find_all('i')
                keylist = name.find_all('em')
                for i in range(len(keylist)):
                    key = keylist[i].text
                    val = valuelist[i].text
                    dict[key] = val
            return dict
#我没有写try...catch，毕竟这不是一个正式的应用程序，有错直接报就行
#words = '蓝牙耳机'
stocklist = 'https://search.jd.com/Search?keyword=%E8%93%9D%E7%89%99%E8%80%B3%E6%9C%BA&enc=utf-8&wq=%E8%93%9D%E7%89%99%E8%80%B3%E6%9C%BA&pvid=1d21c1acf22a4472a48abe678343b213'
url = stocklist
#url = stocklist + words    #看网上示例要加上words......但我没看明白，删掉也没有出问题
html = getHTMLText(url)
dict1 = getList(html)
title = "{:4}\t{:20}\t{:4}\t"
print(title.format("序号", "商品名称", '价格'))     #更为合理的输出format，不然会挤成一团
count = 0
for n in dict1:
    count = count + 1
    print(title.format(count, n, dict1[g]))

3)结果

4）心得

1.加深了对HTML网页架构的了解
2.尝试了apparent_encoding方法
3.加深了对header方法的理解

作业③：

1）要求：爬取一个给定网页（http://xcb.fzu.edu.cn/html/2019ztjy）或者自选网页的所有JPG格式文件

2）代码：

import re
from bs4 import BeautifulSoup
import urllib.request
url = "http://xcb.fzu.edu.cn/"
def getHTML(url):
    if url == '':
       print('页面不存在')
    else:
        resp = urllib.request.urlopen(url)
        data = resp.read()
        return data.decode()
        soup = BeautifulSoup(html,'html.parser')
        flag = soup.find_all("img", attrs={"src": re.compile('jpg')})     #使用compile编译为字节代码对象
        return flag
def getJPG(tags):
    jpg = []
    name = []
    for image in tags:
        src = image.get("src")      #此处要声明好src类型，否则会一直报错AttributeError: 'str' object has no attribute 'get'
        n = re.search("\w+\.", src)
        name.append(src[n.start():n.end()] + "jpg")
        jpg.append(src)
    return jpg, name
def save(path, jpg, name):
    i = 0
    for i in range(len(jpg)):
        urllib.request.urlretrieve(jpg[i], path + '/' + name[i])    #urlretrieve方法直接将远程数据下载到本地
save_path = r"picture"
tags = getHTML(url)
jpg,name = getJPG(tags)
save(save_path, jpg, name)

3）结果

4）心得

1.加深了对了re库、append函数、urllib.request.urlretrieve方法的应用
2.进一步学习了HTML网页源代码的结构
3.重新学习了如何在本地存储文件