Python 高级应用程序设计任务

一.主题式网络爬虫设计方案

1.主题式网络爬虫的名称

爬拥有超级计算机500强的公司和数量

2·主题式网络爬虫的内容与数据特征分析

 爬虫的内容：超级计算机500强

 数据特征分析：对前500强超级计算机的品牌公司进行分析

3，主题式网络爬虫设计方案概述（包括实现思路和技术难点）

 设计方案：创建一个get的类，通过get_page爬取网页，在通过parse_page_detail()获取每个详情页所需要爬取的具体信息数据，最后通过save_to_csv()保存到csv文件中。

 技术难点：网址的抓包和正文的提取

二，主题页面的结构特征分析

1，主题页面的特征结构

 

 每页数据有100条数据，共5页，数据总量为500条，通过F12检查页面，发现所需要爬取的数据都是静态的。

2.Htmls页面解析

3.节点（标签）查找方法与遍历方法
（必要时画出节点树结构）

三、网络爬虫程序设计（60分）

爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。
1.数据爬取与采集

2.对数据进行清洗和处理

import requests
import json
from lxml import etree
import seaborn as sns
import pandas as pd

base_url = 'http://www.mtime.com/top/movie/top100/'
config_headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}

#数据爬取
def get_page(page_count):
    res = requests.get("https://www.top500.org/list/2019/11/?page={0}".format(page_count), headers = config_headers)
    return res.content.decode('utf-8')

def parse(data):
    html = etree.HTML(data)
    with open('a', 'w', encoding='utf-8') as f:
        f.write(data)
    computer_list = html.xpath("//table/tr")
    return [parse_item(item) for item in computer_list]

#数据清洗
def parse_item(item):
    d = {}
    d['rank'] = item.xpath('string(./td[1])')
    d['country'] = item.xpath('./td[2]/text()')
    d['company'] = item.xpath('./td[3]/text()')
    d['name'] = item.xpath('string(./td[3]/a/b)')
    d['cores'] = item.xpath('./td[4]/text()')
    d['rmax'] = item.xpath('./td[5]/text()')
    for key, v in d.items():
        if isinstance(v, list) and len(v) > 0:
            d[key] = v[0]
    return d


parse_data = []
for i in range(1, 6):
    data = get_page(i)
    clear_data = parse(data)
    parse_data.extend(clear_data)

pd.DataFrame(parse_data).to_csv('data.csv')

def get_column(dc, column_name):
    return ','.join([item[column_name] for item in dc])

4.数据分析与可视化
（例如：数据柱形图、直方图、散点图、盒图、分布图、数据回归分析等）

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

f = open('data.csv',encoding='UTF-8')
data = pd.read_csv(f,sep=',',header=None,encoding='UTF-8',names=['rank','country','company','name','ores','rmax'])

#各国家拥有超级电脑数量
country = data['country'].value_counts()
sns.set_style("darkgrid")
bar_plot = sns.barplot(x=(country.index),y=country.values, palette="muted")
plt.xticks(rotation=90)
plt.show()

每个国家拥有超级计算机的数量

import matplotlib.pyplot as plt
from wordcloud import WordCloud
import pandas as pd

f = open('data.csv',encoding='UTF-8')
data = pd.read_csv(f,sep=',',header=None,encoding='UTF-8',names=['rank','country','company','name','ores','rmax'])

def draw_country_wordcloud():
    country_str = ",".join(data['country'])
    #生成国家词云
    country_wordcloud = WordCloud(background_color="white",width=1000, height=860, margin=2).generate(country_str)
    #生成公司词云
    plt.imshow(country_wordcloud)
    plt.axis("off")
    plt.show()
    country_wordcloud.to_file('country_wordcloud.png')

def draw_company_wordcloud():
    company_str = ",".join(data['company'])
    company_wordcloud = WordCloud(background_color="white",width=1000, height=860, margin=2).generate(company_str)
    plt.imshow(company_wordcloud)
    plt.axis("off")
    plt.show()
    company_wordcloud.to_file('country_wordcloud.png')


draw_country_wordcloud()

国家的词云

 

 品牌词云

 

四、结论（10分）

1.经过对主题数据的分析与可视化，可以得到哪些结论？

①在世界上拥有超级电脑的国家中，中国远超美国成为拥有最多超级电脑的国家。

②中国华为拥有超级电脑的能力。

③在超级电脑的领域，欧洲国家的公司占了很大一部分

2.对本次程序设计任务完成的情况做一个简单的小结。

在这次Python爬虫的过程中我学到了很多在实践中才会遇到的问题，在这次的爬虫中我用到了Xpath。这让我在学习过后的到了很好的复习和巩固，利用好python我们可以爬到很多有用的点，比如说这次我可以爬到超级电脑的国家，品牌和每个国家的数量。并利用可视化很清晰的展示出差别。