20212101陈雨扬 实验四

实验四 Python综合实践

课程：《Python程序设计》

班级： 2121

姓名：陈雨扬

学号：20212101

实验教师：王志强

实验日期：2022年5月31日

必修/选修： 公选课

 

一、实验目的及内容

夏天来了，南方的舍友对北京的天气变化情况表示很困惑，部分原话为“北京蓝天好少见诶”、“天天阴天”、“你们北京都不下雨的吗？（震惊脸）”身为北京人的我本想反驳，然而一时之间竟发现自己对北京的天气也不甚了解。所以此次实验我想通过爬虫爬取一下2021年全年北京的天气情况并进行统计，对去年北京的天气情况有一个大致的掌握。

由于本人对于课堂上的知识掌握度不高，基础薄弱，所以在百度、b站上对相关知识又进行了更加深入的学习，最终艰难地完成了此次实验。

 

二、实验过程及结果

 

2.1实验思路

在http://www.tianqi.com网站爬取2021年全年北京的天气数据，汇总后写入csv，而后对数据进行处理及可视化，最终生成轮播图。

 

2.2实验过程

 

·导入爬虫所需模块

import requests # 替代浏览器进行网络请求
from lxml import etree  # 数据预处理
import csv   # 写入csv文件

 

·找出url规律

# url的规律：……年份+月份.hml
for month in range(1,13): # 即1-12月（含头不含尾）
    # 某年某月的天气信息
    if month < 10:
        weather_time='2021'+('0'+str(month))
    else:
        weather_time = '2021' + str(month)
    url = f'https://lishi.tianqi.com/beijing/{weather_time}.html'

找到url规律后，就可对这一系列的url发送网络请求。

 

·爬虫阶段（封装到一个单独的函数中）

def getWeather(url):
    weather_info=[] # {'日期':...,'最高气温':...,'天气':... }
    # 请求头
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.53'
    }
    # 发起请求（非结构化的数据）
    resp=requests.get(url, headers=headers)
    # 数据预处理 xpath（xpath数据语法：满足网页结构的语法）
    resp_html=etree.HTML(resp.text)
    # xpath提取当前月所有数据（每个月）
    resp_list=resp_html.xpath("//ul[@class='thrui']/li")

    # for循环迭代遍历每日数据
    for li in resp_list:
        # 每天的数据放入字典
        day_weather_info = {}
        # 日期 {'date_time':'2021-12-01'}
        day_weather_info['date_time']=li.xpath('./div[1]/text()')[0].split(' ')[0] # 只取空格前的日期，舍去星期几
        # 最高气温
        high=li.xpath("./div[2]/text()")[0]
        day_weather_info['high']=high[:high.find('℃')] # 字符串切割 索引 切割到℃的索引位置
        # 最低气温
        low=li.xpath("./div[3]/text()")[0]
        day_weather_info['low']=low[:low.find('℃')]
        # 天气状况
        day_weather_info['weather']=li.xpath("./div[4]/text()")[0]
        weather_info.append(day_weather_info)

    # 返回数据
    print(weather_info)
    return weather_info

 

·调用爬虫函数

# 爬虫获取每个月的天气信息
    weather = getWeather(url)
    # 每月数据存入年数据
    weathers.append(weather)
print(weathers)

 

·汇总数据并写入csv

# 数据写入 csv（一次性写入）
with open('weather.csv','w',newline='') as csvfile:
    writer=csv.writer(csvfile)

    # 写入列名：columns_name
    writer.writerow(['日期','最高气温','最低气温','天气'])
    list_year = [] # 新建年表（存放365个日数据）
    for month_weather in weathers: # 第一层循环：循环每个月的数据
        for day_weather_dict in month_weather: # 在每个月里循环每天的字典数据
            list_year.append(list(day_weather_dict.values())) # 把字典数据的值转换为列表放到年数据里
    writer.writerows(list_year)  # 写入数据

 

得到“weather.csv”

 

 

 

·导入爬虫所需模块

 

import pandas as pd # pandas主要用于读取、处理、储存数据
from pyecharts import options as opts  # 数据可视化
from pyecharts.charts import Pie, Bar, Timeline

 

 

 

·数据处理

 

# 读取数据
df = pd.read_csv('weather.csv',encoding='gb18030')
# print(df['日期'])

df['日期'] = df['日期'].apply(lambda x:pd.to_datetime(x))
# print(df['日期'])

df['month']=df['日期'].dt.month
# print(df['month'])

df_agg = df.groupby(['month','天气']).size().reset_index()
# print(df_agg)

# 设置df_agg列名
df_agg.columns = ['month','tianqi','count']
# print(df_agg)
data = df_agg[df_agg['month']==1][['tianqi','count']]\
    .sort_values(by='count',ascending=False).values.tolist()
# 布尔取值。依次取月份、天气、计数，
# 再用sort_values()进行排序（默认True从小到大排序，False从大到小）
# 得到的数据values不含表头

# print(data)

 

 

 

·数据可视化

 

# 时间序列
timeline = Timeline()
# 播放设置：时间间隔1s=1000ms
timeline.add_schema(play_interval=1000)

for month in df_agg['month'].unique():
    data = (
        df_agg[df_agg['month']==month][['tianqi','count']]
        .sort_values(by='count',ascending=True)
        .values.tolist()
    )
    # 绘制柱状图
    bar = Bar()
    # x轴：天气状态
    bar.add_xaxis([x[0] for x in data])
    # y轴：次数
    bar.add_yaxis('',[x[1] for x in data])

    # 横放柱状图
    bar.reversal_axis()
    # 将计数标签放在图形右边
    bar.set_series_opts(label_opts=opts.LabelOpts(position='right'))
    # 设置下图表的名称
    bar.set_global_opts(title_opts=opts.TitleOpts(title='北京2021年每月天气变化'))
    # 将设置好的bar对象放置到时间轮播图中，且标签选择月份
    timeline.add(bar,f'{month}月')

# 将放置好的图标保存为html文件
timeline.render('weather.html')

 

 

 

2.3实验结果

 

 得到2021年北京天气变化轮播图。

·在云服务器上运行

 

 

 

 

 

2.4补充知识

 

·requests模块

最基本的HTTP请求模块，可以用它来模拟发送一请求，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。

 

·pandas模块

强大的数据处理模块。可以解决数据的预处理工作，如数据类型的转换、缺失值的处理、描述性统计分析和数据的汇总等。

·构造序列：

 

 

通过字典构造不同，第一列为具体的行名称，对应字典中的键，第二列为序列的实际值，对应字典中的值。

·读取文本文件：

使用Pandas中的read_table函数或者read_csv函数

 

 

header：是否需要将原数据集中的第一行作为表头，默认将第一行用作字段名称

 

·groupby函数

主要作用：进行数据的分组以及分组后的组内运算

主要涉及步骤：

拆分：根据指定的标准对数据进行切割，并分为不同的组别

应用：分别在每个组中应用函数

组合：将所有的结果组合为数据结构

 

 

一、实验中遇到的问题

 

1）导入模块部分全为灰色，以为出错了

 解决：百度搜索后得知是因为还未使用到这些模块，太心急啦！

2）每次运行生成的轮播图都会产生随机错误，包括x轴月份错乱甚至直接变成天气状况等，很头疼。

 

 

 解决：仔细检查后发现误将[]打成了{ }，修改后即可生成正确的图像。

3）企图在云服务器中下载lxml库，然而只能下到python2.7里，参照了百度的多种方法还是无法下到python3.7里，导致程序无法运行。

解决：借了课代表同学的云服务器，在他的服务器上运行成功。

 

 

一、课程总结

作为一名以前基本没有接触过计算机的小白来说，这学期同时学习C语言和python确实是有些吃力。虽然上学期选课时信心满满，喊着“我要好好学python！”的口号为抢到了这门课庆幸不已，然而这学期并没有尽力去学，很多时候没听懂或是跟不上就干脆地放弃了，没有努力补上。现在反思起来，实在是愧对老师的付出，也愧对自己的初心。

不过一学期下来收获也是不小的。虽说对很多具体的知识点没有深入掌握，但对python这门语言有了大体的了解，最重要的是有了一种亲切感、熟悉感，燃起了兴趣。印象最深刻的是老师灿烂的笑容，每次讲python都是乐呵呵的，给人一种没有什么困难克服不了的明媚心情，一种打心底的鼓舞。抱着这样的心态学习python，便觉得轻松了很多。

对课程的建议：平时每次课后可以留一些小作业，以便加深印象。清楚地记得当时讲数组的那堂课，课上听得可明白了，但课后发现自己什么都打不出来。如果当时上完课就进行练习巩固的话，或许能有更深刻的印象。

最后，由衷地感谢老师的教导，带我们走入奇妙的python世界。漫漫暑假，我打算继续进行对python的学习，多少弥补些这学期的遗憾，真正学到些技术。人生苦短，我学python！谢谢老师~