用python爬取泉州智慧交通上实时拥堵数据

一、选题背景

交通对于一个城市而言是不可忽视的事情，在科技日益发达的当今世界，也随着智慧交通的普及，交通的数据清晰，我们的生活也趋于更加便利的环境，但其上面的数据并不是很直观。因此，我做了一个对于智慧交通网站上，数据爬取并进行数据分析及可视化，来让数据更加直观明了。

二、主题式网络爬虫设计方案

1.网络爬虫名称

爬取百度地图智慧交通的泉州拥堵指数内容

2.网页网址

http://jiaotong.baidu.com/top/report/?citycode=134

 3.主题页面的结构特征分析

数据源代码

 

 

发现 在body标签里没有div的内容，只有script标签内容。但是用鼠标右键，检查元素（F12）中是可以看到内容的，我想到了用Python中selenium的解析库来做。

并且发现页面中有些数据不是文字格式，而是通过数据可视化形成的绘图对象，如图：

 

 

 在网上查阅了大量资料后且求助了老师，得知在网页源码里体现不到的数据，一般是通过json文件发送的。

右键检查元素（F12）找到Network，左侧的Name栏是页面发送的相关请求，右侧有Headers、Preview、Response等属性，我们单击Preview会出现一些json数据，经过对比我发现正是我在源码里获取不到的绘图对象的数据。

 

 

点击对应请求的Headers，我们可以看到页面请求的地址Request URL，进行爬取数据

这个Request URL就是我们要爬取的目标链接，这个地址里的json数据对应的是“实时拥堵指数”的数据，对于其他的数据，我们一一寻找即可。

 

 三、数据爬取程序设计

1.导入要使用的库

     源码:

#导入要使用的库
import requests
import re
import json

2.获取页面

     源码:

def get_page(url):
    try:
        response = requests.get(url)
        if response.content:  # 返回成功
            return response
    except requests.ConnectionError as e:
        print('url出错', e.args)

尝试运行一下程序，将get_page(url)的返回值转为文本格式，输出get_page(url)的返回值和返回值类型。

       源码:

#将get_page(url)的返回值转为文本格式
url = 'https://jiaotong.baidu.com/trafficindex/city/details?cityCode=134&callback=jsonp_1570959868686_520859'
print(type(get_page(url)))
print(get_page(url).text)

运行结果

 

 

 

3.解析页面

获取到文本格式的页面信息后，我们要对页面进行解析，和解析网页源码类似，我们要找一下，获取到的页面信息有哪些是我们需要的。

     源码:

#将get_page(url)的返回值转为文本格式
url = 'https://jiaotong.baidu.com/trafficindex/city/details?cityCode=134&callback=jsonp_1570959868686_520859'
print(type(get_page(url)))
print(get_page(url).text)

在数据中发现，json格式的数据类似与Python中的字典:{key : value}，显然返回的页面文本有一些其他数据，我们要对这些数据进行一下筛选，找出我们需要的那一部分。

     源码:

# 获取实时拥堵指数内容
def get_detail(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    detail = transformData['data']['detail']
    print('实时拥堵指数数据：')
    for i in detail:
        print(str(i)+'：'+str(detail[i]))

这样即可获取页面返回文本中括号里的内容，这里用到了re.findall()函数，re.findall(pattern，string)可以将传入的字符串以列表的形式返回，因此，这里取re.findall(pattern, page.text)[0]（返回只有一串json文本，只取列表中的第一个即可）。用json.loads()读取处理过的数据，加载成Python中的字典格式。

运行衬程序结果展示

 

 

 页面中获取不到的实时交通指数数据，已经被我们成功获取到了，再将获取到的数据写入txt文件中即可。

设计一个txt的生成程序，储存数据

       源码:

import requests
import re
import json

def get_page(url):
    try:
        response = requests.get(url)
        if response.content:  # 返回成功
            return response
    except requests.ConnectionError as e:
        print('url出错', e.args)

def write_to_file(content):
    with open('泉州市交通情况数据爬取.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False)+'\n')
        # f.close()

4.在此基础上，用同样的方法我还爬取了实时拥堵指数变化内容、实时道路拥堵指数、实时拥堵里程、昨日早晚高峰内容、全部道路拥堵情况

（1）实时拥堵指数变化情况

       源码:

# 获取实时拥堵指数变化内容
def get_curve(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    curve_detail = transformData['data']['list']
    k = 0
    for roadrank_list in curve_detail:
        print('---------------分割线---------------')
        print(k)
        write_to_file(str(k)+str(roadrank_list))
        k += 1
        print(roadrank_list)
url_curve = 'https://jiaotong.baidu.com/trafficindex/city/curve?cityCode=134&type=minute&callback=jsonp_1571018819971_8078256'
# 获取实时拥堵指数变化内容
print('获取实时拥堵指数变化内容')
write_to_file('获取实时拥堵指数变化内容')
get_curve(get_page(url_curve))

运行程序结果展示

 

 （2）获取实时道路拥堵数据内容

       源码:

# 获取实时道路拥堵指数内容
def get_road(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    detail = transformData['data']['detail']
    for i in detail:
        write_to_file(str(i)+'：'+str(detail[i]))
        print(str(i)+'：'+str(detail[i]))
url_road = 'https://jiaotong.baidu.com/trafficindex/city/road?cityCode=134&callback=jsonp_1571014746541_9598712'
# 获取实时道路拥堵指数内容
print('获取实时道路拥堵指数内容')
write_to_file('获取实时道路拥堵指数内容')
get_road(get_page(url_road))

程序运行结果展示

 

 

 （3）获取实时拥堵里程内容

       源码:

# 获取实时拥堵里程内容
def get_congestmile(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    congest = transformData['data']['congest']
    for i in congest:
        write_to_file(str(i)+'：'+str(congest[i]))
        print(str(i)+'：'+str(congest[i]))
        
url_congestmile = 'https://jiaotong.baidu.com/trafficindex/city/congestmile?cityCode=134&callback=jsonp_1571014746542_5952586'   

# 获取实时拥堵里程内容
print('获取实时拥堵里程内容')
write_to_file('获取实时拥堵里程内容')
get_congestmile(get_page(url_congestmile))

程序运行结果展示

 

 

 （4）获取早晚峰内容

       源码:

# 获取昨日早晚高峰内容
def get_peakCongest(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    peak_detail = transformData['data']['peak_detail']
    for i in peak_detail:
        write_to_file(str(i)+'：'+str(peak_detail[i]))
        print(str(i)+'：'+str(peak_detail[i]))
url_peakCongest = 'https://jiaotong.baidu.com/trafficindex/city/peakCongest?cityCode=134&callback=jsonp_1571014746543_3489265'
# 获取昨日早晚高峰内容
print('获取昨日早晚高峰内容')
write_to_file('获取昨日早晚高峰内容')
get_peakCongest(get_page(url_peakCongest))

程序运行结果展示

 （5）获取全道路拥堵情况

       源码:

# 获取全部道路拥堵情况
def get_roadrank(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    roadrank_detail = transformData['data']['list']
    for roadrank_list in roadrank_detail:
        write_to_file('---------------分割线---------------')
        print('---------------分割线---------------')
        for element in roadrank_list:
            if str(element) != 'links' and str(element) != 'nameadd':
                write_to_file(str(element)+':'+str(roadrank_list[element]))
                print(str(element)+':'+str(roadrank_list[element]))
url_roadrank = 'https://jiaotong.baidu.com/trafficindex/city/roadrank?cityCode=134&roadtype=0&callback=jsonp_1571016737139_1914397'
# 获取全部道路拥堵情况
print('获取全部道路拥堵情况')
write_to_file('获取全部道路拥堵情况')
get_roadrank(get_page(url_roadrank))

程序运行结果展示

 

 

四、数据分析及可视化

在爬取完数据之后，选取了实时拥堵指数数据为主体展开分析

1.首先将有用实时拥堵指数数据进行整合，提取有用数据

       源码：

#将实时拥堵指数变化内容里的有用数据导出
from bs4 import BeautifulSoup
import urllib.request
import re

html_doc = "https://jiaotong.baidu.com/trafficindex/city/curve?cityCode=134&type=minute&callback=jsonp_1571018819971_8078256"
req = urllib.request.Request(html_doc)  
webpage = urllib.request.urlopen(req)  
html = webpage.read()
html=html.decode('utf-8')
transformData = json.loads(re.findall(r'[(](.*?)[)]',html)[0])
curve_detail = transformData['data']['list']
print(curve_detail)

将index、speed、time，三样数据导出

 

 

 2.将三样数据导成csv文件，方便之后数据可视化和数据分析中使用

       源码：

#将实时拥堵指数变化内容的有用数据转化为csv文件
import pandas as pd
 
# 下面这行代码运行报错
# list.to_csv('e:/testcsv.csv',encoding='utf-8')
name=['index','speed','time']
test=pd.DataFrame(columns=name,data=curve_detail)#数据有三列，列名分别为one,two,three
print(test)
test.to_csv('泉州实时拥堵指数变化内容.csv',encoding='gbk')
#试运行导出前五行数据
df = pd.read_csv('泉州实时拥堵指数变化内容.csv',encoding='gbk')
df.head()

生成csv文件

 

3.数据分析，将csv文件中的index列的数据进行读取，并转换格式，截取前30个数据进行分析

       源码：

#导入csv模块
import csv
 
#指定文件名，然后使用 with open() as 打开
filename = '泉州实时拥堵指数变化内容.csv'
#导出头文件
with open(filename) as f:
    #创建一个阅读器：将f传给csv.reader
    reader = csv.reader(f)
        
    #使用csv的next函数，将reader传给next，将返回文件的下一行
    header_row = next(reader)
        
    for index, column_header in enumerate(header_row):
         print(index, column_header)
     #读取拥堵指数
     #创建最高拥堵指数的列表
    indexs =[]
    #遍历reader的余下的所有行（next读取了第一行，reader每次读取后将返回下一行）
    for row in reader:
        indexs.append(row[1])
    #f分析前30个拥堵指数
    indexs = indexs[:30]
    print(indexs)
    index = float(row[1])
    indexs.append(index)
            

程序运行结果展示

 

 

 4.采取相同的方法，将time列的数据取出，截取前30个数据，并将time和index两者绘制折线图，分析数据之间的关系

       源码：

import csv
import matplotlib.pyplot as plt
from datetime import datetime
 
filename = '泉州实时拥堵指数变化内容.csv'
with open(filename,'r') as f:
    reader = csv.reader(f)      # 生成阅读器，f对象传入
    header_row = next(reader)   # 查看文件第一行，reader是可迭代对象
 
    dates,indexs = [],[]
    for row in reader:
        #current_date = datetime.strptime(row[3])
        dates.append(row[3])
        #high = int(row[1])
        indexs.append(row[1])
    print(dates)
    indexs = indexs[:30]
    index = float(row[1])
    indexs.append(index)
    dates=dates[:30]
    date=row[3]
    dates.append(date)
 
    # 设置图片大小
    fig = plt.figure(dpi=128,figsize=(10,6))
    plt.plot(dates,indexs, c='red',linewidth=1)        # linewidth决定绘制线条的粗细
 
    # 设置图片格式
    plt.title('实时拥堵指数折线图', fontsize=13)  # 标题
    plt.xlabel('时间', fontsize=14)
    fig.autofmt_xdate()             # 日期标签转为斜体
    plt.ylabel('拥堵指数', fontsize=14)
    plt.tick_params(axis='both',which='major')
    plt.rcParams['font.sans-serif']=['Microsoft YaHei']#显示中文
    plt.show()  # 输出图像

折线图

 

 

 从图像可以看出，拥堵指数大致是增长的趋势，但指数的变化都在分毫之间，也有存在着下降的趋势，说明在夜深的时候，整体变化趋势不大，但是在时间段上还是有区别的。

5.继续分析index和time之间的关系，绘制散点图

       源码：

import csv
import matplotlib.pyplot as plt
from datetime import datetime
 
filename = '泉州实时拥堵指数变化内容.csv'
with open(filename,'r') as f:
    reader = csv.reader(f)      # 生成阅读器，f对象传入
    header_row = next(reader)   # 查看文件第一行，reader是可迭代对象
 
    indexs = []
    for row in reader:
        indexs.append(row[1])
    indexs = indexs[:30]
    index = str(row[1])
    indexs.append(index)
    
    
import matplotlib.pyplot as plt
# 设置圆点大小
size =  5
# 绘制散点图

fig = plt.figure(dpi=128,figsize=(10,6))
plt.scatter(dates,indexs, size, color="r")
plt.xlabel("时间")
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel("拥堵指数")
plt.title("实时拥堵指数散点图")
plt.show()

散点图

通过散点图和折线图可知，指数在1.095居多，且在2点上，指数比其他时间段的都来得小可以得知，在这段时间交通是顺畅的

6.以同样的方法，提取出speed，绘制出speed和time之间的关系图像，执行分析。

       源码：

#导出speed数据
import csv
import matplotlib.pyplot as plt
from datetime import datetime
 
filename = '泉州实时拥堵指数变化内容.csv'
with open(filename,'r') as f:
    reader = csv.reader(f)      # 生成阅读器，f对象传入
    header_row = next(reader)   # 查看文件第一行，reader是可迭代对象
 
    speed = []
    for row in reader:
        speed.append(row[2])
    speeds=speed[:30]
    speed=str(row[2])
    speeds.append(speed)  
    print(speeds)
    
import matplotlib.pyplot as plt
# 设置圆点大小
size =  5
# 绘制散点图

fig = plt.figure(dpi=128,figsize=(10,6))
plt.scatter(dates,speeds, size, color="r")
plt.xlabel("时间")
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel("平均速度")
plt.title("实时拥堵平均速度散点图")
plt.show()

# 设置图片大小
fig = plt.figure(dpi=128,figsize=(10,6))
plt.plot(dates,speeds, c='red',linewidth=1)        # linewidth决定绘制线条的粗细
# 设置图片格式
plt.title('实时拥堵平均折线图', fontsize=13)  # 标题
plt.xlabel('时间', fontsize=14)
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel('平均速度', fontsize=14)
plt.tick_params(axis='both',which='major')
plt.rcParams['font.sans-serif']=['Microsoft YaHei']#显示中文
plt.show()  # 输出图像

折线图

 

 

 

散点图

 

 

 

 根据这两个图像可知，在时间上，时间客观的决定了拥堵的程度，同时牵引着拥堵指数，拥堵指数影响着平均速度，在高峰期的时候更为突出。

7.绘制平均速度和拥堵指数的散点图与折线图，进一步的分析两者之间的关系

       源码：

import matplotlib.pyplot as plt
# 设置圆点大小
size =  5
# 绘制散点图

fig = plt.figure(dpi=128,figsize=(10,6))
plt.scatter(indexs,speeds, size, color="r")
plt.xlabel("拥堵指数")
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel("平均速度")
plt.title("实时拥堵平均速度与拥堵指数散点图")
plt.rcParams['font.sans-serif']=['Microsoft YaHei']#显示中文
plt.show()
# 设置图片大小
fig = plt.figure(dpi=128,figsize=(10,6))
plt.plot(dates,speeds, c='red',linewidth=1)        # linewidth决定绘制线条的粗细
# 设置图片格式
plt.title('实时拥堵平均与拥堵指数之间折线图', fontsize=13)  # 标题
plt.xlabel('拥堵指数', fontsize=14)
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel('平均速度', fontsize=14)
plt.tick_params(axis='both',which='major')
plt.rcParams['font.sans-serif']=['Microsoft YaHei']#显示中文
plt.show()  # 输出图像

散点图

 

 折线图

 

 如图所示平均速度与拥堵指数，相互影响，一方改变就会牵动着另一方的变化，再结合前面的数据分析，得出在不同的时间节点上，拥堵指数和平均速度都在变化，且也会受着不可控因素的影响

8.数据持久化

在数据提取直接采用，csv存储到默认位置，方便打开，并且方便数据更新，并且，方便我们的数据分析，也使得数据能够在任何场地、任何人的电脑都能够运行。

 

9、以上就是我的课程设计，完整代码如下

#导入要使用的库
import requests
import re
import json

#获取页面
def get_page(url):
    try:
        response = requests.get(url)
        if response.content:  # 返回成功
            return response
    except requests.ConnectionError as e:
        print('url出错', e.args)

#输出get_page(url)的返回值和返回值类型。
url = 'https://jiaotong.baidu.com/trafficindex/city/details?cityCode=134&callback=jsonp_1570959868686_520859'
print(type(get_page(url)))
print(get_page(url))

#将get_page(url)的返回值转为文本格式
url = 'https://jiaotong.baidu.com/trafficindex/city/details?cityCode=134&callback=jsonp_1570959868686_520859'
print(type(get_page(url)))
print(get_page(url).text)

# 获取实时拥堵指数内容
def get_detail(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    detail = transformData['data']['detail']
    print('实时拥堵指数数据：')
    for i in detail:
        print(str(i)+'：'+str(detail[i]))
print('获取实时拥堵指数内容')
write_to_file('获取实时拥堵指数内容')
get_detail(get_page(url_detail))


# 获取实时拥堵指数内容

def get_detail(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    detail = transformData['data']['detail']
    print('实时拥堵指数数据：')
    for i in detail:
        print(str(i)+'：'+str(detail[i]))

import requests
import re
import json

def get_page(url):
    try:
        response = requests.get(url)
        if response.content:  # 返回成功
            return response
    except requests.ConnectionError as e:
        print('url出错', e.args)

def write_to_file(content):
    with open('泉州市交通情况数据爬取.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False)+'\n')
        # f.close()

# 获取实时拥堵指数内容
def get_detail(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    detail = transformData['data']['detail']
    for i in detail:
        write_to_file(str(i)+'：'+str(detail[i]))
        print(str(i)+'：'+str(detail[i]))

# 获取实时拥堵指数变化内容
def get_curve(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    curve_detail = transformData['data']['list']
    k = 0
    for roadrank_list in curve_detail:
        print('---------------分割线---------------')
        print(k)
        write_to_file(str(k)+str(roadrank_list))
        k += 1
        print(roadrank_list)

# 获取实时道路拥堵指数内容
def get_road(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    detail = transformData['data']['detail']
    for i in detail:
        write_to_file(str(i)+'：'+str(detail[i]))
        print(str(i)+'：'+str(detail[i]))

# 获取实时拥堵里程内容
def get_congestmile(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    congest = transformData['data']['congest']
    for i in congest:
        write_to_file(str(i)+'：'+str(congest[i]))
        print(str(i)+'：'+str(congest[i]))


# 获取昨日早晚高峰内容
def get_peakCongest(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    peak_detail = transformData['data']['peak_detail']
    for i in peak_detail:
        write_to_file(str(i)+'：'+str(peak_detail[i]))
        print(str(i)+'：'+str(peak_detail[i]))


# 获取全部道路拥堵情况
def get_roadrank(page):
    transformData = json.loads(re.findall(r'[(](.*?)[)]', page.text)[0])
    roadrank_detail = transformData['data']['list']
    for roadrank_list in roadrank_detail:
        write_to_file('---------------分割线---------------')
        print('---------------分割线---------------')
        for element in roadrank_list:
            if str(element) != 'links' and str(element) != 'nameadd':
                write_to_file(str(element)+':'+str(roadrank_list[element]))
                print(str(element)+':'+str(roadrank_list[element]))

if __name__ == '__main__':

    url_detail = 'https://jiaotong.baidu.com/trafficindex/city/details?cityCode=134&callback=jsonp_1570959868686_520859'

    url_curve = 'https://jiaotong.baidu.com/trafficindex/city/curve?cityCode=134&type=minute&callback=jsonp_1571018819971_8078256'

    url_road = 'https://jiaotong.baidu.com/trafficindex/city/road?cityCode=134&callback=jsonp_1571014746541_9598712'

    url_congestmile = 'https://jiaotong.baidu.com/trafficindex/city/congestmile?cityCode=134&callback=jsonp_1571014746542_5952586'

    url_peakCongest = 'https://jiaotong.baidu.com/trafficindex/city/peakCongest?cityCode=134&callback=jsonp_1571014746543_3489265'

    url_roadrank = 'https://jiaotong.baidu.com/trafficindex/city/roadrank?cityCode=134&roadtype=0&callback=jsonp_1571016737139_1914397'

    url_highroadrank = 'https://jiaotong.baidu.com/trafficindex/city/roadrank?cityCode=134&roadtype=1&callback=jsonp_1571018628002_9539211'

    # 获取实时拥堵指数内容
    print('获取实时拥堵指数内容')
    write_to_file('获取实时拥堵指数内容')
    get_detail(get_page(url_detail))

    # 获取实时拥堵指数变化内容
    print('获取实时拥堵指数变化内容')
    write_to_file('获取实时拥堵指数变化内容')
    get_curve(get_page(url_curve))

    # 获取实时道路拥堵指数内容
    print('获取实时道路拥堵指数内容')
    write_to_file('获取实时道路拥堵指数内容')
    get_road(get_page(url_road))

    # 获取实时拥堵里程内容
    print('获取实时拥堵里程内容')
    write_to_file('获取实时拥堵里程内容')
    get_congestmile(get_page(url_congestmile))

    # 获取昨日早晚高峰内容
    print('获取昨日早晚高峰内容')
    write_to_file('获取昨日早晚高峰内容')
    get_peakCongest(get_page(url_peakCongest))

    # 获取全部道路拥堵情况
    print('获取全部道路拥堵情况')
    write_to_file('获取全部道路拥堵情况')
    get_roadrank(get_page(url_roadrank))

    # 获取高速/快速路拥堵情况
    print('获取高速/快速路拥堵情况')
    write_to_file('获取高速/快速路拥堵情况')
    get_roadrank(get_page(url_highroadrank))
    
#将实时拥堵指数变化内容里的有用数据导出
from bs4 import BeautifulSoup
import urllib.request
import re

html_doc = "https://jiaotong.baidu.com/trafficindex/city/curve?cityCode=134&type=minute&callback=jsonp_1571018819971_8078256"
req = urllib.request.Request(html_doc)  
webpage = urllib.request.urlopen(req)  
html = webpage.read()
html=html.decode('utf-8')
transformData = json.loads(re.findall(r'[(](.*?)[)]',html)[0])
curve_detail = transformData['data']['list']
print(curve_detail)

#将实时拥堵指数变化内容的有用数据转化为csv文件
import pandas as pd
 
# 下面这行代码运行报错
# list.to_csv('e:/testcsv.csv',encoding='utf-8')
name=['index','speed','time']
test=pd.DataFrame(columns=name,data=curve_detail)#数据有三列，列名分别为one,two,three
print(test)
test.to_csv('泉州实时拥堵指数变化内容.csv',encoding='gbk')
#试运行导出前五行数据
df = pd.read_csv('泉州实时拥堵指数变化内容.csv',encoding='gbk')
df.head()

#导入csv模块
import csv
 
#指定文件名，然后使用 with open() as 打开
filename = '泉州实时拥堵指数变化内容.csv'
#导出头文件
with open(filename) as f:
    #创建一个阅读器：将f传给csv.reader
    reader = csv.reader(f)
        
    #使用csv的next函数，将reader传给next，将返回文件的下一行
    header_row = next(reader)
        
    for index, column_header in enumerate(header_row):
         print(index, column_header)
     #读取拥堵指数
     #创建最高拥堵指数的列表
    indexs =[]
    #遍历reader的余下的所有行（next读取了第一行，reader每次读取后将返回下一行）
    for row in reader:
        indexs.append(row[1])
    #f分析前30个拥堵指数
    indexs = indexs[:30]
    print(indexs)
    index = float(row[1])
    indexs.append(index)
  
import csv
import matplotlib.pyplot as plt
from datetime import datetime
 
filename = '泉州实时拥堵指数变化内容.csv'
with open(filename,'r') as f:
    reader = csv.reader(f)      # 生成阅读器，f对象传入
    header_row = next(reader)   # 查看文件第一行，reader是可迭代对象
 
    dates,indexs = [],[]
    for row in reader:
        #current_date = datetime.strptime(row[3])
        dates.append(row[3])
        #high = int(row[1])
        indexs.append(row[1])
    print(dates)
    indexs = indexs[:30]
    index = float(row[1])
    indexs.append(index)
    dates=dates[:30]
    date=row[3]
    dates.append(date)
 
    # 设置图片大小
    fig = plt.figure(dpi=128,figsize=(10,6))
    plt.plot(dates,indexs, c='red',linewidth=1)        # linewidth决定绘制线条的粗细
 
    # 设置图片格式
    plt.title('实时拥堵指数折线图', fontsize=13)  # 标题
    plt.xlabel('时间', fontsize=14)
    fig.autofmt_xdate()             # 日期标签转为斜体
    plt.ylabel('拥堵指数', fontsize=14)
    plt.tick_params(axis='both',which='major')
    plt.rcParams['font.sans-serif']=['Microsoft YaHei']#显示中文
    plt.show()  # 输出图像
    
import csv
import matplotlib.pyplot as plt
from datetime import datetime
 
filename = '泉州实时拥堵指数变化内容.csv'
with open(filename,'r') as f:
    reader = csv.reader(f)      # 生成阅读器，f对象传入
    header_row = next(reader)   # 查看文件第一行，reader是可迭代对象
 
    indexs = []
    for row in reader:
        indexs.append(row[1])
    indexs = indexs[:30]
    index = str(row[1])
    indexs.append(index)
    
    
import matplotlib.pyplot as plt
# 设置圆点大小
size =  5
# 绘制散点图

fig = plt.figure(dpi=128,figsize=(10,6))
plt.scatter(dates,indexs, size, color="r")
plt.xlabel("时间")
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel("拥堵指数")
plt.title("实时拥堵指数散点图")
plt.show()

#导出speed数据
import csv
import matplotlib.pyplot as plt
from datetime import datetime
 
filename = '泉州实时拥堵指数变化内容.csv'
with open(filename,'r') as f:
    reader = csv.reader(f)      # 生成阅读器，f对象传入
    header_row = next(reader)   # 查看文件第一行，reader是可迭代对象
 
    speed = []
    for row in reader:
        speed.append(row[2])
    speeds=speed[:30]
    speed=str(row[2])
    speeds.append(speed)  
    print(speeds)
    
#实时拥堵平均速度散点图和折线图
import matplotlib.pyplot as plt
# 设置圆点大小
size =  5
# 绘制散点图

fig = plt.figure(dpi=128,figsize=(10,6))
plt.scatter(dates,speeds, size, color="r")
plt.xlabel("时间")
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel("平均速度")
plt.title("实时拥堵平均速度散点图")
plt.show()

# 设置图片大小
fig = plt.figure(dpi=128,figsize=(10,6))
plt.plot(dates,speeds, c='red',linewidth=1)        # linewidth决定绘制线条的粗细
# 设置图片格式
plt.title('实时拥堵平均折线图', fontsize=13)  # 标题
plt.xlabel('时间', fontsize=14)
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel('平均速度', fontsize=14)
plt.tick_params(axis='both',which='major')
plt.rcParams['font.sans-serif']=['Microsoft YaHei']#显示中文
plt.show()  # 输出图像


#绘制平均速度和拥堵指数的散点图和折线图
import matplotlib.pyplot as plt
# 设置圆点大小
size =  5
# 绘制散点图

fig = plt.figure(dpi=128,figsize=(10,6))
plt.scatter(indexs,speeds, size, color="r")
plt.xlabel("拥堵指数")
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel("平均速度")
plt.title("实时拥堵平均速度与拥堵指数散点图")
plt.rcParams['font.sans-serif']=['Microsoft YaHei']#显示中文
plt.show()
# 设置图片大小
fig = plt.figure(dpi=128,figsize=(10,6))
plt.plot(dates,speeds, c='red',linewidth=1)        # linewidth决定绘制线条的粗细
# 设置图片格式
plt.title('实时拥堵平均与拥堵指数之间折线图', fontsize=13)  # 标题
plt.xlabel('拥堵指数', fontsize=14)
fig.autofmt_xdate()             # 日期标签转为斜体
plt.ylabel('平均速度', fontsize=14)
plt.tick_params(axis='both',which='major')
plt.rcParams['font.sans-serif']=['Microsoft YaHei']#显示中文
plt.show()  # 输出图像

 

五、总结

1.预期与结果：

（1）根据数据网络爬虫，数据整合及转换，还有最后的数据分析来说，本次课程设计已经达到了我所预期的，能够将数据爬取出来，也能够将数据进行可视化和数据分析，让百度地图上不能够很直观的数据，能够直观的展现出来；同时分析了三种数据之间的关系，以图表的形式，是预期想做的，能够使他们之间的关系更加明了。

（2）这次的课程设计比较妙的地方在于，将数据进行了csv文件的生成，让数据可以随时可用，也可以随时可以更新，符合了我所想要达到的实验目的，让实时数据可以随时导出，随时利用。

2.不足之处：

（1）在前期的数据爬取上，仍存在着很多不懂的地方，在网络爬取数据方面需要进一步的加强；

（2）在后面的csv文件的导出上，还是不够熟练，花费时间过长

（3）在数据可视化分析上，有些语句仍不够熟练，不能很好的利用，进行数据可视化，导致在图像方面上，并没有达到预期的想法。