python课程设计——链家二手房数据爬取+大数据分析与可视化

一.选题的背景

我本次的主题是厦门二手房房价的调查分析。

房价飞涨，年轻的我们刚毕业走出校门，又遇到令人喘不过气的房价。处于尴尬时期的我们，只能望楼兴叹，但是除此之外我们还可以房价分析。利用科学的技术手段，洞察房价的趋势。我们不买房，不炒房，但可以做到心中有个底。

房主在决议卖房时起初需要考虑的即是一定房子的出售价钱。假如房价太高，买房的人群就会削减甚至房屋长期没法售出。假如房价太低，房主即使可以很快卖房，但是却发生很多的经济损失。尤其是二手房，房子因为不合房主的入住会发生不合，从而招致房价的不合。那么二手房房价若何评介？现在大多采取房产价钱评介的商场对照法，经过对同一楼盘的在售房源的挂牌价钱，和同典型楼盘的近期实际成交价钱进行专业措置，换算出具体某个楼盘的平均单价，而后联络待评介房屋的实际情形，包罗面积、楼层、朝向、装修情形、其余特征原因等等，计较出该房屋相对科学合理的商场参照价。

通过本次实训可以大概了解到厦门二手房的整体情况。

二、项目构建

2.1 需求分析

随着越来越多的城市二手住房成交量超越新房，诸多一、二线城市迎来“存量”住宅交易时代，承接绝大多数购房需求释放。另一方面，自去年上半年以来，新房供应持续短缺也给二手住房交易不断“复苏”创造空间，更多购房需求主动“转移”至存量市场。数据表现为今年以来重点城市挂牌量的持续小幅减少，二手房住宅成交量的触底回升以及重点城市如广州、重庆、武汉等，一、二手房住宅价格持续“倒挂”，都预示二手房市场正以卖方为主导。

2.2可行性分析

在此背景下，研究当前二手住房市场的整体情况变得尤为重要：第一，可以反映市场真实的需求状况，不得不说人为“限价”主导的新房供应、成交难免“失真”，相较而言，二手市场成交结构的变化可以客观反映出当前购房者真是需求状态以及这种变化，到底是什么样的人才买房？这些购房者真正需要什么样的产品？第二，二手存量市场作为核心而一线城市市场重要部分，对其发展变化总结也可以合理预判未来不同城市的购房偏好。

三、数据分析步骤（70 分）

3.1 数据采集

该部分通过网络爬虫程序抓取链家网上所有上海二手房的数据，收集原始数据，作为整个数据分析的基石。通过导入requests库，pandas库获取数据，通过url到指定的网站进行数据爬取，设置了id，小区名（xiaoquming），价格（jiage），地区（diqu），房屋户型(fangwuhuxing)，所在楼层(suozailouceng)，建筑面积(jianzhumianji)，户型结构(huxingjiegou)，建筑类型（jianzuleixing）,房屋朝向（fangwuchaoxiang），建成年代(jianchengniandai)，装修时间(zhuangxiuqingkuang)，建筑结构(jianzhujiegou),供暖方式(gongnuanfangshi)，单价(danjia)等15个字段，最后通过save_data（）将爬取的数据进行保存。

#爬取的关键代码

import requests,time,csv
import pandas as pd
from lxml import etree

#获取每一页的url
def Get_url(url):
    all_url=[]
    for i in range(1,101):
        all_url.append(url+'pg'+str(i)+'/') #储存每一个页面的url
    return all_url

#获取每套房详情信息的url
def Get_house_url(all_url,headers):
    num=0
    #简单统计页数
    for i in all_url:
        r=requests.get(i,headers=headers)
        html=etree.HTML(r.text)
        url_ls=html.xpath("//ul[@class='sellListContent']/li/a/@href") #获取房子的url
        Analysis_html(url_ls,headers)
        time.sleep(4)
        print("第%s页爬完了"%i)
        num+=1

#获取每套房的详情信息
def Analysis_html(url_ls,headers):
    for i in url_ls: #num记录爬取成功的索引值
        r=requests.get(i,headers=headers)
        html=etree.HTML(r.text)
        name=(html.xpath("//div[@class='communityName']/a/text()"))[0].split() #获取房名
        money = html.xpath("//span[@class='total']/text()" )# 获取价格
        area = html.xpath("//span[@class='info']/a[1]/text()")  # 获取地区
        data = html.xpath("//div[@class='content']/ul/li/text()")# 获取房子基本属性

        Save_data(name,money,area,data)

#把爬取的信息存入文件
def Save_data(name, money, area, data):
    result=[name[0]]+money+[area]+data #把详细信息合为一个列表
    with open(r'raw_data.csv','a',encoding='utf_8_sig',newline='')as f:
        wt=csv.writer(f)
        wt.writerow(result)
        print('已写入')
        f.close()

if __name__=='__main__':
    url='https://xm.lianjia.com/ershoufang/'
    headers={
        "Upgrade-Insecure-Requests":"1",
        "User-Agent":"Mozilla/5.0(Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML,like Gecko)Chrome"
                     "/72.0.3626.121 Safari/537.36"
    }
    all_url=Get_url(url)
    with open(r'raw_data.csv', 'a', encoding='utf_8_sig', newline='') as f:
        #首先加入表格头
        table_label=['小区名','价格/万','地区','房屋户型','所在楼层','建筑面积','户型结构','套内面积','建筑类型','房屋朝向'
            ,'建成年代','装修情况','建筑结构','供暖方式']
        wt=csv.writer(f)
        wt.writerow(table_label)
    Get_house_url(all_url,headers)

 

3.1.1 链家网站结构分析

链家网二手房主页界面如图4-1、图4-2，主页上面红色方框位置显示目前上海二手房在售房源的各区域位置名称，中间红色方框位置显示了房源的总数量，下面红色方框显示了二手房房源信息缩略图，该红色方框区域包含了二手房房源页面的URL地址标签。图4-2下面红色方框显示了二手房主页上房源的页数。

链家网二手房主页截图上半部分：

图3-1 链家网二手房主页

图3-2 链家网二手房主页

二手房房源信息页面如图4-3、图4-4。我们需要采集的目标数据就在该页面，包括基本信息、房屋属性和交易属性三大类。各类信息包括的数据项如下：

1）基本信息：小区名称、所在区域、总价、单价。

2）房屋属性：房屋户型、所在楼层、建筑面积、户型结构、面积、建筑类型、房屋朝向、建筑结构、装修情况

3）交易属性：挂牌时间、交易权属、上次交易、房屋用途、房屋年限、产权所属、抵押信息、房本备件。

图3-3 二手房房源信息页面

图3-4 二手房房源信息页面

3.1.2 网络爬虫程序关键问题说明

1）问题1：链家网二手房主页最多只显示100页的房源数据，所以在收集二手房房源信息页面URL地址时会收集不全，导致最后只能采集到部分数据。

解决措施：将所有厦门二手房数据分区域地进行爬取，100页最多能够显示3000套房，该区域房源少于3000套时可以直接爬取，如果该区域房源超过3000套可以再分成更小的区域。

2）问题2：爬虫程序如果运行过快，会在采集到两、三千条数据时触发链家网的反爬虫机制，所有的请求会被重定向到链家的人机鉴定页面，从而会导致后面的爬取失败。

解决措施：①为程序中每次http请求构造header并且每次变换http请求header信息头中USER_AGENTS数据项的值，让请求信息看起来像是从不同浏览器发出的访问请求。②爬虫程序每处理完一次http请求和响应后，随机睡眠1-3秒，每请求2500次后，程序睡眠20分钟，控制程序的请求速度。

3.2 数据清洗

对于爬虫程序采集得到的数据并不能直接分析，需要先去掉一些“脏”数据，修正一些错误数据，统一所有数据字段的格式，将这些零散的数据规整成统一的结构化数据。

4.2.1 原始数据主要需要清洗的部分

通过pandas库中的DataFrame对象进行数据清洗，通过语句df = df.dropna()来去除存在缺失值的交易记录，通过duplicated()函数删除重复值。结果如图4-5所示

主要需要清洗的数据部分如下：

1）将杂乱的记录的数据项对齐

2）清洗一些数据项格式

3）缺失值处理

# 数据清洗
def clean_data(data):
    data = data.dropna(axis=1, how='all')  # 删除全是空行列
    # data.index = data['小区名']
    # del data['小区名']

    # 2.查看表格数据，一共有23677条数据。
    print(data.describe())

    # 3.查看是否缺失
    print(data.isnull().sum())

    # 删除重复数据
    data = data.drop_duplicates(subset=None, keep='first', inplace=None)
    # 删除‘暂无数据’大于一半数据的列
    if ((data['套内面积'].isin(['暂无数据'])).sum()) > (len(data.index)) / 2:
        del data['套内面积']

    # 把建筑面积列的单位去掉并转换成float类型
    data['建筑面积'] = data['建筑面积'].apply(lambda x: float(x.replace('㎡', '')))

    # 提取地区
    data['地区'] = data['地区'].apply(lambda x: x[2:-2])

    # 计算单价
    data['单价'] = round(data['价格/万'] * 10000 / data['建筑面积'], 2)
    data.to_excel('pure_data.xlsx', encoding='utf-8')


if __name__ == '__main__':
    get_data()

 

3.2.2 数据清洗结果

清洗后的数据如图4-6，可以看出清洗后数据已经规整了许多。

四、 数据可视化分析

在数据清洗完成后，我们就可以开始对数据进行可视化分析。该阶段主要是对数据做一个探索性分析并将结果可视化呈现，更好、更直观的认识数据，把隐藏在大量数据背后的信息集中和提炼出来。主要对二手房房源的总价、单价、面积、户型、地区等属性进行了分析。

4.1房源信息数据展示

房源信息如下4-1所示：

house_list = House.objects.all().order_by('id')

input_1 = request.GET.get("searchorders")

input_2 = request.GET.get("dqchaxun")

if input_1:

house_list = House.objects.filter(xiaoquming=input_1)

paginator = Paginator(house_list, 20)

page = request.GET.get('page')

try:

data_1 = paginator.page(page)

except PageNotAnInteger:

data_1 = paginator.page(1) # 输入不是整数返回第一页

except InvalidPage:

# 找不到就重定向

return render(request, 'index.html', {'house_list': data_1, 'name': input_1})

except EmptyPage: # 不在合法范围就返回最后一页

data_1 = paginator.page(paginator.num_pages)

return render(request, 'index.html', {'house_list': data_1, 'name': input_1})

 

图4-1房源信息展示

4.2房源的户型结构分析

房源户型结构分析如下图5-2所示：

#户型分析

series = df['fangwuhuxing'].value_counts()

series.sort_index(ascending=False, inplace=True)

house_type_list = series.index.tolist()

count_list = series.values.tolist()

c = Bar(init_opts=opts.InitOpts(theme=ThemeType.CHALK))

c.add_xaxis(house_type_list)

c.add_yaxis("厦门市", count_list)

c.reversal_axis()

c.set_series_opts(label_opts=opts.LabelOpts(position="right"))

c.set_global_opts(title_opts=opts.TitleOpts(title="厦门二手房各户型横向条形图"),

datazoom_opts=[opts.DataZoomOpts(yaxis_index=0, type_="slider", orient="vertical")], )

c.render("户型分析-条形图.html")

#楼层分析

Pie(init_opts=opts.InitOpts(width="1600px", height="800px", bg_color="#2c343c"))

.add(

series_name="层段信息",

data_pair=data_pair,

rosetype="radius",

radius="55%",

center=["50%", "50%"],

label_opts=opts.LabelOpts(is_show=False, position="center"),

)

.set_global_opts(

title_opts=opts.TitleOpts(

title="Customized Pie",

pos_left="center",

pos_top="20",

title_textstyle_opts=opts.TextStyleOpts(color="#fff"),

),

legend_opts=opts.LegendOpts(is_show=False),

)

.set_series_opts(

tooltip_opts=opts.TooltipOpts(

trigger="item", formatter="{a} <br/>{b}: {c} ({d}%)"

),

label_opts=opts.LabelOpts(color="rgba(255, 255, 255, 0.3)"),

)

 

图4-2房源户型结构分析

4.4房源的平均单价分析

房源平均单价如4-3所示：

#房源的平均单价分析

city = []

unit_price = []

for index in df['diqu']:

city.append(index)

for index in df['jiage']:

unit_price.append(index)

last_city = list(set(city))

new_unit_price = [[] for i in range(len(last_city))]

last_unit_price = []

for i in range(len(unit_price)):

for j in range(len(last_city)):

if city[i] == last_city[j]:

new_unit_price[j].append(int(unit_price[i]))

for index in new_unit_price:

result = sum(index)/len(index)

last_unit_price.append('%.2f' % result)

c = (

Funnel()

.add(

"平均单价",

[list(z) for z in zip(last_city, last_unit_price)],

sort_="ascending",

label_opts=opts.LabelOpts(position="inside"),

)

.set_global_opts(title_opts=opts.TitleOpts(title="平均单位房价(元/m²)"))

.render("平均单位房价-漏斗图.html")

)

 

图4-3房源平均单价

4.5房源各户型横向图分析

房源各户型分析如4-5：

#

series = df['fangwuhuxing'].value_counts()

series.sort_index(ascending=False, inplace=True)

house_type_list = series.index.tolist()

count_list = series.values.tolist()

c = Bar(init_opts=opts.InitOpts(theme=ThemeType.CHALK))

c.add_xaxis(house_type_list)

c.add_yaxis("厦门市", count_list)

c.reversal_axis()

c.set_series_opts(label_opts=opts.LabelOpts(position="right"))

c.set_global_opts(title_opts=opts.TitleOpts(title="厦门二手房各户型横向条形图"),

datazoom_opts=[opts.DataZoomOpts(yaxis_index=0, type_="slider", orient="vertical")], )

c.render("户型分析-条形图.html")

 

图4-5房源各户型图

4.6房源装修程度分析

房源装修程度如下如4-6所示：

#

series = df['fangwuhuxing'].value_counts()

series.sort_index(ascending=False, inplace=True)

house_type_list = series.index.tolist()

count_list = series.values.tolist()

c = Bar(init_opts=opts.InitOpts(theme=ThemeType.CHALK))

c.add_xaxis(house_type_list)

c.add_yaxis("厦门市", count_list)

c.reversal_axis()

c.set_series_opts(label_opts=opts.LabelOpts(position="right"))

c.set_global_opts(title_opts=opts.TitleOpts(title="厦门二手房各户型横向条形图"),

datazoom_opts=[opts.DataZoomOpts(yaxis_index=0, type_="slider", orient="vertical")], )

c.render("户型分析-条形图.html")

 

图4-6房源装修程度分析图

4.7厦门各区域房源分布

各区域房源分布如图4-7所示：

# 5.统计各城区二手房数量

df = pd.read_excel(r'pure_data.xlsx')

g = df.groupby('diqu')

df_region = g['xiaoquming'].count()

region = df_region.index.tolist()

list_region = []

for row in region:

list_region.append(row + '区')

count = df_region.values.tolist()

print(df_region)

map = (

Map()

.add(series_name='厦门市', data_pair=[list(z) for z in zip(list_region, count)], maptype='厦门')

.set_global_opts(

title_opts=opts.TitleOpts(title='厦门市二手房各区数量分布'),

visualmap_opts=opts.VisualMapOpts(is_show=True, min_=0, max_=1200)

)

)

map.render('地图-二手房数量分布地图.html')

 

图4-7各区域房源分布图

 附完整代码

import requests,time,csv
import pandas as pd
from lxml import etree

#获取每一页的url
def Get_url(url):
    all_url=[]
    for i in range(1,101):
        all_url.append(url+'pg'+str(i)+'/') #储存每一个页面的url
    return all_url

#获取每套房详情信息的url
def Get_house_url(all_url,headers):
    num=0
    #简单统计页数
    for i in all_url:
        r=requests.get(i,headers=headers)
        html=etree.HTML(r.text)
        url_ls=html.xpath("//ul[@class='sellListContent']/li/a/@href") #获取房子的url
        Analysis_html(url_ls,headers)
        time.sleep(4)
        print("第%s页爬完了"%i)
        num+=1

#获取每套房的详情信息
def Analysis_html(url_ls,headers):
    for i in url_ls: #num记录爬取成功的索引值
        r=requests.get(i,headers=headers)
        html=etree.HTML(r.text)
        name=(html.xpath("//div[@class='communityName']/a/text()"))[0].split() #获取房名
        money = html.xpath("//span[@class='total']/text()" )# 获取价格
        area = html.xpath("//span[@class='info']/a[1]/text()")  # 获取地区
        data = html.xpath("//div[@class='content']/ul/li/text()")# 获取房子基本属性

        Save_data(name,money,area,data)

#把爬取的信息存入文件
def Save_data(name, money, area, data):
    result=[name[0]]+money+[area]+data #把详细信息合为一个列表
    with open(r'raw_data.csv','a',encoding='utf_8_sig',newline='')as f:
        wt=csv.writer(f)
        wt.writerow(result)
        print('已写入')
        f.close()

if __name__=='__main__':
    url='https://xm.lianjia.com/ershoufang/'
    headers={
        "Upgrade-Insecure-Requests":"1",
        "User-Agent":"Mozilla/5.0(Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML,like Gecko)Chrome"
                     "/72.0.3626.121 Safari/537.36"
    }
    all_url=Get_url(url)
    with open(r'raw_data.csv', 'a', encoding='utf_8_sig', newline='') as f:
        #首先加入表格头
        table_label=['小区名','价格/万','地区','房屋户型','所在楼层','建筑面积','户型结构','套内面积','建筑类型','房屋朝向'
            ,'建成年代','装修情况','建筑结构','供暖方式']
        wt=csv.writer(f)
        wt.writerow(table_label)
    Get_house_url(all_url,headers)

# encoding: utf-8

import pandas as pd


# 从保存的文本中获取数据
def get_data():
    raw_data = pd.DataFrame(pd.read_excel('raw_data.xlsx'))
    print("数据清洗前共有%s条数据" % raw_data.size)
    clean_data(raw_data)


# 数据清洗
def clean_data(data):
    data = data.dropna(axis=1, how='all')  # 删除全是空行列
    # data.index = data['小区名']
    # del data['小区名']

    # 2.查看表格数据，一共有23677条数据。
    print(data.describe())

    # 3.查看是否缺失
    print(data.isnull().sum())

    # 删除重复数据
    data = data.drop_duplicates(subset=None, keep='first', inplace=None)
    # 删除‘暂无数据’大于一半数据的列
    if ((data['套内面积'].isin(['暂无数据'])).sum()) > (len(data.index)) / 2:
        del data['套内面积']

    # 把建筑面积列的单位去掉并转换成float类型
    data['建筑面积'] = data['建筑面积'].apply(lambda x: float(x.replace('㎡', '')))

    # 提取地区
    data['地区'] = data['地区'].apply(lambda x: x[2:-2])

    # 计算单价
    data['单价'] = round(data['价格/万'] * 10000 / data['建筑面积'], 2)
    data.to_excel('pure_data.xlsx', encoding='utf-8')


if __name__ == '__main__':
    get_data()

import pandas as pd
from pyecharts.charts import Map
from pyecharts import options as opts

if __name__ == '__main__':
    # 5.统计各城区二手房数量
    df = pd.read_excel(r'pure_data.xlsx')
    g = df.groupby('diqu')
    df_region = g['xiaoquming'].count()
    region = df_region.index.tolist()
    list_region = []
    for row in region:
        list_region.append(row + '区')
    count = df_region.values.tolist()
    print(df_region)
    map = (
        Map()
            .add(series_name='厦门市', data_pair=[list(z) for z in zip(list_region, count)], maptype='厦门')
            .set_global_opts(
            title_opts=opts.TitleOpts(title='厦门市二手房各区数量分布'),
            visualmap_opts=opts.VisualMapOpts(is_show=True, min_=0, max_=1200)
        )
    )
    map.render('地图-二手房数量分布地图.html')

from pyecharts import options as opts
from pyecharts.charts import Bar
from pyecharts.commons.utils import JsCode
from pyecharts.globals import ThemeType
import pandas as pd

try:
    df = pd.read_excel(r'pure_data.xlsx')
except:
    df = pd.read_excel(r'pure_data.xlsx')
city_lst = ['思明', '湖里', '集美', '海沧', '同安', '翔安']  # 地区
city = []  # 城市
# buildTime = []  # 建房时期
vules = []  # 价格
# new_buildTime = [[[], []] for i in range(6)]
new_vules=[[[], []] for i in range(6)]
data1 = []
data2 = []
for index in df['diqu']:
    city.append(index)
for index in df['jiage']:
    # buildTime.append(index)
    vules.append(index)
for index in range(len(city)):
    for num in range(len(city_lst)):
        if city[index] == city_lst[num]:
            if int(vules[index]) >= 500:
                new_vules[num][1].append(vules[index])
            else:
                new_vules[num][0].append(vules[index])
for g in range(len(new_vules)):
    value1 = len(new_vules[g][0])
    value2 = len(new_vules[g][1])
    result1 = {'value': value1, 'percent': '%.2f' % (value1 / (value1 + value2))}
    result2 = {'value': value2, 'percent': '%.2f' % (value2 / (value1 + value2))}
    data1.append(result1)
    data2.append(result2)
print(data1)
print(data2)

c = (
    Bar(init_opts=opts.InitOpts(theme=ThemeType.LIGHT))
        .add_xaxis(city_lst)
        .add_yaxis("500万以下的房子", data1, stack="stack1", category_gap="50%")
        .add_yaxis("500万以上的房子", data2, stack="stack1", category_gap="50%")
        .set_series_opts(
        label_opts=opts.LabelOpts(
            position="right",
            formatter=JsCode(
                "function(x){return Number(x.data.percent * 100).toFixed() + '%';}"
            ),
        )
    )
        .render("价格分析-堆叠柱状图.html")
)


import pandas as pd
from pyecharts.charts import Bar
from pyecharts.globals import ThemeType
import pyecharts.options as opts

try:
    df = pd.read_excel(r'pure_data.xlsx')
except:
    df = pd.read_excel(r'pure_data.xlsx', encoding='gbk')

series = df['fangwuhuxing'].value_counts()
series.sort_index(ascending=False, inplace=True)
house_type_list = series.index.tolist()
count_list = series.values.tolist()

c = Bar(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
c.add_xaxis(house_type_list)
c.add_yaxis("厦门市", count_list)
c.reversal_axis()
c.set_series_opts(label_opts=opts.LabelOpts(position="right"))
c.set_global_opts(title_opts=opts.TitleOpts(title="厦门二手房各户型横向条形图"),
                  datazoom_opts=[opts.DataZoomOpts(yaxis_index=0, type_="slider", orient="vertical")], )

c.render("户型分析-条形图.html")
c.render_notebook()

import pandas as pd
from pyecharts import options as opts
from pyecharts.charts import Funnel

try:
    df = pd.read_excel(r'pure_data.xlsx')
except:
    df = pd.read_excel(r'pure_data.xlsx', encoding='gbk')
df.drop_duplicates(subset=None, keep='first', inplace=True)
city = []
unit_price = []
for index in df['diqu']:
    city.append(index)
for index in df['jiage']:
    unit_price.append(index)
last_city = list(set(city))
new_unit_price = [[] for i in range(len(last_city))]
last_unit_price = []
for i in range(len(unit_price)):
    for j in range(len(last_city)):
        if city[i] == last_city[j]:
            new_unit_price[j].append(int(unit_price[i]))
for index in new_unit_price:
    result = sum(index)/len(index)
    last_unit_price.append('%.2f' % result)

c = (
    Funnel()
    .add(
        "平均单价",
        [list(z) for z in zip(last_city, last_unit_price)],
        sort_="ascending",
        label_opts=opts.LabelOpts(position="inside"),
    )
    .set_global_opts(title_opts=opts.TitleOpts(title="平均单位房价(元/m²)"))
    .render("平均单位房价-漏斗图.html")
)


import pandas as pd
from pyecharts.charts import *
from pyecharts import options as opts

try:
    df = pd.read_excel(r'pure_data.xlsx')
except:
    df = pd.read_excel(r'pure_data.xlsx', encoding='gbk')

Elevator_num = df.groupby(['gongnuanfangshi'])['diqu'].count().reset_index()
data_pair = sorted([(row['gongnuanfangshi'], row['diqu'])
                    for _, row in Elevator_num.iterrows()], key=lambda x: x[1], reverse=True)
pie = Pie(init_opts=opts.InitOpts(theme='dark'))
pie.add('', data_pair, radius=["30%", "75%"], rosetype="radius")
pie.set_global_opts(title_opts=opts.TitleOpts(title="厦门二手房供暖情况", pos_left="center",
                                              title_textstyle_opts=opts.TextStyleOpts(color="#000"), ),
                    legend_opts=opts.LegendOpts(is_show=False), )
pie.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {d}%"))

pie.render_notebook()
pie.render("玫瑰饼图-有无供暖.html")


import pandas as pd
from pyecharts.charts import *
from pyecharts import options as opts


try:
    df = pd.read_excel(r'pure_data.xlsx')
except:
    df = pd.read_excel(r'pure_data.xlsx', encoding='gbk')

Renovation_num = df.groupby(['zhaungxiuqingkuang'])['diqu'].count().reset_index()
data_pair_num = sorted([(row['zhaungxiuqingkuang'], row['diqu'])
                    for _, row in Renovation_num.iterrows()], key=lambda x: x[0], reverse=False)

pie = Pie(init_opts=opts.InitOpts(theme='dark'))
pie.add('', data_pair_num,radius=["30%", "75%"],rosetype="radius")
pie.set_global_opts(title_opts=opts.TitleOpts(title="厦门二手房装修分布",pos_left="center",title_textstyle_opts=opts.TextStyleOpts(color="#fff"),),
                       legend_opts=opts.LegendOpts(is_show=False),)
pie.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {d}%"))

pie.render("玫瑰饼图-房屋装修情况.html")
pie.render_notebook()

import pandas as pd
from pyecharts.charts import Bar
from pyecharts.charts import Line
from pyecharts.charts import Grid
from pyecharts import options as opts

if __name__ == '__main__':
    df = pd.read_excel(r'pure_data.xlsx')
    # 6.可视化展示-北京各城区二手房数量-平均价格柱状图
    g = df.groupby('diqu')
    df_region = g['xiaoquming'].count()
    region = df_region.index.tolist()
    list_region = []
    for row in region:
        list_region.append(row + '区')
    count = df_region.values.tolist()
    print(df_region)
    mean = g.mean()
    price = round(mean['jiage'], 2)
    mean_price = price.values.tolist()
    print(mean_price)

    # 实例化一个柱形图对象
    bar = (Bar().add_xaxis(xaxis_data=region))
    bar.add_yaxis(series_name='数量', y_axis=count)
    bar.extend_axis(yaxis=opts.AxisOpts(name='价格(万元)', max_=1200, min_=200, interval=100))
    bar.set_global_opts(title_opts=opts.TitleOpts(title='各城区二手房数量-平均价格柱状图'),
                        yaxis_opts=opts.AxisOpts(name='数量', max_=3000, min_=0),
                        tooltip_opts=opts.TooltipOpts(trigger='axis', axis_pointer_type='cross'),
                        xaxis_opts=opts.AxisOpts(axispointer_opts=opts.AxisPointerOpts(is_show=True, type_='shadow')), )
    # 实例化一个折线图
    line = (Line().add_xaxis(xaxis_data=region))
    line.add_yaxis(series_name='价格', y_axis=mean_price, yaxis_index=1)

    # 组合图
    bar.overlap(line)
    grid = Grid()
    grid.add(bar, grid_opts=opts.GridOpts(), is_control_axis_index=True)
    grid.render('二手房数量-平均价格柱状图.html')


import pandas as pd
import pyecharts.options as opts
from pyecharts.charts import Pie

df = pd.read_excel(r'pure_data.xlsx')
df.drop(df[df['suozailouceng'].str.contains('suozailouceng')].index, inplace=True)
data_heigh = df['suozailouceng']
lst_height_value = data_heigh.value_counts().keys().tolist()
lst_counts = data_heigh.value_counts().tolist()


def get_pie():
    x_data = lst_height_value
    y_data = lst_counts
    data_pair = [list(z) for z in zip(x_data, y_data)]
    data_pair.sort(key=lambda x: x[1])

    c = (
        Pie(init_opts=opts.InitOpts(width="1600px", height="800px", bg_color="#2c343c"))
            .add(
            series_name="层段信息",
            data_pair=data_pair,
            rosetype="radius",
            radius="55%",
            center=["50%", "50%"],
            label_opts=opts.LabelOpts(is_show=False, position="center"),
        )
            .set_global_opts(
            title_opts=opts.TitleOpts(
                title="Customized Pie",
                pos_left="center",
                pos_top="20",
                title_textstyle_opts=opts.TextStyleOpts(color="#fff"),
            ),
            legend_opts=opts.LegendOpts(is_show=False),
        )
            .set_series_opts(
            tooltip_opts=opts.TooltipOpts(
                trigger="item", formatter="{a} <br/>{b}: {c} ({d}%)"
            ),
            label_opts=opts.LabelOpts(color="rgba(255, 255, 255, 0.3)"),
        )

    )
    return c


if __name__ == '__main__':
    get_pie().render('楼层分析-饼状图.html')


import pandas as pd
import pyecharts.options as opts
from pyecharts.charts import Pie

df = pd.read_excel(r'pure_data.xlsx')
df.drop(df[df['huxingjiegou'].str.contains('huxingjiegou')].index, inplace=True)
data_heigh = df['huxingjiegou']
lst_height_value = data_heigh.value_counts().keys().tolist()
lst_counts = data_heigh.value_counts().tolist()


def get_pie():
    x_data = lst_height_value
    y_data = lst_counts
    data_pair = [list(z) for z in zip(x_data, y_data)]
    data_pair.sort(key=lambda x: x[1])

    c = (
        Pie(init_opts=opts.InitOpts(width="1600px", height="800px", bg_color="#2c343c"))
            .add(
            series_name="户型信息",
            data_pair=data_pair,
            rosetype="radius",
            radius="55%",
            center=["50%", "50%"],
            label_opts=opts.LabelOpts(is_show=False, position="center"),
        )
            .set_global_opts(
            title_opts=opts.TitleOpts(
                title="Customized Pie",
                pos_left="center",
                pos_top="20",
                title_textstyle_opts=opts.TextStyleOpts(color="#fff"),
            ),
            legend_opts=opts.LegendOpts(is_show=False),
        )
            .set_series_opts(
            tooltip_opts=opts.TooltipOpts(
                trigger="item", formatter="{a} <br/>{b}: {c} ({d}%)"
            ),
            label_opts=opts.LabelOpts(color="rgba(255, 255, 255, 0.3)"),
        )

    )
    return c


if __name__ == '__main__':
    get_pie().render('户型结构-饼状图.html')

 

五、总结（10 分）

感谢我们专业课老师的悉心教导，是他在我们感到困惑的时候一遍又一遍给我们耐心的讲解，这让我们学到很多专业知识。

此次我的项目收集了厦门市二手房信息，在收集数据的时候我采用了python网络爬虫技术、python数据分析技术。数据分析的流程是需求分析，然后是数据获取，对获取的数据进行数据预处理。首先我采用统计分析的方法对数据进行初步分析，大致了解整体二手房的情况，交易量分析，区域特征分析，户型分析，装修方面分析，房屋朝向分析，房价分布及其影响因素；随后调用百度地图API，编程实现数据地图可视化，并获取了具体的地址和重要的距离数据。

我们要的不是数据，而是数据告诉我们的事实。大多数人面临这样一个挑战：我们认识到数据可视化的必要性，但缺乏数据可视化方面的专业技能。部分原因可以归结于，数据可视化只是数据分析过程中的一个环节，数据分析师可能将精力花在获取数据、清洗整理数据、分析数据、建立模型。

大多数时候我们汇报工作就是要做好解释性分析的工作。一个完整的数据可视化过程，主要包括以下4个步骤：确定数据可视化的主题；提炼可视化主题的数据；根据数据关系确定图表；进行可视化布局及设计。

通过本次课程设计让我通过所学到的专业知识完成数据分析，在遇到困难时我通过网络查询资料以及向老师请教和同学们讨论解决了困难，比如在爬取数据时；问题1：链家网二手房主页最多只显示100页的房源数据，所以在收集二手房房源信息页面URL地址时会收集不全，导致最后只能采集到部分数据。解决措施：将所有上海二手房数据分区域地进行爬取，100页最多能够显示3000套房，该区域房源少于3000套时可以直接爬取，如果该区域房源超过3000套可以再分成更小的区域。问题2：爬虫程序如果运行过快，会在采集到两、三千条数据时触发链家网的反爬虫机制，所有的请求会被重定向到链家的人机鉴定页面，从而会导致后面的爬取失败。解决措施：①为程序中每次http请求构造header并且每次变换http请求header信息头中USER_AGENTS数据项的值，让请求信息看起来像是从不同浏览器发出的访问请求。②爬虫程序每处理完一次http请求和响应后，随机睡眠1-3秒，每请求2500次后，程序睡眠20分钟，控制程序的请求速度。在绘制图形时；图形有时候不能显示，因此我们需要添加这个语句“plt.rcParams['font.sans-serif']=['SimHei']”才能将图形显示出来。同时此次的实训还存在很多不足的地方，希望老师可以帮我指出问题，让我学到更多的知识