Python高级应用课程设计——爬取B站视频弹幕

(一)

选题背景：此数据分析能根据视频播放量、评论数、弹幕数等清晰观察到观众的喜好，还有视频博主喜欢做的视频主题，分析一段时期的网络热度、关注点在哪。（其实一开始只是想爬喜欢的UP的数据）

预期目标：通过程序得到一些视频的相关数据，并能直观看出数据的大小、随时间变化这些数据的起伏，以及它们之间的关系。

(二)

主题式网络爬虫名称：B站视频弹幕爬虫

主题式网络爬虫爬取的内容与数据特征分析：

视频有title标题，aid，bvid，comment-评论数，created_time-发布时间，length-视频长度，play-播放量，cid，弹幕就只有cid，和content-内容

主要是分析博主视频播放量和时长有没有关系，播放量和评论数有没有关系，博主一般怎样命名自己的视频主题。

设计思路： 

采集的逻辑是从视频页将每个视频的信息和地址采集下来，再请求地址采集视频的弹幕。进入视频页，https://space.bilibili.com/11684516/video

 

查看源码并没有视频的信息，所以可能是用异步加载的方式加载数据的，那么用谷歌浏览器的检查模式，很容易发现视频的数据都在下面那个请求的响应体中，返回的是json数据。

 

 

 　　视频的信息都在里面了，所以可以直接请求这个接口就可以获取到信息了，而该接口的请求参数也比较容易分析。

 

https://api.bilibili.com/x/space/arc/search?mid=11684516&ps=30&tid=0&pn=1&keyword=&order=pubdate&jsonp=jsonp

 

　　mid是up主的id，ps返回的视频数量，tid在后面的请求都不变，所以可以直接赋为0，pn是页数，后面的参数也直接复制即可。

下面就是爬取弹幕了，弹幕的话本人并没有在检查模式里面找到，然后通过百度，弹幕数据都在这一个接口中。很明显cid就是用于标识视频的，那么获取到cid就可以了。后来我才发现，这里最多只能获取1000条弹幕。

 

http://comment.bilibili.com/{cid}.xml

 

然后在视频信息里面并没有cid的信息，所以先从从视频播放页里面找。可以看到下面这一个接口返回的数据就有cid。

 

 

 

  然后看该接口的请求参数，只需要bvid就可以了，而bvid在视频信息里面就可以提取到，那么分析到此结束了，开始爬虫。

这里我使用scrapy框架，首先编写items，主要分为两个视频的和弹幕的，视频有title标题，aid，bvid，comment-评论数，created_time-发布时间，length-视频长度，play-播放量，cid。

 

技术难点：因为该爬虫数据是异步获取的，所以寻找数据接口比较麻烦，因为b站异步接口众多，想找到所需接口还是挺麻烦的，构思整个scrapy框架我也花了不少时间。

 

（三）页面结构与特征分析

由于该网站采用前后端分离架构，页面数据是异步获取，因此没有对页面结构去分析，而是对数据接口返回数据分析。

 

对应的数据为json格式，所以可以直接利用json库提取数据，而不要bs4，正则等解析库。

 

（四）爬虫程序设计

1.数据爬取与采集(scrapy+json)核心代码

Items文件

 1 import scrapy  
class BilibiliErniuItem(scrapy.Item):  
    title = scrapy.Field()  
    aid = scrapy.Field()  
    bvid = scrapy.Field()  
    comment = scrapy.Field()  
    created_time = scrapy.Field()  
    length = scrapy.Field()  
    play = scrapy.Field()  
    cid = scrapy.Field()  
  
class ErniuBulletChatItem(scrapy.Item):  
    cid = scrapy.Field()  
    content = scrapy.Field()  

crawl_spider文件

import json  
  
import scrapy  
  
from my_crawler.items import BilibiliErniuItem, ErniuBulletChatItem  
class MaoyanSpider(scrapy.Spider):  
    name="my_crawler"  
    def start_requests(self):  
        base_url = 'https://api.bilibili.com/x/space/arc/search?mid=11684516&ps=30&tid=0&pn={}&keyword=&order=pubdate&jsonp=jsonp'  
        headers = self.settings.get('DEFAULT_REQUEST_HEADERS')  
        for pn in range(1, 10):  
            url = base_url.format(pn)  
            yield scrapy.Request(url=url, headers=headers, callback=self.parse_video_info)  
  
  
    def parse_video_info(self, response):  
        detail = json.loads(response.text)  
        headers = self.settings.get('DEFAULT_REQUEST_HEADERS')  
        for info in detail.get('data').get('list').get('vlist'):  
            item = BilibiliErniuItem()  
            item['title'] = info.get('title')  
            item['aid'] = info.get('aid')  
            item['bvid'] = info.get('bvid')  
            item['comment'] = info.get('comment')  
            item['created_time'] = info.get('created')  
            item['length'] = info.get('length')  
            item['play'] = info.get('play')  
            cid_url = 'https://api.bilibili.com/x/player/pagelist?bvid={}&jsonp=jsonp'.format(item['bvid'])  
            yield scrapy.Request(url=cid_url, headers=headers, meta={'item': item}, callback=self.get_bullet_chat_url)  
  
  
    def get_bullet_chat_url(self, response):  
        detail = json.loads(response.text)  
        headers = self.settings.get('DEFAULT_REQUEST_HEADERS')  
        item = response.meta['item']  
        cid = detail.get('data')[0].get('cid')  
        item['cid'] = cid  
        bullet_chat_url = 'http://comment.bilibili.com/{}.xml'.format(cid)  
        yield scrapy.Request(url=bullet_chat_url, headers=headers, meta={'cid': cid}, callback=self.parse_bullet_chat)  
        yield item  
  
  
    def parse_bullet_chat(self, response):  
        sel = scrapy.Selector(response)  
        item = ErniuBulletChatItem()  
        item['cid'] = response.meta['cid']  
        item['content'] = sel.xpath('//d//text()').extract()  
        yield item  

pipline文件

import os  
  
from my_crawler.items import BilibiliErniuItem  
  
  
class MyCrawlerPipeline(object):  
    def __init__(self):  
        self.dirs = 'E:\\video.csv'  
        if not os.path.exists(self.dirs):  
            with open(self.dirs, 'w', encoding='utf-8')as fp:  
                fp.write('title|aid|bvid|comment|created_time|length|play|cid\n')  
        self.buttet_chat_dir = 'E:\\buttet_chat'  
        if not os.path.exists(self.buttet_chat_dir):  
            os.makedirs(self.buttet_chat_dir)  
  
    def process_item(self, item, spider):  
        if isinstance(item, BilibiliErniuItem):  
            with open(self.dirs, 'a', encoding='utf-8') as fp:  
                fp.write(item['title'] + '|' + str(item['aid']) + '|' + item['bvid'] + '|' + str(  
                    item['comment']) + '|' + str(item['created_time']) + '|' + item['length'] + '|' + str(  
                    item['play']) + '|' + str(item['cid']) + '\n')  
            return item  
        else:  
            filename = str(item['cid']) + '.csv'  
            if not os.path.exists(self.buttet_chat_dir + '\\' + filename):  
                with open(self.buttet_chat_dir + '\\' + filename, 'w', encoding='utf-8')as fp:  
                    fp.write('content' + '\n')  
                    for content in item['content']:  
                        fp.write(content + '\n')  
            return item  

setting配置文件

DEFAULT_REQUEST_HEADERS = {  
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',  
  'Accept-Language': 'en',  
}  
ITEM_PIPELINES = {  
   'my_crawler.pipelines.MyCrawlerPipeline': 300,  
}  
LOG_LEVEL = 'WARNING'  
BOT_NAME = 'my_crawler'  
  
SPIDER_MODULES = ['my_crawler.spiders']  
NEWSPIDER_MODULE = 'my_crawler.spiders'  
ROBOTSTXT_OBEY = True  

启动爬虫命令

scrapy crawl my_crawler

开始截图

 

爬虫结束截图

 

 

成果

 

 

2.数据清洗和处理

 

（1）查看是否有空值

import pandas as pd  
  
videos=pd.read_csv("E:\\video.csv",sep="|")  
print(videos.isnull().any())  

运行结果

 表明无空值，无需清洗。

 

（2）将created_time转换为日期

 

videos['time'] = videos.created_time.apply(change_time)  # 时间戳转为年月日时分  
videos['date'] = videos.time.apply(split_date)  # 分出日期  
videos['hour_min'] = videos.time.apply(split_hour_min)  # 分出时间  
videos[["year","month","day"]] =videos.date.str.split('-',expand=True)

 

处理后结果

 

（3）将年月日的数据从字符串转换为整型，方便后面的数据可视化，并对这三列进行排序。

 

videos.year = videos.year.astype('int')  
videos.month = videos.month.astype('int')  
videos.day = videos.day.astype('int')  
videos.sort_values(['year', 'month', 'day'], inplace=True)  

 

先取出了年和月的数据，方便可视化时添加时间轴。

 

years = set(videos.year)  
months = []  
for year in years:  
    months.append(set(videos[videos['year'].isin([year])].month))   

 

 

3. 数据分析可视化(pandas+pyechats)

pyecharts库进行可视化，这里展示的数据是播放量和评论数随时间变化的柱状图。

 

#可视化  
from pyecharts import options as opts  
from pyecharts.charts import Bar, Timeline, WordCloud  
  
timeline_2021 = Timeline()  
for m in months[2]:  
    bar = (  
        Bar()  
            .add_xaxis(list(videos[videos.year.isin([2021])][videos.month.isin([m])].day))  
            .add_yaxis("播放量", list(videos[videos.year.isin([2021])][videos.month.isin([m])].play), yaxis_index=0, )  
            .add_yaxis("评论数", list(videos[videos.year.isin([2021])][videos.month.isin([m])].comment), yaxis_index=1)  
            .extend_axis(  
            yaxis=opts.AxisOpts(  
                name="评论数",  
                type_="value",  
                position="right",  
                axislabel_opts=opts.LabelOpts(formatter="{value}"),  
            )  
        )  
            .set_global_opts(title_opts=opts.TitleOpts("拉草莓的西瓜JUN{}年{}月视频播放量和评论数".format(2021, m)))  
    )  
    timeline_2021.add(bar, '{}月'.format(m))  
timeline_2021.render("view.html")    

 

仅展示了2021年的，但是这样并不能看出博主视频的播放量波动情况，所以再使用折线图展示。

 

#可视化2  
from pyecharts.charts import Line  
  
line = (  
    Line()  
        .set_global_opts(  
        tooltip_opts=opts.TooltipOpts(is_show=True),  
        xaxis_opts=opts.AxisOpts(type_="category"),  
        yaxis_opts=opts.AxisOpts(  
            type_="value",  
            axistick_opts=opts.AxisTickOpts(is_show=True),  
            splitline_opts=opts.SplitLineOpts(is_show=True), 
        ),  
        title_opts=opts.TitleOpts("拉草莓的西瓜JUN视频播放量和评论数折线图"),  
        datazoom_opts=[opts.DataZoomOpts()],  
    )  
        .add_xaxis(xaxis_data=list(videos.time))  
        .add_yaxis(  
        series_name="播放量",  
        y_axis=list(videos.play),  
        symbol="emptyCircle",  
        is_symbol_show=True,  
        label_opts=opts.LabelOpts(is_show=False),  
        yaxis_index=0,  
    )  
        .add_yaxis(  
        series_name="评论数",  
        y_axis=list(videos.comment),  
        symbol="emptyCircle",  
        is_symbol_show=True,  
        label_opts=opts.LabelOpts(is_show=False),  
        yaxis_index=1,  
    )  
        .extend_axis(  
        yaxis=opts.AxisOpts(  
            name="评论数",  
            type_="value",  
            position="right",  
            axislabel_opts=opts.LabelOpts(formatter="{value}"),  
        )  
    )  
)  
line.render("view2.html")  

 

从该图可以看出，博主视频的播放量和评论数波动不大，中间的最高点我去找了一下那个视频，是与其他12个唱见一起合作的高考应援歌，怪不得那么多播放量。

接下来对视频长度和播放量使用了散点图可视化。

 

#可视化三  
from pyecharts.charts import Scatter  
  
c = (  
    Scatter()  
        .add_xaxis(list(videos.length))  
        .add_yaxis("播放量", list(videos.play))  
        .set_global_opts(  
        title_opts=opts.TitleOpts(title="拉草莓的西瓜JUN视频时长-播放量散点图"),  
        visualmap_opts=opts.VisualMapOpts(type_="size", max_=1000000, min_=27000),  
    )  
)  
c.render("view3.html")  

 

从这个图看出博主的视频播放量和时长无关，播放量大概集中在50万左右。

 

接下来将标题做成词云图，看看博主最喜欢用什么标题。

这里我使用的是jieba库进行分词，用正则简单处理了一下文本，并没有加入停用词。

 

#可视化四  
import jieba  
import re  
from pyecharts.charts import WordCloud  
from collections import Counter  
  
title_cut = []  
  
  
def tokenizer(title):  
    return jieba.lcut(title)  
  
  
for t in videos.title:  
    t = re.sub(r"[0-9,，。？！?!【】]+", "", t)  
    title_cut += tokenizer(t)  
  
title_count = []  
for key, value in Counter(title_cut).items():  
    title_count.append((key, value))  
  
w = (  
    WordCloud()  
        .add(series_name="标题词云", data_pair=title_count, word_size_range=[10, 100])  
        .set_global_opts(  
        title_opts=opts.TitleOpts(  
            title="标题词云", title_textstyle_opts=opts.TextStyleOpts(font_size=23)  
        ),  
        tooltip_opts=opts.TooltipOpts(is_show=True),  
    )  
)  
w.render("view4.html")  

 

从词云图看出，博主的标题一般都会注上自己名字，合唱作品也会注上其他唱见的名字，有一小部分翻唱作品，但更多的是原创。

最后，用上了一直没用的弹幕做成词云图，因为弹幕最多只有1000多条，所以就不做折线图这些的可视化了。

弹幕词云

import  jieba  
buttet_chat = []  
path = 'E:\\buttet_chat'  
dirs = os.listdir(path)  
for file in dirs:  
    with open(os.path.join(path, file), 'r', encoding='utf-8')as fp:  
        content = fp.readlines()  
        buttet_chat += content[1:-1]  
  
buttet_chat_cut = []  
def tokenizer(title):  
    return jieba.lcut(title)  
for b in buttet_chat:  
    b = b.strip()  
    b = re.sub(r"[0-9,，。？！?!【】]+", "", b)  
    buttet_chat_cut += tokenizer(b)  
  
buttet_chat_count = []  
for key, value in Counter(buttet_chat_cut).items():  
    buttet_chat_count.append((key, value))  
  
w = (  
    WordCloud()  
        .add(series_name="弹幕词云", data_pair=buttet_chat_count, word_size_range=[10, 100])  
        .set_global_opts(  
        title_opts=opts.TitleOpts(  
            title="弹幕词云", title_textstyle_opts=opts.TextStyleOpts(font_size=23)  
        ),  
        tooltip_opts=opts.TooltipOpts(is_show=True),  
    )  
)  
w.render("view5.html")  

从词云图可以看出，大家一般喜欢发的弹幕的是‘瓜瓜’，‘我’，‘表白’等，从小点的词可以看出也是有很多祝福的内容，例如：‘生日快乐’，‘圣诞快乐’，‘幸福’，‘愿’等，当然还有很多夸赞（吹）的话。

 

 5.构建回归模型（sk-learn+matplotlib）

探究评论数和播放量相关性

#回归  
import matplotlib.pyplot as plt  
from  sklearn.linear_model  import LinearRegression as LR  
reg=LR().fit(videos[['comment']],videos['play'])  
print(reg.intercept_)  
  
comment=videos["comment"].values  
play=videos["play"].values  
a,b=reg.coef_,reg.intercept_  
plt.rcParams['font.sans-serif']=['SimHei']  
plt.scatter(comment,play)  
plt.xlabel("评论数")  
plt.ylabel("播放量")  
plt.plot(comment,a*comment+b)  
plt.show()  

从图中来看，播放量和评论数成正比。

 

6.数据持久化

（1）标题

 

（2）115个视频的弹幕

 

 

7.代码总汇

import scrapy  
class BilibiliErniuItem(scrapy.Item):  
    title = scrapy.Field()  
    aid = scrapy.Field()  
    bvid = scrapy.Field()  
    comment = scrapy.Field()  
    created_time = scrapy.Field()  
    length = scrapy.Field()  
    play = scrapy.Field()  
    cid = scrapy.Field()  
  
class ErniuBulletChatItem(scrapy.Item):  
    cid = scrapy.Field()  
content = scrapy.Field()  

import json  
  
import scrapy  
  
from my_crawler.items import BilibiliErniuItem, ErniuBulletChatItem  
class MaoyanSpider(scrapy.Spider):  
    name="my_crawler"  
    def start_requests(self):  
        base_url = 'https://api.bilibili.com/x/space/arc/search?mid=11684516&ps=30&tid=0&pn={}&keyword=&order=pubdate&jsonp=jsonp'  
        headers = self.settings.get('DEFAULT_REQUEST_HEADERS')  
        for pn in range(1, 10):  
            url = base_url.format(pn)  
            yield scrapy.Request(url=url, headers=headers, callback=self.parse_video_info)  
  
  
    def parse_video_info(self, response):  
        detail = json.loads(response.text)  
        headers = self.settings.get('DEFAULT_REQUEST_HEADERS')  
        for info in detail.get('data').get('list').get('vlist'):  
            item = BilibiliErniuItem()  
            item['title'] = info.get('title')  
            item['aid'] = info.get('aid')  
            item['bvid'] = info.get('bvid')  
            item['comment'] = info.get('comment')  
            item['created_time'] = info.get('created')  
            item['length'] = info.get('length')  
            item['play'] = info.get('play')  
            cid_url = 'https://api.bilibili.com/x/player/pagelist?bvid={}&jsonp=jsonp'.format(item['bvid'])  
            yield scrapy.Request(url=cid_url, headers=headers, meta={'item': item}, callback=self.get_bullet_chat_url)  
  
  
    def get_bullet_chat_url(self, response):  
        detail = json.loads(response.text)  
        headers = self.settings.get('DEFAULT_REQUEST_HEADERS')  
        item = response.meta['item']  
        cid = detail.get('data')[0].get('cid')  
        item['cid'] = cid  
        bullet_chat_url = 'http://comment.bilibili.com/{}.xml'.format(cid)  
        yield scrapy.Request(url=bullet_chat_url, headers=headers, meta={'cid': cid}, callback=self.parse_bullet_chat)  
        yield item  
  
  
    def parse_bullet_chat(self, response):  
        sel = scrapy.Selector(response)  
        item = ErniuBulletChatItem()  
        item['cid'] = response.meta['cid']  
        item['content'] = sel.xpath('//d//text()').extract()  
        yield item  

import os  
  
from my_crawler.items import BilibiliErniuItem  
  
  
class MyCrawlerPipeline(object):  
    def __init__(self):  
        self.dirs = 'E:\\video.csv'  
        if not os.path.exists(self.dirs):  
            with open(self.dirs, 'w', encoding='utf-8')as fp:  
                fp.write('title|aid|bvid|comment|created_time|length|play|cid\n')  
        self.buttet_chat_dir = 'E:\\buttet_chat'  
        if not os.path.exists(self.buttet_chat_dir):  
            os.makedirs(self.buttet_chat_dir)  
  
    def process_item(self, item, spider):  
        if isinstance(item, BilibiliErniuItem):  
            with open(self.dirs, 'a', encoding='utf-8') as fp:  
                fp.write(item['title'] + '|' + str(item['aid']) + '|' + item['bvid'] + '|' + str(  
                    item['comment']) + '|' + str(item['created_time']) + '|' + item['length'] + '|' + str(  
                    item['play']) + '|' + str(item['cid']) + '\n')  
            return item  
        else:  
            filename = str(item['cid']) + '.csv'  
            if not os.path.exists(self.buttet_chat_dir + '\\' + filename):  
                with open(self.buttet_chat_dir + '\\' + filename, 'w', encoding='utf-8')as fp:  
                    fp.write('content' + '\n')  
                    for content in item['content']:  
                        fp.write(content + '\n')  
            return item  

DEFAULT_REQUEST_HEADERS = {  
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',  
  'Accept-Language': 'en',  
}  
ITEM_PIPELINES = {  
   'my_crawler.pipelines.MyCrawlerPipeline': 300,  
}  
LOG_LEVEL = 'WARNING'  
BOT_NAME = 'my_crawler'  
  
SPIDER_MODULES = ['my_crawler.spiders']  
NEWSPIDER_MODULE = 'my_crawler.spiders'  
ROBOTSTXT_OBEY = True  

import pandas as pd  
  
videos=pd.read_csv("E:\\video.csv",sep="|")  
print(videos.isnull().any())  

videos['time'] = videos.created_time.apply(change_time)  # 时间戳转为年月日时分  
videos['date'] = videos.time.apply(split_date)  # 分出日期  
videos['hour_min'] = videos.time.apply(split_hour_min)  # 分出时间  
videos[["year","month","day"]] =videos.date.str.split('-',expand=True)

videos.year = videos.year.astype('int')  
videos.month = videos.month.astype('int')  
videos.day = videos.day.astype('int')  
videos.sort_values(['year', 'month', 'day'], inplace=True)  

years = set(videos.year)  
months = []  
for year in years:  
months.append(set(videos[videos['year'].isin([year])].month))  

#可视化  
from pyecharts import options as opts  
from pyecharts.charts import Bar, Timeline, WordCloud  
  
timeline_2021 = Timeline()  
for m in months[2]:  
    bar = (  
        Bar()  
            .add_xaxis(list(videos[videos.year.isin([2021])][videos.month.isin([m])].day))  
            .add_yaxis("播放量", list(videos[videos.year.isin([2021])][videos.month.isin([m])].play), yaxis_index=0, )  
            .add_yaxis("评论数", list(videos[videos.year.isin([2021])][videos.month.isin([m])].comment), yaxis_index=1)  
            .extend_axis(  
            yaxis=opts.AxisOpts(  
                name="评论数",  
                type_="value",  
                position="right",  
                axislabel_opts=opts.LabelOpts(formatter="{value}"),  
            )  
        )  
            .set_global_opts(title_opts=opts.TitleOpts("拉草莓的西瓜JUN{}年{}月视频播放量和评论数".format(2021, m)))  
    )  
    timeline_2021.add(bar, '{}月'.format(m))  
timeline_2021.render("view.html")    

#可视化2  
from pyecharts.charts import Line  
  
line = (  
    Line()  
        .set_global_opts(  
        tooltip_opts=opts.TooltipOpts(is_show=True),  
        xaxis_opts=opts.AxisOpts(type_="category"),  
        yaxis_opts=opts.AxisOpts(  
            type_="value",  
            axistick_opts=opts.AxisTickOpts(is_show=True),  
            splitline_opts=opts.SplitLineOpts(is_show=True), 
        ),  
        title_opts=opts.TitleOpts("拉草莓的西瓜JUN视频播放量和评论数折线图"),  
        datazoom_opts=[opts.DataZoomOpts()],  
    )  
        .add_xaxis(xaxis_data=list(videos.time))  
        .add_yaxis(  
        series_name="播放量",  
        y_axis=list(videos.play),  
        symbol="emptyCircle",  
        is_symbol_show=True,  
        label_opts=opts.LabelOpts(is_show=False),  
        yaxis_index=0,  
    )  
        .add_yaxis(  
        series_name="评论数",  
        y_axis=list(videos.comment),  
        symbol="emptyCircle",  
        is_symbol_show=True,  
        label_opts=opts.LabelOpts(is_show=False),  
        yaxis_index=1,  
    )  
        .extend_axis(  
        yaxis=opts.AxisOpts(  
            name="评论数",  
            type_="value",  
            position="right",  
            axislabel_opts=opts.LabelOpts(formatter="{value}"),  
        )  
    )  
)  
line.render("view2.html")  

#可视化三  
from pyecharts.charts import Scatter  
  
c = (  
    Scatter()  
        .add_xaxis(list(videos.length))  
        .add_yaxis("播放量", list(videos.play))  
        .set_global_opts(  
        title_opts=opts.TitleOpts(title="拉草莓的西瓜JUN视频时长-播放量散点图"),  
        visualmap_opts=opts.VisualMapOpts(type_="size", max_=1000000, min_=27000),  
    )  
)  
c.render("view3.html")  

#可视化四  
import jieba  
import re  
from pyecharts.charts import WordCloud  
from collections import Counter  
  
title_cut = []  
  
  
def tokenizer(title):  
    return jieba.lcut(title)  
  
  
for t in videos.title:  
    t = re.sub(r"[0-9,，。？！?!【】]+", "", t)  
    title_cut += tokenizer(t)  
  
title_count = []  
for key, value in Counter(title_cut).items():  
    title_count.append((key, value))  
  
w = (  
    WordCloud()  
        .add(series_name="标题词云", data_pair=title_count, word_size_range=[10, 100])  
        .set_global_opts(  
        title_opts=opts.TitleOpts(  
            title="标题词云", title_textstyle_opts=opts.TextStyleOpts(font_size=23)  
        ),  
        tooltip_opts=opts.TooltipOpts(is_show=True),  
    )  
)  
w.render("view4.html")  

import  jieba  
buttet_chat = []  
path = 'E:\\buttet_chat'  
dirs = os.listdir(path)  
for file in dirs:  
    with open(os.path.join(path, file), 'r', encoding='utf-8')as fp:  
        content = fp.readlines()  
        buttet_chat += content[1:-1]  
  
buttet_chat_cut = []  
def tokenizer(title):  
    return jieba.lcut(title)  
for b in buttet_chat:  
    b = b.strip()  
    b = re.sub(r"[0-9,，。？！?!【】]+", "", b)  
    buttet_chat_cut += tokenizer(b)  
  
buttet_chat_count = []  
for key, value in Counter(buttet_chat_cut).items():  
    buttet_chat_count.append((key, value))  
  
w = (  
    WordCloud()  
        .add(series_name="弹幕词云", data_pair=buttet_chat_count, word_size_range=[10, 100])  
        .set_global_opts(  
        title_opts=opts.TitleOpts(  
            title="弹幕词云", title_textstyle_opts=opts.TextStyleOpts(font_size=23)  
        ),  
        tooltip_opts=opts.TooltipOpts(is_show=True),  
    )  
)  
w.render("view5.html") 

#回归  
import matplotlib.pyplot as plt  
from  sklearn.linear_model  import LinearRegression as LR  
reg=LR().fit(videos[['comment']],videos['play'])  
print(reg.intercept_)  
  
comment=videos["comment"].values  
play=videos["play"].values  
a,b=reg.coef_,reg.intercept_  
plt.rcParams['font.sans-serif']=['SimHei']  
plt.scatter(comment,play)  
plt.xlabel("评论数")  
plt.ylabel("播放量")  
plt.plot(comment,a*comment+b)  
plt.show()

 

 

五、总结

1、每个分析与可视化的结论已附于图片下方。已达到预期目标。

2、收获：重新复习了一遍scrapy框架，明白了更多知识点。无改进建议。