爬取京东商品评论信息

(一)、选题的背景

       在这个科技飞速发展的时代，网上购物十分流行，对于一些商品的好坏，可以加以评论。做这一选题的目的主要是运用爬虫来爬取商品的评论信息，并加以分析。爬取京东商品的评论数据并加以分析，通过顾客对商品的客观评价，总结得出顾客对商品评论的热词，得出顾客对某一类商品的关注点；对商品的打分与时间间隔的关系等相关信息，得出产品的质量是否有保障，这产品是否实用等。

 

(二)、主题式网络爬虫设计方案

1.主题式网络爬虫名称

      爬取京东商品评论信息

2.主题式网络爬虫爬取的内容与数据特征分析

     爬取内容：京东商品的热门评论十大关键词、打分、热词。

　  数据特征分析：网页文本。

3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）

    爬取京东售卖的商品下的评论信息，得出其关键词，并分析顾客打分与打分时间的关系。

     主要用到的库有python的requests、json、csv、time、pandas、jieba、matplotlib.pyplot、numpy。

 

(三)、主题页面的结构特征分析

1.主题页面的结构与特征分析

 

 

 

 2.Htmls 页面解析

    每条评论的文字信息都有这个标签：<p class="comment-con">开头，每条评论的时间都有<span>开头，</span>结尾。

3.节点（标签）查找方法与遍历方法

（必要时画出节点树结构）

     查找方法：find    遍历方法：for循环

(四)、网络爬虫程序设计

1.数据爬取与采集

def jd_crawl_comment(item_id,pagenum):

    list_ =[]
    start_page = 1
    end_page = pagenum
    for p in range(start_page, end_page + 1):
        print(p)
        #productid = 3048505
        url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv995&productId='+str(item_id)+'&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'
        url = url.format(p)
        print(url)
        #仿造请求头，骗过浏览器
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
            'Referer': 'https://item.jd.com/1981570.html'
        }
        #发起请求
        #request = urllib.request.Request(url=url, headers=headers)
        #得到响应
        content = requests.get(url=url,headers=headers).content.decode('gbk')
        #去掉多余得到json格式
        content = content.strip('fetchJSON_comment98vv995();')
        print(content)

 

2.对数据进行清洗和处理

保存商品评论数据.csv:

def jd_crawl_comment(item_id,pagenum):

    list_ =[]
    start_page = 1
    end_page = pagenum
    for p in range(start_page, end_page + 1):
        print(p)
        #productid = 3048505
        url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv995&productId='+str(item_id)+'&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'
        url = url.format(p)
        print(url)
        #仿造请求头，骗过浏览器
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
            'Referer': 'https://item.jd.com/1981570.html'
        }
        #发起请求
        #request = urllib.request.Request(url=url, headers=headers)
        #得到响应
        content = requests.get(url=url,headers=headers).content.decode('gbk')
        #去掉多余得到json格式
        content = content.strip('fetchJSON_comment98vv995();')
        print(content)
        obj = json.loads(content)

        comments = obj['comments']
        print(comments)
        fp = open('jingdong.txt', 'a', encoding='gbk')
        for comment in comments:
            # print(comment)
            name = comment['referenceName']

            id = comment['id']

            con = comment['content']

            creationTime = comment['creationTime']

            img_url = comment['userImageUrl']
            score = comment['score']
            item = {
                'name': name,
                'id': id,
                'con': con,
                'time': creationTime,
                'img_url': img_url,
            }
            string = str(item)

            print(id, con, score, creationTime)
            list_.append([id, con, score, creationTime])
            fp.write(string + '\n')

        fp.close()
        print('%s-page---finish' % p)
        #print(list_)
        time.sleep(5)
    return list_
def write_to_csv(list_,header,outputfile):
    with open(outputfile, 'w', encoding='utf8', newline='') as f:
        writer = csv.writer(f)
        writer.writerow(header)
        for l in list_:
            writer.writerow(l)
    f.close()

 

 

 

 

 

 

 

 

 

3.文本分析

生成商品评论数据.csv词云图：

def wordcloud_京东_商品评论(filename,output):
    # 生成词云的方法
    f = open(filename,encoding='utf8')
    data = pd.read_csv(f)

    string = ''
    comments = data['评论']
    for c in comments:
        string += str(c) + '\n'
    print(string)
    cut = " ".join(jieba.cut(string))
    #  stopwords remove
    stopwords = ['其他', '很多', '不是', '非常', '这个', '那个', '真的', '可以', '没有']
    for word in stopwords:
        cut = cut.replace(word,'')
    d = path.dirname(__file__)

    cloud = WordCloud(  # 设置字体，不指定就会出现乱码
        scale=4,
        font_path=path.join(d, 'simhei.ttf'),
        background_color='white',
        max_words=2000,
        max_font_size=1550,
        min_font_size=2,
        collocations=False,
        relative_scaling=0.4,
        prefer_horizontal=1)
    wc = cloud.generate_from_text(cut)
    wc.to_file(output)

运行结果如下：

 

4.数据分析与可视化（例如：数据柱形图、直方图、散点图、盒图、分布图）

整理数据得出十大关键词：

def 词频_京东商品评论_柱状图(inputfile, topN):
    # 柱状图显示词频前N
    f = open(inputfile, encoding='utf8')
    data = pd.read_csv(f)

    string = ''
    comments = data['评论']
    for c in comments:
        string += str(c) + '\n'
    print(string)

    txt = string
    words = jieba.lcut(txt)
    dic_ = {}  #创建字典
    stopwords = ['其他', '很多', '不是', '非常', '这个', '那个', '真的', '可以', '没有',"就是","这里"]

    for word in words:
        if len(word) == 1:
            continue
        else:
            rword = word
        dic_[rword] = dic_.get(rword,0) + 1
    for word in stopwords:
        try:
            del(dic_[word])
        except:
            pass
    items = list(dic_.items())
    # 排序 按词频率
    items.sort(key=lambda x:x[1], reverse =True)

    labels = []
    sizes = []
    n = topN
    wordlist = list()
    for i in range(n):
        word,count = items[i]
        labels.append(word)
        sizes.append(count)
        wordlist.append(word)

    plt.rcParams['font.sans-serif'] = ['SimHei']
    plt.rcParams['axes.unicode_minus'] = False
    f, ax = plt.subplots()
    # 横向图
    rect = ax.barh(range(len(sizes)), sizes, tick_label='')
    plt.yticks(np.arange(len(labels)), labels)
    plt.legend((rect,), ("前十关键词",))
    plt.savefig('前十关键词.jpg')
    return labels,sizes

 

5.根据数据之间的关系，分析产品评价数量和时间之间的相关系数，画出散点图。

 

def 评价_时间_分布散点图(inputfile,output,title,columns):
    if inputfile.endswith('.xlsx') or inputfile.endswith('.xls'):
        data = pd.read_excel(inputfile)
    else:
        f = open(inputfile, encoding='utf8')
        data = pd.read_csv(f)
    timing = data['时间']
    dic_ = {}
    for t in timing:

        print(t)
        t = t.split(' ')[0]
        t = t.split('-')
        month = t[0]+'-'+t[1]
        # 从具体时间中  提取出月份的数据
        if month not in dic_.keys():
            dic_[month] = 1
        else:
            dic_[month] +=1
    plt.scatter(dic_.keys(),dic_.values(),alpha=0.8,marker='o')
    plt.rcParams['font.sans-serif'] = 'simhei'
    plt.title(title)

    plt.xlabel('月份')
    plt.xticks(rotation='vertical')
    plt.ylabel('评价数量')

    plt.savefig(output)
    #plt.show()

运行结果如下：

 

 

 

6.数据持久化

 

 

 

7.将以上各部分的代码汇总，附上完整程序代码

import requests
import json
import csv
import time
def jd_crawl_comment(item_id,pagenum):

    list_ =[]
    start_page = 1
    end_page = pagenum
    for p in range(start_page, end_page + 1):
        print(p)
        #productid = 3048505
        url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv995&productId='+str(item_id)+'&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'
        url = url.format(p)
        print(url)
        #仿造请求头，骗过浏览器
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
            'Referer': 'https://item.jd.com/1981570.html'
        }
        #发起请求
        #request = urllib.request.Request(url=url, headers=headers)
        #得到响应
        content = requests.get(url=url,headers=headers).content.decode('gbk')
        #去掉多余得到json格式
        content = content.strip('fetchJSON_comment98vv995();')
        print(content)
        obj = json.loads(content)

        comments = obj['comments']
        print(comments)
        fp = open('jingdong.txt', 'a', encoding='gbk')
        for comment in comments:
            # print(comment)
            name = comment['referenceName']

            id = comment['id']

            con = comment['content']

            creationTime = comment['creationTime']

            img_url = comment['userImageUrl']
            score = comment['score']
            item = {
                'name': name,
                'id': id,
                'con': con,
                'time': creationTime,
                'img_url': img_url,
            }
            string = str(item)

            print(id, con, score, creationTime)
            list_.append([id, con, score, creationTime])
            fp.write(string + '\n')

        fp.close()
        print('%s-page---finish' % p)
        #print(list_)
        time.sleep(5)
    return list_
def write_to_csv(list_,header,outputfile):
    with open(outputfile, 'w', encoding='utf8', newline='') as f:
        writer = csv.writer(f)
        writer.writerow(header)
        for l in list_:
            writer.writerow(l)
    f.close()

if __name__ == "__main__":
    list_ = jd_crawl_comment(100009464799,pagenum=20)
    outputfile = '京东商品评论数据.csv'
    header = ['id','评论','打分','时间']
    write_to_csv(list_,header,outputfile)

import pandas as pd
from os import path
import jieba
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud

def wordcloud_京东_商品评论(filename,output):
    # 生成词云的方法
    f = open(filename,encoding='utf8')
    data = pd.read_csv(f)

    string = ''
    comments = data['评论']
    for c in comments:
        string += str(c) + '\n'
    print(string)
    cut = " ".join(jieba.cut(string))
    #  stopwords remove
    stopwords = ['其他', '很多', '不是', '非常', '这个', '那个', '真的', '可以', '没有']
    for word in stopwords:
        cut = cut.replace(word,'')
    d = path.dirname(__file__)

    cloud = WordCloud(  # 设置字体，不指定就会出现乱码
        scale=4,
        font_path=path.join(d, 'simhei.ttf'),
        background_color='white',
        max_words=2000,
        max_font_size=1550,
        min_font_size=2,
        collocations=False,
        relative_scaling=0.4,
        prefer_horizontal=1)
    wc = cloud.generate_from_text(cut)
    wc.to_file(output)




def 词频_京东商品评论_柱状图(inputfile, topN):
    # 柱状图显示词频前N
    f = open(inputfile, encoding='utf8')
    data = pd.read_csv(f)

    string = ''
    comments = data['评论']
    for c in comments:
        string += str(c) + '\n'
    print(string)

    txt = string
    words = jieba.lcut(txt)
    dic_ = {}  #创建字典
    stopwords = ['其他', '很多', '不是', '非常', '这个', '那个', '真的', '可以', '没有',"就是","这里"]

    for word in words:
        if len(word) == 1:
            continue
        else:
            rword = word
        dic_[rword] = dic_.get(rword,0) + 1
    for word in stopwords:
        try:
            del(dic_[word])
        except:
            pass
    items = list(dic_.items())
    # 排序 按词频率
    items.sort(key=lambda x:x[1], reverse =True)

    labels = []
    sizes = []
    n = topN
    wordlist = list()
    for i in range(n):
        word,count = items[i]
        labels.append(word)
        sizes.append(count)
        wordlist.append(word)

    plt.rcParams['font.sans-serif'] = ['SimHei']
    plt.rcParams['axes.unicode_minus'] = False
    f, ax = plt.subplots()
    # 横向图
    rect = ax.barh(range(len(sizes)), sizes, tick_label='')
    plt.yticks(np.arange(len(labels)), labels)
    plt.legend((rect,), ("前十关键词",))
    plt.savefig('前十关键词.jpg')
    return labels,sizes
def 评价_时间_分布散点图(inputfile,output,title,columns):
    if inputfile.endswith('.xlsx') or inputfile.endswith('.xls'):
        data = pd.read_excel(inputfile)
    else:
        f = open(inputfile, encoding='utf8')
        data = pd.read_csv(f)
    timing = data['时间']
    dic_ = {}
    for t in timing:

        print(t)
        t = t.split(' ')[0]
        t = t.split('-')
        month = t[0]+'-'+t[1]
        # 从具体时间中  提取出月份的数据
        if month not in dic_.keys():
            dic_[month] = 1
        else:
            dic_[month] +=1
    plt.scatter(dic_.keys(),dic_.values(),alpha=0.8,marker='o')
    plt.rcParams['font.sans-serif'] = 'simhei'
    plt.title(title)

    plt.xlabel('月份')
    plt.xticks(rotation='vertical')
    plt.ylabel('评价数量')

    plt.savefig(output)
    #plt.show()

if __name__=='__main__':
    filename = '京东商品评论数据.csv'
    评价_时间_分布散点图(filename, '打分分布散点图(月份)', '打分分布散点图(月份)', [])
    wordcloud_京东_商品评论(filename, filename + '词云.jpg')
    词频_京东商品评论_柱状图(filename, 10)

 

(五)、总结（10 分）

1.经过对主题数据的分析与可视化，可以得到哪些结论？是否达到预期的目标？

结论：1、通过对京东评论信息的爬取分析得出评论笔记本电脑的十大关键词之首是速度，人们对笔记本电脑最为重视的是速度。

           2、通过散点图得知对021—11这一产品的打分数量较多，无论从平时还是从某一月份来比较亦是如此，所以该产品的购买量应该会比较高。

已达到预期的目标，通过爬虫技术对爬取到的评论信息有了了解，发现人们不同产品的关注点是有所不同的，好的产品不会受到时间的而得到更少评价。

2.在完成此设计过程中，得到哪些收获？以及要改进的建议？

收获：1、第一次做主题式爬虫项目，做起来出现了不少问题，但也通过了一些手段来加以修改，现已经能较好地运用Python来爬取网页信息。

            2、当爬取到自己所需的东西时还是有不小的成就感的。

建议：对python库的运用还不够娴熟，在编程过程中，有些信息的爬取还较为繁琐，自己有时候也难以解决，需要加强对Python的学习，提高自己对Python应用能力。