一个完整的大作业

1.选一个自己感兴趣的主题。

 https://s.taobao.com/search?q=

2.网络上爬取相关的数据。

 

import requests

import re

def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""

def parsePage(ilt, html):
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
ilt.append([price , title])
except:
print("")

def printGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}"
print(tplt.format("序号", "价格", "商品名称"))
count = 0
for g in ilt:
count = count + 1
print(tplt.format(count, g[0], g[1]))

def main():
goods = '手机'
depth = 3
start_url = 'https://s.taobao.com/search?q=' + goods
infoList = []
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i)
html = getHTMLText(url)
parsePage(infoList, html)
except:
continue
printGoodsList(infoList)

main()

3.进行文本分析，生成词云。

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt
txt=open('ye.txt','r',encoding='utf-8').read()
mywc = WordCloud().generate(txt)
plt.imshow(mywc)
plt.axis("off")
plt.show()

 

4.对文本分析结果解释说明。

从生成的云词看出iphone手机还是在搜索中占的量最多，也就是说销售的量也是最多，但是xiaomi，honor，vivo，huawei等国产手机的量还是不少的。可以说国产手机的产品力已经渐渐追上国际名牌手机。

5.写一篇完整的博客，附上源代码、数据爬取及分析结果，形成一个可展示的成果。