python爬虫——对爬到的数据进行清洗的一些姿势（5）
做爬虫，当然就要用数据。想拿数据进行分析，首先清洗数据。这个清洗数据包括清除无用数据列和维度，删除相同数据，对数据进行勘误之类的。
从各大不同新闻网站可以爬到重复新闻。。。这个可以有。之前为了对爬到的新闻信息进行深度挖掘去了这个网站http://blog.reetsee.com/archives/237虽说没有对数据进行更进一步的挖掘，好歹有处理数据。处理重复新闻可以使用python结巴分词。统计分词信息，词典差距过大，词典频度比差距过大，都可以算不同新闻。
对新闻内容字符串进行检查需要这3种操作：提取分词，统计频度和查重。
提取分词函数：
def ExtractTagsFromContent(content, num_of_tags): tags = jieba.analyse.extract_tags(content, topK = num_of_tags) return tags
统计频度函数：
def GetTermFreqFromContent(tags, content): tfdict = {} for tag in tags: tfdict[tag] = 0 #把已出现的词频度初始化为0 seg_list = jieba.cut(content) #把新闻内容切分成词 has_words = False for word in seg_list: if tfdict.has_key(word): tfdict[word] = tfdict[word] + 1 #统计频度 has_words = True if has_words: return tfdict else: return None
余弦相似度函数：
def CosinSimilarity(vector1, vector2): if len(vector1) != len(vector2): print "Error: vector1:" + vector1 + " and vector2: " + vector2 + "have different dimensions" return None numerator = 0.0 v1_square = 0.0 v2_square = 0.0 for i in range(0, len(vector1)): numerator += vector1[i] * vector2[i] v1_square += vector1[i] * vector1[i] v2_square += vector2[i] * vector2[i] denominator = math.sqrt(v1_square * v2_square) if denominator == 0: return None else: return numerator / denominator
查重函数：
def FindSimilarPassageFromSet(news_set, example_tf): heap = [] tags = [] for tag in example_tf.keys(): tags.append(tag) for file_path in news_set: tf = GetTermFreqFromFile(tags, file_path) if tf == None: continue similarity = CosinSimilarityForDict(example_tf, tf) # 插入堆 if not similarity == None: heap.append(SimilarPassage(similarity * -1.0, file_path)) # 把最高相似度弹出（有*-1的关系，最小弹出实际是最大弹出） heapq.heapify(heap) if len(heap) == 0: return None result = heapq.heappop(heap) if result.Relevant(): print "Similarity: " + str(result.similarity) news_set.discard(result.file_path) return result.file_path else: return None
然后新闻就成功去重了。
爬新浪微博的数据，wap端比较容易爬，而且数据也较为纯净。
不过根据关键词爬出来的数据还是有些奇怪的：
:春季番最新销量：《机甲少女》热卖 《樱花任务》暴死 被认为是“买手办送光碟”的《机甲少女FRAME ARMS GIRL》第1卷不负众望取得了好成绩。而P.A.WORKS动画公司继《花开伊吕波》《白箱》之后的第三部工作题材动画《樱花任务》销量仅为1392张，在春季番中属于垫底。<br/>2017年春季番销量及排名情况（截止2017年7月23日）<br/><br/>第1名：《碧蓝幻想》 53571张<br/><br/>第2名：《偶像大师 灰姑娘女孩剧场》 42959张<br/><br/>第3名：《埃罗芒阿老师》 10417张<br/><br/>第4名：《高校星歌剧》第2季 9827张<br/><br/>第5名：《机甲少女FRAME ARMS GIRL》 7614张<br/><br/>第6名：《进击的巨人》第2季 7525张<br/><br/>第7名：《王室教师海涅》 6532张<br/><br/>第8名：《夏目友人帐》第6季 4862张<br/><br/>第9名：《我的英雄学院》第2季 4145张<br/><br/>第10名：《sin七大罪》 3305张<br/><br/>第11名：《Re：CREATORS》 2631张<br/><br/>第12名：《不正经的魔术讲师与禁忌教典》 2485张<br/><br/>第13名：《末日时在做什么？有没有空？可以来拯救吗？》 1674张<br/><br/>第14名：《剑姬神圣谭》 1656张<br/><br/>第15名：《武装少女》 1425张<br/><br/>第16名：《樱花任务》 1392张<br/><br/>第17名：《时钟机关之星》 896张<br/><br/>第18名：《怪怪守护神》 834张<br/><br/>第19名：《覆面系Noise》 823张<br/><br/>第20名：《喧哗番长乙女》 673张<br/><br/>第21名：《恋爱暴君》 556张
:可惜，lost stars没有音频版的，不能更好听！实力唱将！幸好，open arms有啊<a href="/n/M%E9%B9%BFM">@M鹿M</a> 的<a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRorgJGY&ep=FerXXxPbm%2C1763629124%2CFerXXxPbm%2C1763629124">触发（Set it off）</a> 打榜就行！<a href="http://weibo.cn/pages/100808topic?extparam=%E4%BA%9A%E6%B4%B2%E6%96%B0%E6%AD%8C%E6%A6%9C&from=feed">#亚洲新歌榜#</a> 现在参与打榜，还有机会获得8月27日举办的亚洲新歌榜2017年度盛典门票！
:发售中的Switch平台游戏《ARMS》公开全新TVCM，在近日任天堂公开的Q1财报中《ARMS》成功突破百万销量，期待今后的表现。[鼓掌] <a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FR9yV0Fz&ep=FerBM7lQy%2C1764127957%2CFerBM7lQy%2C1764127957">秒拍视频</a>
:<a href="http://weibo.cn/pages/100808topic?extparam=%E5%AD%A6%E5%AD%90%E9%A3%8E%E9%87%87&from=feed">#学子风采#</a> 【厉害了， 集大学子获第41届ACM国际大学生程序设计竞赛亚洲区域赛铜奖】日前，ACM/ICPC（国际大学生程序设计竞赛）亚洲区域赛在青岛落下帷幕。北京大学、复旦大学、武汉大学、厦门大学等115所高校的186支代表队参赛。经过激烈角逐，由我校计算机工程学院2014级学生吴晓仁、阚航、陈明振组成的集大ACM集训队（指导教师：林阳斌）获得一枚铜牌。<br/><br/> ACM国际大学生程序设计竞赛（简称ACM－ICPC）是由国际计算机界具有悠久历史的权威性组织ACM学会（Association for Computing Machinery）主办，世界上公认的规模最大、水平最高、参与人数最多的国际大学生程序设计竞赛，被业界称为IT界的“奥林匹克”竞赛。 <a href="/n/%E9%9B%86%E5%A4%A7%E8%AE%A1%E7%AE%97%E6%9C%BA%E5%B7%A5%E7%A8%8B%E5%AD%A6%E9%99%A2%E5%AD%A6%E7%94%9F%E4%BC%9A">@集大计算机工程学院学生会</a>
:ACM-ICPC竞赛算法类型 - 海岛Blog - CSDN博客 <a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRK1sG4m&ep=FdolV9DkF%2C6286510827%2CFdolV9DkF%2C6286510827">http://t.cn/RK1sG4m</a>
:【我校学子在ACM国际大学生程序设计竞赛全国邀请赛上摘金】2017年5月，ACM国际大学生程序设计竞赛（ACM-ICPC）全国邀请赛在西北工业大学举行。由我校学生李志远、徐经纬、陈笑天三名同学组成的队伍“challenge”夺得金奖，捧回了我校历史上的第一枚ACM-ICPC金牌。详情可见<a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRol0sxX&ep=F9Vlbao8b%2C1845850033%2CF9Vlbao8b%2C1845850033">http://t.cn/Rol0sxX</a>
:【我校学子在ACM国际大学生程序设计竞赛全国邀请赛上摘金】2017年5月，ACM国际大学生程序设计竞赛（ACM-ICPC）全国邀请赛在西北工业大学举行。由我校学生李志远、徐经纬、陈笑天三名同学组成的队伍“challenge”夺得金奖，捧回了我校历史上的第一枚ACM-ICPC金牌。详情可见<a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRol0sxX&ep=F9Vlbao8b%2C1845850033%2CF9Vlbao8b%2C1845850033">http://t.cn/Rol0sxX</a>
:等等，考虑到今后将推出的游戏，难不成NB社Switch上第三方一哥？回想起来马车8dx和arms后面都有对NBGI的特别鸣谢，真是可怕极了 <a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRU14lZk&ep=FeUqn8BXP%2C1886986281%2CFeUqn8BXP%2C1886986281">日本·横滨</a>
上面的问题只是一部分。。。如果爬其他数据还会有更多的问题要考虑。有空再考虑一下清洗策略
