04 2018 档案

熟悉常用的HDFS操作
摘要：一、Hadoop提供的Shell命令完成相同任务： 二、 阅读全文

posted @ 2018-04-27 09:17 105李梓维 阅读(144) 评论(0) 推荐(0)

爬虫大作业
摘要：python爬虫 抓取《极简宇宙史》书评，制作词云 分析网页源码，进行数据抓取 数据抓取完之后，删除标点符号。把全部书评复制到桌面的一个新建文本文档中 生成词云 运行程序之后，生成的词云如图所示： 阅读全文

posted @ 2018-04-24 18:17 105李梓维 阅读(193) 评论(0) 推荐(0)

数据结构化与保存
摘要：1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) import pandas imp 阅读全文

posted @ 2018-04-17 20:38 105李梓维 阅读(97) 评论(0) 推荐(0)

使用正则表达式，取得点击次数，函数抽离
摘要：1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getCl 阅读全文

posted @ 2018-04-09 19:58 105李梓维 阅读(109) 评论(0) 推荐(0)

爬取校园新闻首页的新闻
摘要：import requests from bs4 import BeautifulSoup from datetime import datetime url = "http://news.gzcc.cn/html/xiaoyuanxinwen/" res = requests.get(url) res.encoding = 'utf-8' soup = BeautifulSoup(res... 阅读全文

posted @ 2018-04-02 22:06 105李梓维 阅读(102) 评论(0) 推荐(0)

导航