随笔分类 -  Python

Hadoop综合大作业
摘要：Hadoop综合大作业 要求： 1. 用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。 2. 用Hive对爬虫大作业产生的csv文件进行数据分析 1. 用Hive对爬虫大作业产生的文本文件 这里的具体操作步骤如下： 将网页上的歌词段落爬取下来 通过jieba分词后 阅读全文
posted @ 2018-05-24 22:30 Lger 阅读(385) 评论(0) 推荐(0)
用mapreduce 处理气象数据集
摘要：用mapreduce 处理气象数据集 编写程序求每日最高最低气温，区间最高最低气温 气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况 阅读全文
posted @ 2018-05-09 20:51 Lger 阅读(1976) 评论(0) 推荐(2)
熟悉常用的HBase操作，编写MapReduce作业
摘要：1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student） | 学号（S_No） | 姓名（S_Name） | 性别（S_Sex） | 年龄（S_Age） | | | | | | | 2015001 | Zhangsan | male | 23 阅读全文
posted @ 2018-05-08 21:40 Lger 阅读(266) 评论(0) 推荐(0)
在‘句子迷’爬取网友总结的方文山歌词并作词频统计
摘要：要求： 1. 选一个自己感兴趣的主题。 2. 用python 编写爬虫程序，从网络上爬取相关主题的数据。 3. 对爬了的数据进行文本分析，生成词云。 4. 对文本分析结果进行解释说明。 5. 写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6. 最后提交爬取的全部数据 阅读全文
posted @ 2018-04-27 20:10 Lger 阅读(563) 评论(1) 推荐(0)
课程作业——数据结构化与保存
摘要：1.将新闻的正文内容保存到文本文件 2.将新闻数据结构化为字典的列表: 单条新闻的详情 字典news 一个列表页所有单条新闻汇总 列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3.安装pandas，用pandas.DataF 阅读全文
posted @ 2018-04-12 18:20 Lger 阅读(177) 评论(0) 推荐(0)
课程作业——获取全部校园新闻
摘要：作业要求： 1. 取出一个新闻列表页的全部新闻 包装成函数。 2. 获取总的新闻篇数，算出新闻总页数。 3. 获取全部新闻列表页的全部新闻详情。 4. 找一个自己感兴趣的主题，进行数据爬取，并进行分词分析。不能与其它同学雷同。 前三个要求代码如下： 结果截图： 第四个要求中，我爬取了校园所有的新闻描 阅读全文
posted @ 2018-04-11 14:00 Lger 阅读(292) 评论(0) 推荐(0)
课程作业——爬取校园新闻首页的新闻的详情，使用正则表达式，函数抽离
摘要：要求： 1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文、show info。 2. 分析info字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。 3. 将字符串格式的发布时间转换成datetime类型 4. 使用正则表达式取得新闻编号 5. 阅读全文
posted @ 2018-04-03 13:33 Lger 阅读(174) 评论(0) 推荐(0)
网络爬虫基础练习
摘要：以下是练习使用URL链接： http://news.gzcc.cn/html/xiaoyuanxinwen/ 这里是使用了requests库和BeautifulSoup库来做爬虫练习，所以在使用前先安装好这两个库 练习要求如下： 取出h1标签的文本 取出a标签的链接 取出所有li标签的所有内容 取出 阅读全文
posted @ 2018-03-28 20:27 Lger 阅读(171) 评论(0) 推荐(0)
Python中文词频统计
摘要：以下是关于小说的中文词频统计 这里有三个文件，分别为novel.txt、punctuation.txt、meaningless.txt。 这三个是小说文本、特殊符号和无意义词 Python代码统计词频如下： 相关代码已上传 "CSDN" 阅读全文
posted @ 2018-03-28 19:46 Lger 阅读(1417) 评论(0) 推荐(0)
课程作业——综合练习：英文词频统计
摘要：我在统计词频的过程中是使用了amazing grace的歌词，歌词大致如下： 我将上面的歌词放入一个 的文件中，现在就可以进行代码编写，代码如下： 以上的代码中给出了大量的注释，如果有出现纰漏，请多多交流，可以邮箱联系。 参考链接 排序：https://www.cnblogs.com/timtike 阅读全文
posted @ 2018-03-21 21:34 Lger 阅读(192) 评论(2) 推荐(0)
课程作业——字符串、组合数据类型练习
摘要：1.字符串练习： http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html 取得校园新闻的编号 https://docs.python.org/3/library/turtle.html 产生python文档的网址 http://news 阅读全文
posted @ 2018-03-21 20:53 Lger 阅读(254) 评论(0) 推荐(0)
课程作业——Python基础之使用turtle库画出红旗
摘要：代码如下： 画出的红旗截图如下： 阅读全文
posted @ 2018-03-15 12:43 Lger 阅读(821) 评论(0) 推荐(0)