摘要: Hadoop综合大作业 要求: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。 词频统计的截图如下: 上次我所使用的文章是一篇中文文章,所以这次我用了一篇英文文档来进行分词,大致的流程与上次的操作差不多。 这是启动hadoop的画面。 启动hive的画面 这 阅读全文
posted @ 2018-05-25 10:42 161蔡瑞奇 阅读(221) 评论(0) 推荐(0) 编辑
摘要: 通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计,结果放在表word_count里 查看统计结果 阅读全文
posted @ 2018-05-16 21:25 161蔡瑞奇 阅读(109) 评论(0) 推荐(0) 编辑
摘要: 用mapreduce 处理气象数据集 编写程序求每日最高最低气温,区间最高最低气温 气象数据集下载地址为:ftp://ftp.ncdc.noaa.gov/pub/data/noaa mkdir qx cd qx wget -D --accept-regex=REGEX -p data -r -c f 阅读全文
posted @ 2018-05-09 21:51 161蔡瑞奇 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003 阅读全文
posted @ 2018-05-08 18:51 161蔡瑞奇 阅读(1104) 评论(0) 推荐(0) 编辑
摘要: 1.选一个自己感兴趣的主题。 2.用python 编写爬虫程序,从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析,生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客,描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、爬虫及数据分析源代 阅读全文
posted @ 2018-04-30 14:40 161蔡瑞奇 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务:在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. cd /home/hadoop touch news.txt ./bin/hdfs dfs -mkdir -p /h 阅读全文
posted @ 2018-04-25 15:09 161蔡瑞奇 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 1. 将新闻的正文内容保存到文本文件。 newscontent=soup.select('.show-content')[0].textf=open('new.txt','w')f.write(newscontent)f=open('new.txt','r')print(f.read()) 2. 将 阅读全文
posted @ 2018-04-12 11:34 161蔡瑞奇 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 1.取出一个新闻列表页的全部新闻 包装成函数。 import requestsfrom bs4 import BeautifulSoupnewsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/'res=requests.get(newsurl)res.enc 阅读全文
posted @ 2018-04-10 22:38 161蔡瑞奇 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文、show-info。 import requests from bs4 import BeautifulSoup newsurl='http://news.gzcc.cn/html/xiaoyuanxi 阅读全文
posted @ 2018-04-04 16:09 161蔡瑞奇 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 0.可以新建一个用于练习的html文件,在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0328/9113.html' 阅读全文
posted @ 2018-03-28 20:42 161蔡瑞奇 阅读(959) 评论(0) 推荐(0) 编辑