摘要: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。 我所用到短篇小说是傲慢与偏见,为了方便后续处理,对小说的特殊符号进行了处理,结果如图。 载入数据 创建查表 最终结果: 2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结 阅读全文
posted @ 2018-05-23 09:46 162--麦振澎 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计,结果放在表word_count里 查看统计结果 阅读全文
posted @ 2018-05-16 16:26 162--麦振澎 阅读(103) 评论(0) 推荐(0) 编辑
摘要: 用mapreduce 处理气象数据集 编写程序求每日最高最低气温,区间最高最低气温 阅读全文
posted @ 2018-05-09 21:20 162--麦振澎 阅读(402) 评论(0) 推荐(0) 编辑
摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003 阅读全文
posted @ 2018-05-08 16:59 162--麦振澎 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 爬取的是网易——人间——记事栏目的文章 阅读全文
posted @ 2018-04-29 14:19 162--麦振澎 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查看hdfs中的文件(-ls) 显示hdfs中该的文件 阅读全文
posted @ 2018-04-25 21:03 162--麦振澎 阅读(347) 评论(0) 推荐(0) 编辑
摘要: 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news def gzcc_content_info(content_url): content_info = {} resp = requests.get(content_url) resp.en 阅读全文
posted @ 2018-04-11 20:55 162--麦振澎 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 获取全部校园新闻: 爬取网易_人间_记事栏目的文章: 阅读全文
posted @ 2018-04-10 22:50 162--麦振澎 阅读(369) 评论(0) 推荐(0) 编辑
摘要: import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport redef gzcc_content_clicks(content_url): content_id = re.search('(\d{2,})\.html', content_url).group(1) click_url ... 阅读全文
posted @ 2018-04-03 20:38 162--麦振澎 阅读(318) 评论(0) 推荐(0) 编辑
摘要: 1. 取出h1标签的文本 2. 取出a标签的链接 3. 取出所有li标签的所有内容 4. 取出第2个li标签的a标签的第3个div标签的属性 5. 取出一条新闻的标题、链接、发布时间、来源 阅读全文
posted @ 2018-03-28 20:17 162--麦振澎 阅读(143) 评论(0) 推荐(0) 编辑