2018年5月25日
摘要: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 先启动Hadoop。 jps查看各个服务已启动 把本地文件上传到hdfs文件系统 建个表text 把hdfs文件系统中input文件夹里的文本文件load进去,写hiveQL命令统计 使用select命令查 阅读全文
posted @ 2018-05-25 19:00 140-吴华锐 阅读(127) 评论(0) 推荐(0) 编辑
  2018年5月16日
摘要: hive基本操作与应用 通过hadoop上的hive完成WordCount 启动hadoop cd /usr/local/hadoop/sbinstart-all.sh Hdfs上创建文件夹 hdfs dfs -mkdir wcinput hdfs dfs -ls /user/hadoop 上传文件 阅读全文
posted @ 2018-05-16 20:28 140-吴华锐 阅读(152) 评论(0) 推荐(0) 编辑
  2018年5月9日
摘要: 编写程序求每日最高最低气温,区间最高最低气温 (学号是140,但是没有0月份的。。。。) 将其权限作出相应修改 阅读全文
posted @ 2018-05-09 21:46 140-吴华锐 阅读(120) 评论(0) 推荐(0) 编辑
  2018年5月8日
摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 阅读全文
posted @ 2018-05-08 17:36 140-吴华锐 阅读(125) 评论(0) 推荐(0) 编辑
  2018年4月29日
摘要: 对豆瓣读书网进行书评书单推荐简介和推荐链接数据爬取: 将所爬的数据存储在mark down文件中: 截图: 词云生成截图: 相关问题: 1.在电脑无法安装词云wordcloud,将代码复制在在线词云生成器进行词云生成; 2.数据无法直接保存至文本文件,改用mark down 文件存储; 3.运行有错 阅读全文
posted @ 2018-04-29 16:53 140-吴华锐 阅读(221) 评论(0) 推荐(0) 编辑
  2018年4月25日
摘要: 编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务: 1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 2.在本地查看文件位置(ls) ls 3.在本地显示文件内容 4.使用命令把本地文件系统中的“txt”上传到H 阅读全文
posted @ 2018-04-25 19:06 140-吴华锐 阅读(158) 评论(0) 推荐(0) 编辑
  2018年4月12日
摘要: 1. 将新闻的正文内容保存到文本文件。 f = open('content.txt', 'a', encoding ='utf - 8') # content为文本正文 f.write(content) f.close() 2. 将新闻数据结构化为字典的列表: news ={} # 读取新闻细节 d 阅读全文
posted @ 2018-04-12 19:38 140-吴华锐 阅读(124) 评论(0) 推荐(0) 编辑
  2018年4月11日
摘要: 1.取出一个新闻列表页的全部新闻 包装成函数。 2.获取总的新闻篇数,算出新闻总页数。 3.获取全部新闻列表页的全部新闻详情。 4.找一个自己感兴趣的主题,进行数据爬取,并进行分词分析。不能与其它同学雷同。 阅读全文
posted @ 2018-04-11 17:09 140-吴华锐 阅读(110) 评论(0) 推荐(0) 编辑
  2018年4月4日
摘要: 1.爬取校园新闻首页新闻的标题、链接、正文、show-info。 标题: 链接: 正文: show-info: 2.分析info字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息 使用正则表达式取得新闻编号: 生成点击次数的Request URL: 阅读全文
posted @ 2018-04-04 16:22 140-吴华锐 阅读(170) 评论(0) 推荐(0) 编辑
  2018年3月29日
摘要: 1.取出h1标签的文本 2.取出a标签的链接 3.取出所有li标签的所有内容 4.取出第2个li标签的a标签的第3个div标签的属性 5.取出一条新闻的标题、链接、发布时间、来源 阅读全文
posted @ 2018-03-29 12:33 140-吴华锐 阅读(134) 评论(0) 推荐(0) 编辑