摘要: 1.用Hive对爬虫大作业产生的文本文件进行词频统计。 (1)jps查看服务是否启动,然后创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文本文件load进去。 (4)进入hive,并查看所有的表 (5)创建表word,,写hiveQL命令统计 (6)运行结果 2.用 阅读全文
posted @ 2018-05-25 21:32 122建雄 阅读(71) 评论(0) 推荐(0) 编辑
摘要: . 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 用mapreduce 处理气象数据集 编写程序求每日最高最低气温,区间最 阅读全文
posted @ 2018-05-10 21:34 122建雄 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003 阅读全文
posted @ 2018-05-04 21:55 122建雄 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 一、Hadoop提供的Shell命令完成相同任务: 1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. mkdir hadoop 在本地查看文件位置(ls) cd hadoop 在本地显示文件内容 touch test.txt gedit 阅读全文
posted @ 2018-04-27 19:16 122建雄 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 用python 编写爬虫程序,从网络上爬取相关主题的数据 对爬了的数据进行文本分析,生成词云 阅读全文
posted @ 2018-04-24 14:00 122建雄 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码 3用正则表达式进行英文分词 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getClickCount(newsUrl): 8. 阅读全文
posted @ 2018-04-11 22:55 122建雄 阅读(151) 评论(0) 推荐(0) 编辑
摘要: import requests from bs4 import BeautifulSoup from datetime import datetime url="http://news.gzcc.cn/html/xiaoyuanxinwen/" res=requests.get(url) res.encoding="utf-8" soup=BeautifulSoup(res.text,"h... 阅读全文
posted @ 2018-04-03 21:07 122建雄 阅读(191) 评论(0) 推荐(0) 编辑
摘要: song = ''' I don't like your little games Don't like your tilted stage The role you made me play of the fool No I don't like you I don't like your perfect crime How you laugh when you lie You said th... 阅读全文
posted @ 2018-03-26 20:32 122建雄 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 1.字符串 列表是任意对象的序列。列表用方括号表示。 将一组值打包到一个对象中,称为元组。元组用圆括号表示。元组和列表的大部分操作相同。但是,列表是不固定的,可以随时插入,删除;而元组一旦确认就不能够再更改。所以,系统为了列表的灵活性,就需要牺牲掉一些内存;而元组就更为紧凑。 与列表和元组不同,集合 阅读全文
posted @ 2018-03-22 19:14 122建雄 阅读(135) 评论(0) 推荐(0) 编辑
摘要: from turtle import * def draw(x): begin_fill() for i in range(5): forward(x) right(144) end_fill() def go_to(x,y): up() goto(x, y) down() if __name__ == "_... 阅读全文
posted @ 2018-03-19 21:29 122建雄 阅读(246) 评论(0) 推荐(0) 编辑