2018年5月24日
摘要:
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 启动hadoop: 1 2 start-all.sh jps 1 2 start-all.sh jps 1 2 start-all.sh jps 1 2 start-all.sh jps start-all
阅读全文
posted @ 2018-05-24 10:48
240王家乐
阅读(88)
推荐(0)
2018年5月17日
摘要:
1.启动hadoop 2.Hdfs上创建文件夹 创建的文件夹是datainput 3.上传文件至hdfs 启动Hive 4。创建原始文档表 5.导入文件内容到表docs并查看 6.用HQL进行词频统计,结果放在表word_count里 7.查看统计结果 1.启动hadoop 2.Hdfs上创建文件夹
阅读全文
posted @ 2018-05-17 20:38
240王家乐
阅读(158)
推荐(0)
2018年5月9日
摘要:
1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 2. 用Hadoop提供的HBase Shell命令完成相同任务: 列出HBase所有的表的相关信息;list 在终端打印出学生表的所有记录数据; 向学生表添加课程列族
阅读全文
posted @ 2018-05-09 20:23
240王家乐
阅读(185)
推荐(0)
2018年4月28日
posted @ 2018-04-28 12:55
240王家乐
阅读(332)
推荐(0)
2018年4月26日
摘要:
一、Hadoop提供的Shell命令完成相同任务: 1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 2.在本地查看文件位置(ls) 3.在本地显示文件内容 4.使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的inp
阅读全文
posted @ 2018-04-26 13:36
240王家乐
阅读(208)
推荐(0)
2018年4月11日
摘要:
学会使用正则表达式 1. 用正则表达式判定邮箱是否输入正确。 import re text = "64sdfsdff942@q.q.com" if re.match(r'^[0-9a-zA-Z_]{0,19}@[0-9a-zA-Z]{1,13}\.[com,cn,net]{1,3}$', text)
阅读全文
posted @ 2018-04-11 20:41
240王家乐
阅读(114)
推荐(0)
2018年4月3日
摘要:
1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。 2. 分析字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息。 3. 将其中的发布时间由str转换成datetime类型。 4. 将完整的代码及运行结果截图发布在作业上。
阅读全文
posted @ 2018-04-03 20:31
240王家乐
阅读(156)
推荐(0)
2018年3月29日
摘要:
0.可以新建一个用于练习的html文件,在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 soup.p #标签名,返回第一个 soup.head soup.p.name #字符串 soup.p. attrs #字典,标签的所有属性 soup.p. content
阅读全文
posted @ 2018-03-29 22:37
240王家乐
阅读(105)
推荐(0)
2018年3月27日
摘要:
1.英文词频统 下载一首英文的歌词或文章 将所有,.?!’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除语法型词汇,代词、冠词、连词 输出词频最大TOP20 将分析对象存为utf-8编码的文件,通过文件读取的方式获得词频分析内容。 2.中文词频统计 下载一长篇
阅读全文
posted @ 2018-03-27 21:30
240王家乐
阅读(122)
推荐(0)
2018年3月22日
摘要:
1.组合数据类型练习: 分别定义字符串,列表,元组,字典,集合,并进行遍历。 总结列表,元组,字典,集合的联系与区别。 1 字符串: 2.列表 3.元组 4.字典 5.集合 列表,元组,字典,集合的联系与区别:列表是用[]括起来,元组是用()括起来的,字典集合都是用{}括起来。列表是可变序列,可以索
阅读全文
posted @ 2018-03-22 21:55
240王家乐
阅读(194)
推荐(0)