摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 启动hadoop： 1 2 start-all.sh jps 1 2 start-all.sh jps 1 2 start-all.sh jps 1 2 start-all.sh jps start-all 阅读全文

摘要： 1.启动hadoop 2.Hdfs上创建文件夹 创建的文件夹是datainput 3.上传文件至hdfs 启动Hive 4。创建原始文档表 5.导入文件内容到表docs并查看 6.用HQL进行词频统计，结果放在表word_count里 7.查看统计结果 1.启动hadoop 2.Hdfs上创建文件夹 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 2. 用Hadoop提供的HBase Shell命令完成相同任务： 列出HBase所有的表的相关信息；list 在终端打印出学生表的所有记录数据； 向学生表添加课程列族 阅读全文

摘要： 内容保存到TXT 生成词云图片 阅读全文

摘要： 一、Hadoop提供的Shell命令完成相同任务： 1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 2.在本地查看文件位置（ls） 3.在本地显示文件内容 4.使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的inp 阅读全文

摘要： 学会使用正则表达式 1. 用正则表达式判定邮箱是否输入正确。 import re text = "64sdfsdff942@q.q.com" if re.match(r'^[0-9a-zA-Z_]{0,19}@[0-9a-zA-Z]{1,13}\.[com,cn,net]{1,3}$', text) 阅读全文

摘要： 1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 2. 分析字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。 3. 将其中的发布时间由str转换成datetime类型。 4. 将完整的代码及运行结果截图发布在作业上。 阅读全文

摘要： 0.可以新建一个用于练习的html文件，在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 soup.p #标签名，返回第一个 soup.head soup.p.name #字符串 soup.p. attrs #字典，标签的所有属性 soup.p. content 阅读全文

摘要： 1.英文词频统 下载一首英文的歌词或文章 将所有,.？！’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除语法型词汇，代词、冠词、连词 输出词频最大TOP20 将分析对象存为utf-8编码的文件，通过文件读取的方式获得词频分析内容。 2.中文词频统计 下载一长篇 阅读全文

摘要： 1.组合数据类型练习： 分别定义字符串，列表，元组，字典，集合，并进行遍历。 总结列表，元组，字典，集合的联系与区别。 1 字符串： 2.列表 3.元组 4.字典 5.集合 列表，元组，字典，集合的联系与区别：列表是用[]括起来，元组是用()括起来的，字典集合都是用{}括起来。列表是可变序列，可以索 阅读全文