029

摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 先启动Hadoop。 jps查看各个服务已启动 把本地文件上传到hdfs文件系统 建个表text 把hdfs文件系统中input文件夹里的文本文件load进去,写hiveQL命令统计 使用select命令查 阅读全文

摘要： 通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 阅读全文

摘要： 用Python编写WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 编写map函数，reduce函数 将其权限作出相应修改 本机上测试运行代码 放到H 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 课程（course） 2015001 Zhangsan male 23 2015003 阅读全文

摘要： 爬了一下腾讯漫画的网页，因为腾讯漫画中的国漫是非常多的，也想看看国漫的近况： url：http://ac.qq.com/Comic/all/search/time/page/1 实现过程： 2、从漫画中的列表页中提取所有漫画 3、从尾页列表页中获取总的漫画列表页数 4、获取详情并保存在execl文档 阅读全文

摘要： 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查看hdfs中的文件(-ls) 显示hdfs中该的文件 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 结果如下： 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) def getClic 阅读全文

摘要：  提交作业  提交作业 0.可以新建一个用于练习的html文件，在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = 阅读全文

摘要： 下载一首英文的歌词或文章 将所有,.？！’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除语法型词汇，代词、冠词、连词 输出词频最大TOP20 将分析对象存为utf-8编码的文件，通过文件读取的方式获得词频分析内容。 2.中文词频统计 下载一长篇中文文章。 从文 阅读全文

摘要： 1.组合数据类型练习： 分别定义字符串，列表，元组，字典，集合，并进行遍历。 字符串： 列表： 元组： 字典： 集合： 总结列表，元组，字典，集合的联系与区别。 列表和元组可以说基本一样，不一样的是列表可以用extend、insert、pop、append来添加，插入，删除元素。 而字典是以键值对来 阅读全文