摘要：1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 在user/hadoop创建文件夹EnglishWord 上传文档到user/hadoop/EnglishWord文件夹中 在hive创建表world 导入文本world并查看 . 用SQL进行词频统计并保 阅读全文
理解MapReduce
2018-05-10 21:58 by AAAAAAABE, 140 阅读, 0 推荐, 收藏, 编辑
摘要：1. 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 编写map函数，reduce函数 import sys for i i 阅读全文
熟悉常用的HBase操作
2018-05-04 21:15 by AAAAAAABE, 270 阅读, 0 推荐, 收藏, 编辑
摘要：1. 2. 列出HBase所有的表的相关信息；list 在终端打印出学生表的所有记录数据； 向学生表添加课程列族； 向课程列族添加数学列并登记成绩为85； 删除课程列； 统计表的行数；count 's1' 清空指定的表的所有记录数据；truncate 's1' 阅读全文
熟悉常用的HDFS操作
2018-04-27 19:51 by AAAAAAABE, 149 阅读, 0 推荐, 收藏, 编辑
摘要：一、Hadoop提供的Shell命令完成相同任务： 二、 向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件； hadoop fs -put /home/hadoop/test.txt /usr/local/hadoop hadoop 阅读全文
爬虫大作业
2018-04-24 19:45 by AAAAAAABE, 176 阅读, 0 推荐, 收藏, 编辑
摘要：1.选一个自己感兴趣的主题或网站。(所有同学不能雷同) 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全 阅读全文
数据结构化与保存
2018-04-17 20:40 by AAAAAAABE, 145 阅读, 0 推荐, 收藏, 编辑
摘要：1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas，用pand 阅读全文
爬取校园新闻首页的新闻
2018-04-02 11:39 by AAAAAAABE, 132 阅读, 0 推荐, 收藏, 编辑
摘要：1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 2. 分析字符串，获取每篇新闻的发布时间，作者，来源，摄影。 3. 将其中的发布时间由str转换成datetime类型。 阅读全文
网络爬虫基础练习
2018-03-30 20:14 by AAAAAAABE, 161 阅读, 0 推荐, 收藏, 编辑
摘要：1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(newsurl) #返回response对象 res.en 阅读全文
综合练习：词频统计
2018-03-26 10:57 by AAAAAAABE, 231 阅读, 0 推荐, 收藏, 编辑
摘要：str = '''I can swear I can joke I say what's on my mind If I drink if I smoke I keep up with the guys And you see me holding up my middlefinger to the world F**k your ribbons and your pearls pearls '... 阅读全文