烈焰之星

摘要： Hadoop综合大作业 要求： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。 词频统计的截图如下： 上次我所使用的文章是一篇中文文章，所以这次我用了一篇英文文档来进行分词，大致的流程与上次的操作差不多。 这是启动hadoop的画面。 启动hive的画面 这 阅读全文

摘要： 通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 阅读全文

摘要： 用mapreduce 处理气象数据集 编写程序求每日最高最低气温，区间最高最低气温 气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa mkdir qx cd qx wget -D --accept-regex=REGEX -p data -r -c f 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 课程（course） 2015001 Zhangsan male 23 2015003 阅读全文

摘要： 1.选一个自己感兴趣的主题。 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、爬虫及数据分析源代 阅读全文

摘要： 编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. cd /home/hadoop touch news.txt ./bin/hdfs dfs -mkdir -p /h 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 newscontent=soup.select('.show-content')[0].textf=open('new.txt','w')f.write(newscontent)f=open('new.txt','r')print(f.read()) 2. 将 阅读全文

摘要： 1.取出一个新闻列表页的全部新闻 包装成函数。 import requestsfrom bs4 import BeautifulSoupnewsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/'res=requests.get(newsurl)res.enc 阅读全文

摘要： 1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文、show-info。 import requests from bs4 import BeautifulSoup newsurl='http://news.gzcc.cn/html/xiaoyuanxi 阅读全文

摘要： 0.可以新建一个用于练习的html文件，在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0328/9113.html' 阅读全文