摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 （1）开启服务，并创建文件夹 (2)查看目录下所有文件 （3）增加hdfs文件系统中文件夹里的文本文件。 （4）进入hive,并查看所有的表 (5)创建表word,,写hiveQL命令统计 （6）运行结果 阅读全文

摘要： 1. 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 编写map函数，reduce函数 将其权限作出相应修改 本机上测试运行 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 2. 用Hadoop提供的HBase Shell命令完成相同任务： 列出HBase所有的表的相关信息；list list 在终端打印出学生表的所有记录数据； scan 阅读全文

摘要： 一、Hadoop提供的Shell命令完成相同任务： 1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.mkdir hadoop2.在本地查看文件位置（ls）ls 3.在本地显示文件内容cd /usr/local/hadoop touch 阅读全文

摘要： 1.选一个自己感兴趣的主题或网站。(所有同学不能雷同) 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全 阅读全文

摘要： import requests import re import pandas from bs4 import BeautifulSoup from datetime import datetime # 1. 将新闻的正文内容保存到文本文件。 def writeNewsDetail(content): f = open('gzccNews.txt', 'a',encoding='utf... 阅读全文

摘要： import requests import re from bs4 import BeautifulSoup from datetime import datetime a = 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0404/9183.html' # 1. 用正则表达式判定邮箱是否输入正确。 r = '^(\w)+(\.\w+)*@(... 阅读全文

摘要： import requests from bs4 import BeautifulSoup from datetime import datetime url = "http://news.gzcc.cn/html/xiaoyuanxinwen/" res = requests.get(url) res.encoding = 'utf-8' soup = BeautifulSoup(res.t... 阅读全文

摘要： import requests url = 'http://localhost:63343/Demo/cehsi.html?_ijt=ah8jh9pfl0r7j3qoqt6r8egqk5' res = requests.get(url) res.encoding = 'utf-8' print(res.text) from bs4 import BeautifulSoup soup = B... 阅读全文

摘要： # fo = open('zzzz.txt;','r') # s = fo.read() # fo.close() # print(s) s = '''Though people have been always educated to save water, we can see they waste water all the time. For example, sometimes I ... 阅读全文