摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 启动hadoop： 1 2 start-all.sh jps 1 2 start-all.sh jps 1 2 start-all.sh jps start-all.sh jps 查看hdfs上的文件夹： 阅读全文

摘要： 1. 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 课程（course） 2015001 Zhangsan male 23 2015003 阅读全文

摘要： 一、Hadoop提供的Shell命令完成相同任务： 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查看h 阅读全文

摘要： 一.程序运用了三个主要函数：获取url函数，获取网页文本信息函数，生成词云函数 1. 应对网站的反爬虫机制，添加了'User-Agent' 2. 运用Beautifulsoup函数对html进行分析，并将数据返回到主函数中，存在txt文本文件中，便于调用 3. 运用jieba对爬取的文本文件进行分词 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 1 2 3 4 def writeNewsDatail(content): f=open('gzccnews1.txt','a',encoding='utf-8') f.write(content) f.close() 1 2 3 4 def writeNew 阅读全文

摘要： import re ''' 1.用正则表达式判断邮箱是否输入正确 2.用正则表达式识别出全部的电话号码(这里用的是固话模式) 3.用正则表达式进行英文单词的分词 ''' def em_match(e): try: c = re.findall(r'[0-9a-zA-Z][0-9a-zA-z\_]*\@[a-z]+\.[c,o,m,n]+', str(e)) ... 阅读全文

摘要： import requests from bs4 import BeautifulSoup import re from datetime import datetime new_list, add, p_list, pa = [], [], [], [] url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(... 阅读全文

摘要： import requests from bs4 import BeautifulSoup ''' Practice ''' url = 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0329/9129.html' re = requests.get(url) re.encoding = 'utf-8' # print(re) # print... 阅读全文

摘要： # utf-8 # 打开英文演讲的txt文档 s_words = {'own', 'the', 'and', 'that', 'this', 'it', 'my', 'when', 'but', 'so', 'where', 'an', 'a'} sep = ''',.?!:”'“;][ ’''' with open("dr 阅读全文