摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 载入数据 创建查表 查看表是否创建成果 查看结果 2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。 将数据以csv格式上传到hdfs 将文件上传到HDFS上 查 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 阅读全文

摘要： import requests from bs4 import BeautifulSoup def catchSoup(url): #url=‘http://www.18ladys.com/post/buchong/‘ res=requests.get(url) res.encoding=‘utf-8‘ soup=BeautifulSoup(res.text,‘... 阅读全文

摘要： 编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务： 1 2 3 cd /usr/local/hadoop touch test.txt cat test.txt 1 2 3 cd /usr/local/hadoop touch test.txt cat test.txt 1 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 ? 1 2 3 4 f = open('content.txt', 'a', encoding ='utf - 8') # content为文本正文 f.write(content) f.close() ? 1 2 3 4 f = open('content. 阅读全文

摘要： import requests from bs4 import BeautifulSoup from datetime import datetime url = "http://news.gzcc.cn/html/xiaoyuanxinwen/" res = requests.get(url); 阅读全文

摘要： 下载一长篇中文文章。 从文件读取待分析文本。 news = open('gzccnews.txt','r',encoding = 'utf-8') 安装与使用jieba进行中文分词。 pip install jieba import jieba list(jieba.lcut(news)) 生成词频 阅读全文

摘要： 词频统计预处理 下载一首英文的歌词或文章 将所有,.？！’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除语法型词汇，代词、冠词、连词 输出词频最大TOP10 截图： 阅读全文

摘要： 字符串练习： http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html 取得校园新闻的编号 https://docs.python.org/3/library/turtle.html 产生python文档的网址 http://news.g 阅读全文

摘要： cd命令：切换目录 （1）切换到目录 /usr/local cd /usr/local （2）去到目前的上层目录 cd .. （3）回到自己的主文件夹 cd ~ ls命令：查看文件与目录 （4）查看目录/usr下所有的文件 ls -a /usr mkdir命令：新建新目录 （5）进入/tmp目录，创 阅读全文