摘要：
1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 因为python 阅读全文
摘要：
1、通过hadoop上的hive完成WordCount 启动hadoop 2、Hdfs上创建文件夹 / 3、上传文件至hdfs 4、启动Hive 5、创建原始文档表 6、导入文件内容到表docs并查看 7、用HQL进行词频统计，结果放在表word_count里 8、查看统计结果 阅读全文
摘要：
1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 课程（course） 2015001 Zhangsan male 23 2015003 阅读全文
摘要：
熟悉常用的HDFS操作 一、Hadoop提供的Shell命令完成相同任务： 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 cd /home/hadoop/ touch test.txt c 阅读全文
摘要：
1.主题： 爬取腾讯课堂的springboot的视频信息，这里我主要对标题信息进行了爬取，爬取信息之后通过jieba分词生成词云并且进行分析； 2.爬取过程： 第一步： 首先打开腾讯课堂官网，经过搜索，我发现和springboot相关的视频有两页 第一页：https://ke.qq.com/cour 阅读全文
摘要：
1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas，用pand 阅读全文
摘要：
1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getCl 阅读全文
摘要：
1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 url = "http://news.gzcc.cn/html/xiaoyuanxinwen/" res = requests.get(url); res.encoding = "utf-8" sou 阅读全文
摘要：
0.可以新建一个用于练习的html文件，在浏览器中打开。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <h1>This is the docume 阅读全文
摘要：
一、英文词频统计 1.下载一首英文的歌词或文章 We all know that environment is so important to ourselves and our future generations. Natural resources have been depleted in 阅读全文