摘要：作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 此次作业选取的是爬虫《人性的弱点全集》短评数据生成的cm.csv文件；爬取的数据总数为10991条。 cm.csv 阅读全文
分布式并行计算MapReduce
2019-06-04 11:05 by CMis180kg, 292 阅读, 0 推荐, 收藏, 编辑
摘要：作业要求来自于https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程 1）HDFS的功能、工作原理和工作过程 功能：分布式文件系统，HDFS能 阅读全文
分布式文件系统HDFS 练习
2019-05-29 12:50 by CMis180kg, 197 阅读, 0 推荐, 收藏, 编辑
摘要：作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 （1）在HDFS中为hadoop用户创建一个用户目录 （2）在用户目录下创建一个input 阅读全文
安装关系型数据库MySQL 安装大数据处理框架Hadoop
2019-05-06 22:27 by CMis180kg, 236 阅读, 0 推荐, 收藏, 编辑
摘要：一、简述Hadoop平台的起源、发展历史与应用现状。 Hadoop平台的起源 Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Goo 阅读全文
爬虫综合大作业
2019-04-28 19:58 by CMis180kg, 390 阅读, 0 推荐, 收藏, 编辑
摘要：作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一.把爬取的内容保存取MySQL数据库 1.爬取内容保存到数据库中的代码如下： 2.SQL文件打开内容如下： 二.爬虫综合大作业 关于读者对《人性的弱点全集》短评 阅读全文
爬取全部的校园新闻
2019-04-08 18:02 by CMis180kg, 173 阅读, 0 推荐, 收藏, 编辑
摘要：作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 1.从新闻url获取新闻详情： 字典,anews 执行结果如下图所示： 2.从列表页的url获取新闻url：列表append(字典) alist 执行结果如下图所 阅读全文
获取一篇新闻的全部信息
2019-04-02 22:11 by CMis180kg, 200 阅读, 0 推荐, 收藏, 编辑
摘要：作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsI 阅读全文
理解爬虫原理
2019-03-27 13:39 by CMis180kg, 196 阅读, 0 推荐, 收藏, 编辑
摘要：作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 1. 简单说明爬虫原理 通用程序模拟浏览器请求站点的行为，采集信息，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的 阅读全文
中文词频统计
2019-03-18 17:40 by CMis180kg, 207 阅读, 0 推荐, 收藏, 编辑
摘要：作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba 阅读全文
复合数据类型，英文词频统计
2019-03-14 13:03 by CMis180kg, 228 阅读, 0 推荐, 收藏, 编辑
摘要：作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表，元组，字典，集合分别如何增删改查及遍历。 （1）列表 执行效果图如下图所示： （2）元组 执行效果如下图所示： （3）字典 执行效果如下图所示： （4） 阅读全文