摘要：
作业要求来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 本次作业是在期中大作业的基础上利用hadoop和hive技术进行大数据分析 1. 准备数据（下图为SCV截图）： 把CSV添加到/bigdatacase/datas 阅读全文
摘要：
1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 MapReduce是并行处理框架，实现任务分解和调度。 其实原理说通俗一点就是分而治之的思想，将一个大任务分解成多个小任务(map)，小任务执行完了之后，合并计算结果(reduce)。 也就是说，JobTr 阅读全文
摘要：
利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input 阅读全文
摘要：
Hadoop的起源 2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。 2005年，Hadoop作为L 阅读全文
摘要：
以前出去代步工具最多都是公交，地铁还没有不好意思，看到公交站牌一堆堆的公交车号和公交车线路，头都晕。这次作业突然就想了解下现在公交车到底有多少线路，途径哪里。所以这次爬取了公交线路信息。 爬取基本信息： 把爬取出来的信息保存到csv文档： 词云生成: 1、查询票价前十的站点及公交车号 这些车如果坐的 阅读全文
摘要：
1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 import time i 阅读全文
摘要：
给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文
摘要：
老师：MissDu 提交作业 老师：MissDu 提交作业 1. 简单说明爬虫原理 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。 第一步：抓取网页，第二步： 阅读全文
摘要：
1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵') #逐个添加 阅读全文
摘要：
1.列表，元组，字典，集合分别如何增删改查及遍历。 2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面： 括号 有序无序 可变不可变 重复不可重复 存储与查找方式 3.词频统计 1.下载一长篇小说，存成utf-8编码的文本文件 file 2.通过文件读取字符串 str 3.对文本进行预处理 阅读全文