摘要：
作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到LINUX 首先把收集到的数据所生成的csv文件gzcc.csv上传到装有MySQL、Hive以及Hadooplinux系 2 阅读全文
摘要：
作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS 全称 Hadoop分布式文件系统，其最主要的作用是作为 Hado 阅读全文
摘要：
作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 利用Shell命令与HDFS进行交互 阅读全文
摘要：
Hadoop的起源 2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。 2005年，Hadoop作为L 阅读全文
摘要：
近年来二手房市场已经成为一个不可忽视的存在。从价格的节节攀升，到交易量的持续增长；从大中介公司的“跑马圈地”，到小中介公司林立，二手房市场已经开始“奔跑着歌 唱”，更重要的是，二手房已经纳入了越来越多老百姓置业的考虑范围。 二手房市场是离普通百姓最近的住房市场，二手房市场的健康发展，对于整个房地产市 阅读全文
摘要：
题目： 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 import ti 阅读全文
摘要：
作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 题目： 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl news 阅读全文
摘要：
1. 简单说明爬虫原理 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，也就是模拟浏览器的动作从网站上搜索信息，并获取自己需要的信息。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 1：向服务器发起请求 通过HTTP库向目标站点发起请求，即发送一 阅读全文
摘要：
作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji 阅读全文
摘要：
作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表，元组，字典，集合分别如何增删改查及遍历。 2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面： 3.词频统计 1.下载一长篇小说，存成utf- 阅读全文