unilee

摘要： 本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 Hadoop综合大作业 要求： 1.将爬虫大作业产生的csv文件上传到HDFS 此处选取的是爬虫大作业——豆瓣上排名前250的电影评价 此处选取的是douba 阅读全文

摘要： 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS的概念: Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统、HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS 阅读全文

摘要： 作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的 阅读全文

摘要： 作业要求来自于https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/316 一、简述Hadoop平台的起源、发展历史与应用现状 Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。Cloudera(英语：Cloudera, 阅读全文

摘要： 作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一.把爬取的内容保存取MySQL数据库 import pandas as pd import pymysql from sqlalchemy import cre 阅读全文

摘要： 作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 .从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 阅读全文

摘要： 作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl news 阅读全文

摘要： 1.简单说明爬虫原理 爬虫就是通过互联网各个沾点组成的节点网，通过代码返回给浏览器，然后解析这部分的代内容，将网页内的内容简洁地呈现在我们的面前。爬虫的流程可以分为：发送请求、获取响应内容、解析内容、保存数据。 2.使用 requests 库抓取网站数据； 3.了解网页 写一个简单的html文件，包 阅读全文

摘要： 作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba impor 阅读全文

摘要： 作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表，元组，字典，集合分别如何增删改查及遍历。 列表： 元组： 字典： 集合： 2.总结列表，元组，字典，集合的联系与区别。 列表是Python中最基本的数 阅读全文