摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导入到数据仓库Hive中 4.在Hive中查 阅读全文
posted @ 2019-06-16 23:44 zz1j 阅读(119) 评论(0) 推荐(0) 编辑
摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持, 阅读全文
posted @ 2019-06-06 22:58 zz1j 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoo 阅读全文
posted @ 2019-05-31 18:37 zz1j 阅读(71) 评论(0) 推荐(0) 编辑
摘要: 作业来自: 4. 简述Hadoop平台的起源、发展历史与应用现状。 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google。Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进 阅读全文
posted @ 2019-05-12 21:09 zz1j 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 老师:MissDu 老师:MissDu 一.把爬取的内容保存取MySQL数据库 import pandas as pd import pymysql from sqla 阅读全文
posted @ 2019-04-28 23:00 zz1j 阅读(548) 评论(0) 推荐(0) 编辑
摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 1.从新闻url获取新闻详情: 字典,anews 2.从列表页的url获取新闻url:列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 : 阅读全文
posted @ 2019-04-12 12:10 zz1j 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击: newsUrl newsId(使 阅读全文
posted @ 2019-04-01 16:24 zz1j 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 1. 简单说明爬虫原理 给网站发送请求,获取资源后解析并提取有用数据的程序 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 连接,服务器通过一个ServerSo 阅读全文
posted @ 2019-03-27 19:04 zz1j 阅读(101) 评论(0) 推荐(0) 编辑
摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji 阅读全文
posted @ 2019-03-18 17:47 zz1j 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表,元组,字典,集合分别如何增删改查及遍历。 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 括号 有序无序 可变不可变 重复不可重复 存 阅读全文
posted @ 2019-03-14 20:47 zz1j 阅读(157) 评论(0) 推荐(0) 编辑