摘要：
作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 Hadoop综合大作业 1.将爬虫大作业产生的csv文件 2.对CSV文件进行预处理生成无标题文本文件 3.把上传到hdfs中的文本文件最终导入到数据仓库Hive中 4 阅读全文
posted @ 2019-06-20 13:52 PBY 阅读(145) 评论(0) 推荐(0) 编辑
摘要：
作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoo 阅读全文
posted @ 2019-06-03 00:23 PBY 阅读(100) 评论(0) 推荐(0) 编辑
摘要：
1.安装Linux，MySql 我是用vm workstation来装的 1、创建用户 2、安装mysql 2.windows 与 虚拟机互传文件 3.安装Hadoop 还不能从windows复制文件的，可在虚拟机里用浏览器下载安装文件，课件： 提取文件：hadoop-2.7.1.tar.gz 链接 阅读全文
posted @ 2019-05-16 21:54 PBY 阅读(127) 评论(0) 推荐(0) 编辑
摘要：
本次作业来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 import包： 0.从新闻url获取点击次数，并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) 阅读全文
posted @ 2019-04-14 22:11 PBY 阅读(85) 评论(0) 推荐(0) 编辑
摘要：
作业要求源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 请求网站并提取数据的自动化程序：向服务器发起请求，然后获取响应内容 ，解析内容和保存内容。 2. 理解爬虫开发过程 1).简要说明浏览器工作 阅读全文
posted @ 2019-03-31 23:13 PBY 阅读(167) 评论(0) 推荐(0) 编辑
摘要：
本次作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba impo 阅读全文
posted @ 2019-03-25 13:01 PBY 阅读(183) 评论(0) 推荐(0) 编辑
摘要：
作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表，元组，字典，集合分别如何增删改查及遍历 列表： 元组： 字典： 集合： 遍历函数都相同，其下格式为： 2.总结列表，元组，字典，集合的联系与区别。参考以下 阅读全文
posted @ 2019-03-22 03:00 PBY 阅读(289) 评论(0) 推荐(0) 编辑
摘要：
作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作： 解析身份证号：生日、性别、出生地等 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 下载一首英文的歌词或文章或小说。 将所有大写转换为 阅读全文
posted @ 2019-03-11 02:22 PBY 阅读(204) 评论(0) 推荐(0) 编辑
摘要：
这次作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.浏览2019春节各种大数据分析报告，例如： 这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/2900257 阅读全文
posted @ 2019-03-03 16:32 PBY 阅读(294) 评论(0) 推荐(0) 编辑