hadoop综合大作业

摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1、把python爬取的数据传到linux 2.制作预处理脚本 3、把数据的逗号代替为 \t转义字符 4、启动hadoop集群 5、把数据文件上传到hdfs 6、启动h 阅读全文
posted @ 2019-06-20 21:21 liliguang 阅读(153) 评论(0) 推荐(0) 编辑

利用Shell命令与HDFS进行交互

摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 在用户目录下创建一个input目录 在HDFS的 阅读全文
posted @ 2019-06-04 20:46 liliguang 阅读(765) 评论(0) 推荐(0) 编辑

安装Hadoop

摘要: 前言:本次demo使用mac安装hadoop 1.首先官网下载hadoop 2.创建hadoop用户 3.配置无密码ssh 3.安装jdk 4.伪分布式修改配置文件 5.使用jps测试是否启动成功 阅读全文
posted @ 2019-05-16 20:16 liliguang 阅读(107) 评论(0) 推荐(0) 编辑

爬取猫眼电影影评

摘要: 主题:对即将上映的大侦探皮卡丘电影保持什么态度? 主要内容 蒂姆·古德曼(贾斯提斯·史密斯 饰) 为寻找下落不明的父亲来到莱姆市,意外与父亲的前宝可梦搭档大侦探皮卡丘(瑞恩·雷诺兹 配音)相遇,并惊讶地发现自己是唯一能听懂皮卡丘说话的人类,他们决定组队踏上揭开真相的刺激冒险之路。探案过程中他们邂逅了 阅读全文
posted @ 2019-05-09 21:28 liliguang 阅读(2814) 评论(0) 推荐(0) 编辑

爬取全部校园新闻

摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge 阅读全文
posted @ 2019-04-15 15:30 liliguang 阅读(224) 评论(0) 推荐(0) 编辑

理解爬虫原理

摘要: 1. 简单说明爬虫原理 爬虫的原理是通过模拟请求的方式去访问相关的开放页面,通过代码的方式去模拟触发网页的点击和跳转,通过流的方式获取到请求响应后的整个html信息,再通过一些工具类去筛选这些信息中包含的有用的信息; 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 游览器通过输入url的请求 阅读全文
posted @ 2019-03-29 21:56 liliguang 阅读(259) 评论(0) 推荐(0) 编辑

中文词频统计与词云生成

摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 一. 下载一长篇中文小说。 下载了《都市愛情故事》 二. 从文件读取待分析文本,处理标点符号和格式符。 代码如下: 1 2 3 4 text=open('60380.t 阅读全文
posted @ 2019-03-25 17:08 liliguang 阅读(664) 评论(0) 推荐(0) 编辑

复合数据类型,英文词频统计

摘要: 作业要求来自于 https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表 1.增加 list.append(obj) 增加元素到末尾 LOL = ['阿达', '阿萨德']LOL 阅读全文
posted @ 2019-03-22 15:04 liliguang 阅读(180) 评论(0) 推荐(0) 编辑

字符串操作、文件操作,英文词频统计预处理

摘要: 一.字符串操作 1、解析身份证号:生日、性别、出生地等。 代码如下: 2、凯撒密码编码与解码 代码如下: # 加密函数 3、网址观察与批量生成 代码如下: 二.英文词频统计预处理 代码版: 代码如下: 运行结果: 三.文件操作 1、凯撒密码:从文件读入密函,进行加密或解密,保存到文件。 代码如下: 阅读全文
posted @ 2019-03-11 19:51 liliguang 阅读(174) 评论(0) 推荐(0) 编辑

了解大数据的特点、来源与数据呈现方式

摘要: 0.作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.这些分析所采用数据的来源是什么? (1)交易数据 例如人们乘坐交通运输工具所产生的交易数据 在淘宝、京东等购物网站上的消费数据 例如人们乘坐交通运输工具所产生的 阅读全文
posted @ 2019-03-01 17:06 liliguang 阅读(366) 评论(0) 推荐(0) 编辑