<demon> - 博客园

寒假学习（十二）使用 netcat 数据源测试 Flume

摘要：使用 netcat 数据源测试 Flume 请对 Flume 的相关配置文件进行设置，从而可以实现如下功能：在一个 Linux 终端（这里称为“Flume 终端”）中，启动 Flume，在另一个终端（这里称为“Telnet 终端”）中，输入命令“telnet localhost 44444”，然阅读全文

posted @ 2020-02-12 23:17 <demon> 阅读(464) 评论(1) 推荐(0)

寒假学习（十一）

摘要：新型冠状病毒阅读全文

posted @ 2020-02-11 20:10 <demon> 阅读(74) 评论(0) 推荐(0)

寒假学习（十）

摘要： 1．Spark SQL 基本操作 { "id":1 ,"name":" Ella","age":36 } { "id":2,"name":"Bob","age":29 } { "id":3 ,"name":"Jack","age":29 } { "id":4 ,"name":"Jim"," 阅读全文

posted @ 2020-02-09 23:32 <demon> 阅读(196) 评论(0) 推荐(0)

寒假学习（九）

摘要：今天学习了阅读全文

posted @ 2020-02-08 22:21 <demon> 阅读(142) 评论(0) 推荐(0)

寒假学习（八）利用Sqoop导出Hive分析数据到MySQL库

摘要：利用Sqoop导出Hive分析数据到MySQL库一，将Hive表中数据，导入到MySQL 1.首先在Hive中，创建一张表，命名为lenum，用于存储统计结果。 create table lenum( year string, num int ) row format delimited fiel 阅读全文

posted @ 2020-02-07 20:26 <demon> 阅读(436) 评论(0) 推荐(0)

寒假学习（七）热词统计

摘要：热词统计阅读全文

posted @ 2020-02-05 23:37 <demon> 阅读(142) 评论(0) 推荐(0)

寒假学习（六）统计学生成绩

摘要：统计学生成绩学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 object scoreReport{ def main(args: Array[String]) { // 假设数据文件在当前目录下阅读全文

posted @ 2020-02-04 22:02 <demon> 阅读(504) 评论(0) 推荐(0)

寒假学习（五）模拟图形绘制

摘要：模拟图形绘制对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点，其混入了 Drawable 特质，并包含一个 shift 方法，于移动点。所有图形实体的抽象类为Shap 阅读全文

posted @ 2020-02-03 21:32 <demon> 阅读(708) 评论(0) 推荐(0)

寒假学习（四）编写MapReduce程序清洗信件内容数据

摘要：对爬取到的数据进行清洗，按照一定的规则把“脏数据”“洗掉”。数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。 import java.io.BufferedReader; import java.io.InputStreamReader; impo 阅读全文

posted @ 2020-02-02 19:51 <demon> 阅读(556) 评论(0) 推荐(0)

寒假学习（三）北京市政百姓信件分析

摘要：首先，需要采集北京市政百姓信件内容，通过网络爬虫，找到有用的信息。网络爬虫由控制节点、爬虫节点、资源库构成。网络爬虫中可以有多个控制节点，每个控制节点下可以有多个爬虫节点，控制节点之间可以互相通信，同时，控制节点和其下的各爬虫节点之间也可以进行互相通信，属于同一个控制节点下的各爬虫节点间，亦可以阅读全文

posted @ 2020-02-01 20:53 <demon> 阅读(455) 评论(0) 推荐(0)

导航

公告

2020年2月12日

2020年2月11日

2020年2月9日

2020年2月8日

2020年2月7日

2020年2月5日

2020年2月4日

2020年2月3日

2020年2月2日

2020年2月1日