04 2020 档案

Kafka集群搭建
摘要：一、准备kafka 1.1 zookeeper 官网下载地址：http://mirror.bit.edu.cn/apache/zookeeper/ 准备好kafka安装包，官网下载地址：http://kafka.apache.org/downloads.html 我用的：kafka_2.11-0.1 阅读全文
posted @ 2020-04-29 11:25 THEROC 阅读(440) 评论(0) 推荐(0)
Spark之RDD算子练习
摘要：一、Transformation算子练习 一、map(func) 说明:返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 scala> var source = sc.parallelize(1 to 10) source: org.apache.spark.rdd.RDD[I 阅读全文
posted @ 2020-04-22 16:02 THEROC 阅读(290) 评论(0) 推荐(0)
linux之Spark集群安装
摘要：一、准备 1.1 先搭建好hadoop集群，参考https://www.cnblogs.com/the-roc/p/12362926.html 1.2 配置好 Java 1.8环境（hadoop集群搭建时就配置过） 1.3 准备好和hadoop版本一样的jar包 scala-2.13.0.tgz s 阅读全文
posted @ 2020-04-17 10:18 THEROC 阅读(491) 评论(0) 推荐(0)
Avro实现RPC
摘要：一、什么是RPC？ 1. RPC 的全称是 Remote Procedure Call（远程过程调用）是一种进程间通信方式2. 它允许程序调用另一个地址空间（通常是共享网络的另一台机器上）的过程或函数，而不用程序员显式编码这个远程调用的细节。 即程序员无论是调用本地的还是远程的，本质上编写的调用代码 阅读全文
posted @ 2020-04-16 10:32 THEROC 阅读(469) 评论(0) 推荐(0)
序列化框架——Avro
摘要：一、什么是Avro? 1. Avro是一种远程过程调用和数据序列化框架，是在Apache的Hadoop项目之内开发的2. 它使用JSON来定义数据类型和通讯协议，使用压缩二进制格式来序列化数据3. 它主要用于Hadoop，它可以为持久化数据提供一种序列化格式，并为Hadoop节点间及从客户端程序到H 阅读全文
posted @ 2020-04-16 10:25 THEROC 阅读(1277) 评论(0) 推荐(0)