摘要: https://github.com/protocolbuffers/protobuf#:~:text=Protocol%20Buffers%20-%20Google%27s%20data%20interchange%20format%201,written%20in%20C%2B%2B.%20.. 阅读全文
posted @ 2020-07-30 18:57 PanPan003 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 原文: https://docs.microsoft.com/en-us/aspnet/core/grpc/?view=aspnetcore-3.1 Introduction to gRPC on .NET Core gRPC is a language agnostic, high-perform 阅读全文
posted @ 2020-07-30 18:54 PanPan003 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 原文:https://www.cnblogs.com/volcao/p/11444679.html 一、HDFS 的设计思路 1)思路 切分数据,并进行多副本存储; 2)如果文件只以多副本进行存储,而不进行切分,会有什么问题 缺点 不管文件多大,都存储在一个节点上,在进行数据处理的时候很难进行并行处 阅读全文
posted @ 2020-07-30 18:08 PanPan003 阅读(309) 评论(0) 推荐(0) 编辑
摘要: 原文:https://www.cnblogs.com/volcao/p/11443787.html 一、简介 定义:开源的,做分布式存储与分布式计算的平台; 功能:搭建大型数据仓库,对PB级数据进行存储、处理、分析、统计等业务;(如日志分析、数据挖掘) Hadoop工作模块 Common:提供框架和 阅读全文
posted @ 2020-07-30 18:06 PanPan003 阅读(979) 评论(0) 推荐(0) 编辑
摘要: 原文:https://www.cnblogs.com/volcao/p/11446657.html 一、HDFS 写数据流程 写的过程: CLIENT(客户端):用来发起读写请求,并拆分文件成多个 Block; NAMENODE:全局的协调和把控所有的请求,提供 Block 存放在 DataNode 阅读全文
posted @ 2020-07-30 18:01 PanPan003 阅读(924) 评论(1) 推荐(0) 编辑
摘要: 原文: https://www.jianshu.com/p/73f9670f71cf 部署环境使用4台机器,OS使用CentOS7,部署图如下: Paste_Image.png 环境准备 1、节点间互信 # ssh-keygen -t rsa # cat .ssh/id_rsa.pub >> .ss 阅读全文
posted @ 2020-07-30 16:34 PanPan003 阅读(919) 评论(0) 推荐(0) 编辑
摘要: 原文:https://stackoverflow.com/questions/1216380/what-is-a-stream A stream represents a sequence of objects (usually bytes, but not necessarily so), whi 阅读全文
posted @ 2020-07-30 16:12 PanPan003 阅读(223) 评论(0) 推荐(0) 编辑