摘要:
https://github.com/protocolbuffers/protobuf#:~:text=Protocol%20Buffers%20-%20Google%27s%20data%20interchange%20format%201,written%20in%20C%2B%2B.%20.. 阅读全文
摘要:
原文: https://docs.microsoft.com/en-us/aspnet/core/grpc/?view=aspnetcore-3.1 Introduction to gRPC on .NET Core gRPC is a language agnostic, high-perform 阅读全文
摘要:
原文:https://www.cnblogs.com/volcao/p/11444679.html 一、HDFS 的设计思路 1)思路 切分数据,并进行多副本存储; 2)如果文件只以多副本进行存储,而不进行切分,会有什么问题 缺点 不管文件多大,都存储在一个节点上,在进行数据处理的时候很难进行并行处 阅读全文
摘要:
原文:https://www.cnblogs.com/volcao/p/11443787.html 一、简介 定义:开源的,做分布式存储与分布式计算的平台; 功能:搭建大型数据仓库,对PB级数据进行存储、处理、分析、统计等业务;(如日志分析、数据挖掘) Hadoop工作模块 Common:提供框架和 阅读全文
摘要:
原文:https://www.cnblogs.com/volcao/p/11446657.html 一、HDFS 写数据流程 写的过程: CLIENT(客户端):用来发起读写请求,并拆分文件成多个 Block; NAMENODE:全局的协调和把控所有的请求,提供 Block 存放在 DataNode 阅读全文
摘要:
原文: https://www.jianshu.com/p/73f9670f71cf 部署环境使用4台机器,OS使用CentOS7,部署图如下: Paste_Image.png 环境准备 1、节点间互信 # ssh-keygen -t rsa # cat .ssh/id_rsa.pub >> .ss 阅读全文
摘要:
原文:https://stackoverflow.com/questions/1216380/what-is-a-stream A stream represents a sequence of objects (usually bytes, but not necessarily so), whi 阅读全文