2022年8月30日

HBase学习

摘要: 三范式 第一范式 属性不可分割。 第二范式 不存在部分函数依赖,减少数据的冗余。 第三范式 不存在传递函数依赖,减少数据的冗余,保证数据一致性。 事实表和维度表 维度 观察数据的角度,如用户,省份,商品等。 粒度 值的是特定的维度组合,如各个省份中各个SPU的GMV。 粒度越细,维度越多。最细粒度( 阅读全文

posted @ 2022-08-30 18:05 saihao 阅读(46) 评论(0) 推荐(0)

Kafka3.0.0版学习笔记

摘要: 定义 传统定义 kafka是一个分布式的基于发布/定于模式的消息队列,主要应用于大数据实时处理领域。 发布/订阅 消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类型,订阅者只接受感兴趣的消息。 最新定义 kafka是一个开源的分布式事件流平台,被数千家公司用于高性能数据管道 阅读全文

posted @ 2022-08-30 17:34 saihao 阅读(275) 评论(0) 推荐(0)

交换机、网卡、局域网、IDC数据中心、 磁盘阵列相关

摘要: 交换机 交换机是一种存储转发设备。以太网交换机采用存储转发(store-forward)技术活直通(cus-through)技术来实现信息帧的转发,也成为了交换式集线器。交换机和网桥的不同在于:交换机端口数较多,数据传输效率高,转发延迟小,吞吐量大,丢失率低,网络整体性能增强,远远超过了普通网桥连接 阅读全文

posted @ 2022-08-30 14:30 saihao 阅读(326) 评论(0) 推荐(0)

存储磁盘基本介绍

摘要: 磁盘就是一类存储介质,组成有接口和磁盘(盘片)。 SCSI接口硬盘(机械硬盘) 转速为10kr、15kr,用的是SCSI接口,受其阵列卡和转速协议限制,有固定插法,现已停止发售,常见转速为:10000转/分,3.5寸。 SAS接口硬盘(机械硬盘) 基于SAS接口,SAS是SCSI的优化版,分为两种协 阅读全文

posted @ 2022-08-30 13:55 saihao 阅读(406) 评论(0) 推荐(0)

服务器的基本介绍

摘要: 服务器,也成为了伺服器,是提供计算服务的设备,由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。 在网络环境下,根据服务器提供的服务类型不同,分为文件服务器、数据库服务器、WEB服务器等。 服务器的构成包括处理器、银盘、内存、系统总线等。和通用的计算机架构类 阅读全文

posted @ 2022-08-30 11:36 saihao 阅读(269) 评论(0) 推荐(0)

大数据基础知识

摘要: 基本单位 Bit 位 Byte 字节 KB 千字节 还有 MB、GB、TB、PB、EB、YB、BB、NB、DB 单位转化 1 Byte = 8 Bit 1 KB = 1024 Byte 1 GB = 1024 KB 1 TB = 1024 GB(TB已经是很大量级的数据量了) 1 PB = 1024 阅读全文

posted @ 2022-08-30 10:56 saihao 阅读(355) 评论(0) 推荐(0)

导航