摘要: 在大数据应用开发的流程中我们将原始大数据经过清洗、抽取、转换之后,需要将转换后的大数据存入大数据管理系统中。为了能够高效地查询和分析转换之后的大数据,应用开发人员需要设计大数据的物理存储结构。大数据库设计与传统的数据库设计步骤相同,大数据库也采用自顶向下、逐步求精的设计原则: 一、顶层设计 大数据管 阅读全文
posted @ 2022-08-11 15:51 梯度科技 阅读(6) 评论(0) 推荐(0) 编辑
摘要: Hadoop 起源于Google Lab开发的Google File System (GFS)存储系统和MapReduce数据处理框架。2008年,Hadoop成了Apache上的顶级项目,发展到今天,Hadoop已经成了主流的大数据处理平台,与Spark、HBase、Hive、Zookeeper等 阅读全文
posted @ 2022-08-10 11:39 梯度科技 阅读(41) 评论(0) 推荐(0) 编辑
摘要: 通常将大数据应用开发分为五个步骤:获取、存储、处理、访问以及编制,获取是指获取一些辅助数据,例如来自CRM、生产数据(ODS)的数据,并将其加载入分布式系统(如Hadoop)为下一环节处理做准备。存储是指对分布式文件系统(GFS)或NoSQL分布式存储系统、数据格式)、压缩和数据模型的决策。处理是指 阅读全文
posted @ 2022-08-09 16:31 梯度科技 阅读(286) 评论(0) 推荐(1) 编辑
摘要: 云计算与大数据密切相关,大数据是计算密集型操作的对象,需要消耗巨大的存储空间,云计算的主要目标是在集中管理下使用巨大的计算和存储资源,用微粒度计算能力提供大数据应用,云计算的发展为大数据的存储和处理提供了解决方案,大数据的出现也加速了云计算的发展,基于云计算的分布式存储技术可以有效地管理大数据,借助 阅读全文
posted @ 2022-08-08 16:06 梯度科技 阅读(151) 评论(0) 推荐(1) 编辑
摘要: K8s将集群中的机器划分为一个主节点和一群工作节点,在主节点上运行着集群管理相关的一组进程kube-apiserver、kube-controller-manager 和 kube-scheduler,这些进程实现了整个集群的资源管理、pod 调度、弹性伸缩、安全控制、系统监控和纠错等管理功能,并且 阅读全文
posted @ 2022-08-05 17:39 梯度科技 阅读(301) 评论(0) 推荐(1) 编辑
摘要: DevOps 是一个持续改善软件产品的过程,它通过极短的发布周期、全面自动化的集成和交付流水线,以及团队间的紧密协作来不断改善产品。DevOps 的目标是缩短将创意变成用户可以使用的产品的时间,并降低这个过程的成本。DevOps 充分利用自动化流程来加速开发和部署。如下图对比传统软件构建方法和 De 阅读全文
posted @ 2022-08-04 10:43 梯度科技 阅读(243) 评论(0) 推荐(3) 编辑
摘要: 在云原生应用平台中,构建一些核心,比如资源管理、应用管理服务管理、监控管理、安全管理等。可以结合自身的特点及云原生技术,来综合考虑是自建还是采用成熟的技术或者产品。云原生应用平台重点模块都有哪些? 1)应用资源管理 应用资源管理需要做好应用的版本、实例部署,以及相关的运维等基于资源的管理。云原生应用 阅读全文
posted @ 2022-08-02 09:54 梯度科技 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 在云原生架构发展的过程同时云原生应用与云原生应用平台,那什么是云原生应用?云原生应用是在云平台上设计、开发、部署、运行的应用,云原生应用不只是将应用打包成容器镜像,还需要结合云原生技术将镜像部署到 K8s 容器上运行起来。 云原生应用主要分为无状态应用和有状态应用两类: ● 无状态应用∶不依赖运行环 阅读全文
posted @ 2022-08-01 10:21 梯度科技 阅读(23) 评论(0) 推荐(0) 编辑