随笔分类 - 云原生
摘要:在架构设计之初,要避免单点故障,路由、防火墙、负载均衡、反向代理及监控系统等在网络和应用层面上必须全部是冗余设计,以此来保证最佳的可用性。下面介绍一些提高系统可用性的常规方法。 1.服务冗余 主备模式是传统的服务冗余方法之一,根据策略又可分为N+1、N+2 等模式。N+1的主备模式,即将两个设备绑成
阅读全文
摘要:基础架构是敏捷的,云原生应用的开发部署过程是敏捷的过程。DevOps是开发(Development)和运维(Operations)的组合词,它是一种重视软件开发人员和IT运维技术人员之间沟通合作的文化、流程以及平台和工具。通过自动化软件交付和架构变更流程,使得构建、测试、发布软件能够更加快速、频繁和
阅读全文
摘要:2014年,谷歌开放了Kubernetes项目。它是建立在谷歌运行大规模生产系统的基础之上,结合社区的最佳创意和实践构建的一个可移植、可扩展的开源平台。Kubernetes 主要是通过 API或者声明式配置管理容器化工作负载和服务的一整套系统。 一、Kubernetes 架构 Kubernetes
阅读全文
摘要:搭建或使用云平台的一个主要目的是在企业内部提供PaaS功能,由PaaS 平台来支撑应用从开发、发布到运维的过程(应用全生命周期)中需要的存储、负载均衡、容错等通用功能,很多PaaS平台是基于Mesos和Kubernetes这样的分布式平台搭建的,下表1以 Mesos 和 Kubernetes 为基础
阅读全文
摘要:企业级分布式应用服务是围绕应用和微服务的PaaS平台,为企业提供高可用与分布式的支撑平台,提供分布式服务框架、服务治理、统一配置管理、分布式链路追踪、高可用及数据化运营等。 利用分布式应用服务,可以轻松构建微服务架构,建设大规模分布式系统,以发布和管理应用,协助应用进行IT系统转型,以满足不断增长的
阅读全文
摘要:数据中台主要功能是进行数据分析,担负公司产品的数据分析工作,数据中台对数据的采集、存储、打通、使用。如何进行数据中心的开发保证数据使用。数据中台的开发流程有哪些?如下图数据中台开发流程所示:一个指标从口径的确认到上线、迭代都要经历图示的这些过程: 数据中台开发流程一共有11个步骤:业务口径梳理、技术
阅读全文
摘要:在大数据应用开发的流程中我们将原始大数据经过清洗、抽取、转换之后,需要将转换后的大数据存入大数据管理系统中。为了能够高效地查询和分析转换之后的大数据,应用开发人员需要设计大数据的物理存储结构。大数据库设计与传统的数据库设计步骤相同,大数据库也采用自顶向下、逐步求精的设计原则: 一、顶层设计 大数据管
阅读全文
摘要:Hadoop 起源于Google Lab开发的Google File System (GFS)存储系统和MapReduce数据处理框架。2008年,Hadoop成了Apache上的顶级项目,发展到今天,Hadoop已经成了主流的大数据处理平台,与Spark、HBase、Hive、Zookeeper等
阅读全文
摘要:通常将大数据应用开发分为五个步骤:获取、存储、处理、访问以及编制,获取是指获取一些辅助数据,例如来自CRM、生产数据(ODS)的数据,并将其加载入分布式系统(如Hadoop)为下一环节处理做准备。存储是指对分布式文件系统(GFS)或NoSQL分布式存储系统、数据格式)、压缩和数据模型的决策。处理是指
阅读全文
摘要:云计算与大数据密切相关,大数据是计算密集型操作的对象,需要消耗巨大的存储空间,云计算的主要目标是在集中管理下使用巨大的计算和存储资源,用微粒度计算能力提供大数据应用,云计算的发展为大数据的存储和处理提供了解决方案,大数据的出现也加速了云计算的发展,基于云计算的分布式存储技术可以有效地管理大数据,借助
阅读全文
摘要:K8s将集群中的机器划分为一个主节点和一群工作节点,在主节点上运行着集群管理相关的一组进程kube-apiserver、kube-controller-manager 和 kube-scheduler,这些进程实现了整个集群的资源管理、pod 调度、弹性伸缩、安全控制、系统监控和纠错等管理功能,并且
阅读全文
摘要:DevOps 是一个持续改善软件产品的过程,它通过极短的发布周期、全面自动化的集成和交付流水线,以及团队间的紧密协作来不断改善产品。DevOps 的目标是缩短将创意变成用户可以使用的产品的时间,并降低这个过程的成本。DevOps 充分利用自动化流程来加速开发和部署。如下图对比传统软件构建方法和 De
阅读全文
摘要:在云原生应用平台中,构建一些核心,比如资源管理、应用管理服务管理、监控管理、安全管理等。可以结合自身的特点及云原生技术,来综合考虑是自建还是采用成熟的技术或者产品。云原生应用平台重点模块都有哪些? 1)应用资源管理 应用资源管理需要做好应用的版本、实例部署,以及相关的运维等基于资源的管理。云原生应用
阅读全文
摘要:在云原生架构发展的过程同时云原生应用与云原生应用平台,那什么是云原生应用?云原生应用是在云平台上设计、开发、部署、运行的应用,云原生应用不只是将应用打包成容器镜像,还需要结合云原生技术将镜像部署到 K8s 容器上运行起来。 云原生应用主要分为无状态应用和有状态应用两类: ● 无状态应用∶不依赖运行环
阅读全文
浙公网安备 33010602011771号