10 2022 档案

云原生架构下的日志收集模式
摘要：日志作为一种特殊的数据，对处理历史数据、诊断问题以及了解系统活动等有着非常重要的作用。数据分析人员、开发人员和运维人员都需要对日志进行分析。在云原生架构下，Kubernetes并不保存日志，也不提供日志存储解决方案，而是依赖第三方解决方案。云原生架构下的日志收集是实现数据收集主要方式。 一、日志收集 阅读全文
posted @ 2022-10-31 18:17 梯度科技 阅读(93) 评论(0) 推荐(0)
实现云原生模式
摘要：云原生基础架构由应用程序来维护，而云原生应用则由基础架构来维护，两者密不可分。这就要求基础架构和应用程序设计必须是简单的。如果一个应用程序比较复杂，则应该采用微服务模式，将复杂功能拆分为细微的服务，然后通过集成这些细微服务来组装成一个应用系统。但由微服务构成的如此复杂的系统，势必无法通过人工管理，应 阅读全文
posted @ 2022-10-28 21:43 梯度科技 阅读(68) 评论(0) 推荐(0)
云原生十二要素应用
摘要：云原生改变了应用研发的模式，也带来了技术上的变革，促使我们需要考虑更多的运营治理的原则和方法。这里我们简要总结一下云原生架构经典的设计原则“12要素”原则。 （1）基准代码∶一份基准代码、多份部署。 企业一般会采用代码版本控制系统来跟踪管理所有修订版本的代码库，这样就只需要一份代码，却可以同时存在多 阅读全文
posted @ 2022-10-28 21:42 梯度科技 阅读(130) 评论(0) 推荐(0)
云原生下的DevOps开发流程
摘要：基础架构是敏捷的，云原生应用的开发部署过程是敏捷的过程。DevOps是开发（Development）和运维（Operations）的组合词，它是一种重视软件开发人员和IT运维技术人员之间沟通合作的文化、流程以及平台和工具。通过自动化软件交付和架构变更流程，使得构建、测试、发布软件能够更加快速、频繁和 阅读全文
posted @ 2022-10-27 17:59 梯度科技 阅读(195) 评论(0) 推荐(0)
企业数字化转型的5个步骤
摘要：企业数字化转型对企业的战略规划有着支撑作用，同时起到稳固资产、提升业务能力、降本增效的作用，提升企业的精细化管理水平。通过数字化转型，企业可以进行信息化建设，将传统的业务流程进行信息化改造，将繁杂的业务流程统一集成到大平台上，在远程实现高效的统一处理，提高企业运转效率。 企业数字化转型的实现，总结起 阅读全文
posted @ 2022-10-27 17:58 梯度科技 阅读(709) 评论(0) 推荐(0)
将应用迁移至云端面临的问题
摘要：传统软件的架构设计就是为了运行在公司的企业防火墙内。如果软件开发是在数年以前完成的，那么软件对其运行所处的物理硬件甚至开发使用的技术堆栈非常可能有着很高的依赖性。通常我们称之为“紧耦合”架构，因为如果从特定的物理环境中分离出来之后，软件将不能正常运行。云计算架构要求的是一种“松耦合”的架构。弹性是云 阅读全文
posted @ 2022-10-26 18:37 梯度科技 阅读(85) 评论(0) 推荐(0)
云服务的7个数据特性
摘要：云服务的搭建需要将许多数据特性考虑在内，包含物理特、性能要求、易变性、容量、监管要求、事务边界、保存期限7个方面，所有这些数据需求都会对如何存储底层数据造成决策影响。 一、物理特性 我们需要收集很多数据点来进行物理特性的分析。数据的位置是一条重要信息。数据已经存在还是全新的数据集?如果已经存在，数据 阅读全文
posted @ 2022-10-26 18:33 梯度科技 阅读(139) 评论(0) 推荐(0)
大数据实时计算流程介绍
摘要：实时计算是常见的大数据计算场景。业务部门需要实时反馈产品的被点击、浏览、收藏、购买、评价等数据，对时延的要求一般是秒级，甚至毫秒级。而批处理计算引擎一般需要几分钟或者几小时才能返回结果，显然无法满足该场景的计算需求。基于实时计算的需求，流式计算引擎应运而生。目前，应用得较多的流式计算引擎主要有Spa 阅读全文
posted @ 2022-10-25 18:27 梯度科技 阅读(451) 评论(0) 推荐(0)
Kubernetes架构提供哪些功能
摘要：2014年，谷歌开放了Kubernetes项目。它是建立在谷歌运行大规模生产系统的基础之上，结合社区的最佳创意和实践构建的一个可移植、可扩展的开源平台。Kubernetes 主要是通过 API或者声明式配置管理容器化工作负载和服务的一整套系统。 一、Kubernetes 架构 Kubernetes 阅读全文
posted @ 2022-10-25 18:25 梯度科技 阅读(65) 评论(0) 推荐(0)
数据中台的设计原则
摘要：数据中台对外部体现的是公共的数据服务能力，赋能业务快速、敏捷、智能响应客户的需求。数据中台对内体现的是工具化和模块化的能力，提升数据工作者的效率。数据中台的核心是实现数据价值最大化，始终围绕着业务需要什么数据、业务需要什么能力、业务需要什么工具和平台、业务需要什么服务等。数据中台的8大设计原则如下图 阅读全文
posted @ 2022-10-14 15:49 梯度科技 阅读(211) 评论(0) 推荐(0)
数据中台与业务中台的关系
摘要：在大数据时代，由于数据重要性的显著提高和企业对数字化、智能化的迫切需求，中台被赋予了全新的理解，其重要性得到显著提升。中台主要提供公共的数据和科技服务，数据中台为业务赋能。数据中台与业务中台关系及其密切。首先数据中台为业务中台提供数据来源；其次，数据中台与业务中台相辅相成，实现“数据业务化，业务数据 阅读全文
posted @ 2022-10-14 15:46 梯度科技 阅读(325) 评论(0) 推荐(0)
数据中台建设以及基础设施选型方案
摘要：数据中台是一种数据优先的大数据思维和强调数据业务化的价值理念，包含企业自上而下制定的数据战略、匹配的组织架构，以及实现数据高复用性、高可用性和高价值的有机结合体（包括一系列方法论、业务设计、模型设计、数据工具和平台），强调数据服务和数据智能，做到数据可用、易用、好用、可追溯、可复用和可管理。 从信息 阅读全文
posted @ 2022-10-13 18:13 梯度科技 阅读(577) 评论(0) 推荐(0)
数据中台的整体框架
摘要：数据中台是以客户为中心、业务数据化和智能化发展的必然产物。数据中台的合理建设有助于提升数据向资产转化、数据规模化应用的能力，有效地实现数据的价值，支持业务数据化和智能化的需求，敏捷响应客户的个性化需求。建设数据中台的第一步是合理规划数据中台的架构，如下图所示。 数据中台的逻辑框架主要分为统一数据基础 阅读全文
posted @ 2022-10-13 18:12 梯度科技 阅读(284) 评论(0) 推荐(0)
数据中台开源解决方案（二）
摘要：前文提到数据中台商业的解决方案有很多，开源框架种类繁多，每一个模块都有很多开源的套件。可供选择的解决方案太多，重点推荐开源解决方案，框架图如下图所示。 6.数据仓库 在数据平台选择好后，下一步的重要工作是实现企业的数据资产化，满足前端业务对数据应用的需求。数据资产化的关键举措是对企业的原始数据进行清 阅读全文
posted @ 2022-10-12 18:13 梯度科技 阅读(626) 评论(0) 推荐(0)
数据中台开源解决方案（一）
摘要：数据中台商业的解决方案有很多，开源框架种类繁多，每一个模块都有很多开源的套件。以查询引擎为例，可以使用的开源工具有MySQL、Redis、Impala、MongoDB、PgSQL等。可以根据实际业务需要，选择合适的开源套件。 可供选择的解决方案太多，重点推荐开源解决方案，框架图如下图所示。企业的数据 阅读全文
posted @ 2022-10-12 18:12 梯度科技 阅读(1244) 评论(0) 推荐(0)
HBase架构的优缺点
摘要：HBase是目前非常热门的一款分布式KV键值数据库系统，无论是互联网行业还是其他传统 IT 行业都在大量使用。HBase具有高可用、易扩展的特性，目前社区成熟度高，HBase可以作为底层数据存储服务，例如 Kylin、OpenTSDB 等。 一、HBase架构 HBase基于Hadoop。HBase 阅读全文
posted @ 2022-10-11 18:29 梯度科技 阅读(376) 评论(0) 推荐(0)
大数据采集技术工具及应用场景
摘要：大数据采集可以细分为数据抽取、数据清洗、数据集成、数据转换等过程，将分散、零乱、不统一的数据整合到一起，以一种结构化、可分析的形态加载到数据仓库中，从而为后续的数据使用奠定坚实基础。 数据采集可以分为内部采集与外部采集两个方面。 （1）离线数据采集技术，首先要是基于文件的数据采集系统、日志收集系统等 阅读全文
posted @ 2022-10-10 17:44 梯度科技 阅读(938) 评论(0) 推荐(0)
Flink架构优势及应用场景
摘要：相对于传统的离线计算会存在数据反馈不及时的问题，很难满足急需实时数据做决策的场景Flink是对有界数据和无界数据进行有状态计算的分布式引擎，它是纯流式处理模式。纯流式模式保证了Flink的低延迟，使其在诸多的实时计算引擎竞争中具有优势。 Apache Flink 是一个开源的、分布式、高性能、高可用 阅读全文
posted @ 2022-10-09 17:51 梯度科技 阅读(574) 评论(0) 推荐(0)
Spark计算框架的优势及核心功能
摘要：传统的离线计算常见问题是数据反馈慢，无法满足客户进行实时数据做决策的需求。如果说MapReduce计算框架的出现是为了解决离线计算问题，那么Spark计算框架的出现则解决了实时计算问题，接下来先初步认识Spark内存计算框架。2009年加州大学伯克利分校AMP实验室提出one stack to ru 阅读全文
posted @ 2022-10-08 16:47 梯度科技 阅读(238) 评论(0) 推荐(0)