摘要： 当企业需要建设独立的数据仓库系统来支撑BI和分析业务时，有了“数据湖+数据仓库”的混合架构。但混合架构带来了更高的建设成本、管理成本和业务开发成本。随着大数据技术的发展，通过在数据湖层增加分布式事务、元数据管理、极致的SQL性能、SQL和数据API接口能力，企业可以基于统一的架构来同时支持数据湖和数 阅读全文

摘要： 当企业需要建设独立的数据仓库系统来支撑BI和业务分析业务时，有了“数据湖+数据仓库”的混合架构。但混合架构带来了更高的建设成本、管理成本和业务开发成本。随着大数据技术的发展，通过在数据湖层增加分布式事务、元数据管理、极致的SQL性能、SQL和数据API接口能力，企业可以基于统一的架构来同时支持数据湖 阅读全文

摘要： 在传统的企业数据运用中，企业使用多种系统，数据散落在各个存储设备中，数据分析需求往往是跨库的，数据入湖入仓在做分析会有安全问题，或影响业务系统性能。企业需要一种灵活、快捷、低运维成本的数据集成方法，就有了数据联邦架构。本文介绍数据联邦架构。 — 数据联邦概述— 在传统的企业数据运用中，常常会出现这样 阅读全文

摘要： 分析型数据库的另外一个发展方向就是以分布式技术来代替MPP的并行计算，一方面分布式技术比MPP有更好的可扩展性，对底层的异构软硬件支持度更好，可以解决MPP数据库的几个关键架构问题。本文介绍分布式分析型数据库。 — 背景介绍— 目前在分布式分析型数据库领域，学术界今年的研究不多，主要是工业界在推动相 阅读全文

摘要： 随着企业数据量的增多，为了配合企业的业务分析、商业智能等应用场景，从而驱动数据化的商业决策，分析型数据库诞生了。由于数据分析一般涉及的数据量大，计算复杂，分析型数据库一般都是采用大规模并行计算或者分布式计算来提升它的数据处理能力。本篇文章将详细介绍 MPP 数据库的概念，解决的问题、典型的厂商以及它 阅读全文

摘要： 从2013年成立开始，星环科技就专注于大数据基础技术与企业数据业务的更好结合，同时面对中国更为复杂的数据应用场景，研发了多种更贴合国内大数据应用需求的大数据管理技术，在大数据技术领域有多项基础技术突破。星环科技在坚持技术自研的道路上，创造了多个世界级的技术成果，本篇介绍星环科技大数据技术。 — 星环 阅读全文

摘要： 所有的资源管理系统都需要解决资源的有效利用、任务的有效响应、调度策略的灵活配置这三个最基本问题。那么在分布式的场景下，YARN和Kubernetes是怎么解决的呢？本篇进行介绍。 — Apache YARN — YARN全称为（Yet Another Resource Negotiator），是一个 阅读全文

摘要： 实时计算的发展历史只有十几年，它与基于数据库的计算模型有本质区别，实时计算是固定的计算任务加上流动的数据，而数据库大多是固定的数据和流动的计算任务，因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同，面向实时计算的数据架构也就发展起来。本篇我们介绍面向交互式分析的计算引擎I 阅读全文

摘要： 当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务。本篇我们介绍两个经典的计算框架MapReduce和Spark。 — MapR 阅读全文

摘要： 对于写密集型应用，每天写入量巨大，数据增长量无法预估，且对性能和可靠性要求非常高，普通关系型数据库无法满足其需求。对于全文搜索和数据分析这类对查询性能要求极高的场景也是如此。为了进一步满足上面两类场景的需求，有了宽表存储和搜索引擎技术，本文将对他们的架构、原理、优缺点做介绍。 — 宽表存储 — 宽表 阅读全文