数据平台使用经验

工作十余年以来，在多个行业，不同背景的公司中从事数据开发、架构、运维等相关的岗位，深度使用或者测试过各种类型的数据平台（包括传统关系型数据库、大数据平台、图数据库、嵌入式数据库、时序数据库等）。以下是按照使用时间整理的各数据平台使用经验。

1、SQL Server

　　微软的产品，可应对数据规模在千万级左右的数据仓库。使用专用TSQL进行数据开发，与Windows系统高度融合（可直接调度windows shell命令），结合SSIS，SSRS等可完整实现各类数据应用及服务。在一家专注做CRM企业级数据服务的外企中广泛使用。

2、Netezza

　　IBM的MPP数据产品，后来更名为PureData System for Analytics (PDA)。曾在国内金融和电信行业广泛使用，一体机架构，性能强大，轻松处理亿级数据规模，缺点是价格昂贵（据说几百万一台）。当时是在一家澳洲头部保险项目中使用到该数据库。

3、Redshift

　　AWS的云数据仓库产品，MPP架构，性能强大，由于是云产品，部署和运维比较方便，可满足PB级数据仓库服务。当时是在一个数据迁移项目中使用到该产品，项目要求将数据从Netezza迁移到Redshift（应该是从成本的角度做的考量）。虽然该项目涉及到保险客户资料信息，数据较为敏感，但是AWS的安全还是得到了认可。

4、Oracle

　　在旅游OTA、不动产投资运营、券商金融等各类行业场景中，被广泛作为数据仓库进行使用。其性能稳定、功能强大，基于PLSQL，支持函数、存储过程、包，可方便实现复杂业务逻辑，并且自带调度功能。通过DBLINK可以方便的在多台Oracle实例间进行跨实例查询，使用非常方便。支持事务，支持小数据量的手工补录写操作（通过select for update 可以非常便捷的进行小数据量的更新）。

5、Mysql

　　搭建方便，运维简单，其免费开源版被广泛用于各类系统中，如大数据平台与报表之间的缓存层。除了数据类系统，作为元数据库，被广泛的集中在各类系统中，如报表的元数据库，Hive的元数据库，各类小型OLTP应用系统。

6、网易NDH大数据平台

　　基于开源Hadoop平台搭建的商业化系统，全家桶，包含数据采集、数据服务、数据质量、调度运维等多种功能。无需额外安装客户端，直接基于网页端编写SQL。支持Hive、Impala、Spark三种SQL查询引擎。

7、ClickHouse

　　作为报表的加速层使用，列式存储，单表访问速度快。可基于docker进行安装部署。