随笔分类 - 大数据技术
摘要:1.1 什么是Hive hive简介 Hive:由facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL的查询功能。 2) Hive本质:将HQL转化成MapReduce程序。 3) Hive的三个
阅读全文
摘要:一、前言 1.数据测试是什么 数据测试是通过各类方式、方法对数据中台各个阶段的产出进行检查、核对、验证并输出结果的过程。 2. 为什么要做数据测试 通过过程管理和过程物的输出,使项目能够正常进行交付。 提前发现开发bug,减少bug率,提高数据的正确性。 通过过程中发现的数据问题,促进客户优化业务和
阅读全文
摘要:使用的技术栈 一、中台的前世今生 1. 中台的缘起 1.1 烟囱式架构 架构图及特点 缺点 适用场景 业务简单、业务线较少的场景使用 1.2 共性平台化 架构图及特点 缺点 1.3 中台 架构图及特点 中台的核心能力 2. 中台的演进 2.1 中台的演进过程 业务中台:抽象业务流程的通用的业务能力
阅读全文

浙公网安备 33010602011771号