大数据测试

hive和hbase的区别

都是hadoop生态圈中的东西。hive是hadoop里面的一个查询工具，impala也是其中的一个查询工具，但是hive对于大批量数据查询的性能比较差，impala更适合处理实时的数据。kudu是hadoop生态圈里更新数据的一个工具，同样地，hbase也是，两者都是分布式数据库，区别在于前者不依赖于hdfs存储，也不依赖于zookeeper。

大数据测试

是围绕着数据质量和大数据工具展开的。

数据质量

数据质量主要是关注数据的完整性、一致性、准确性、唯一性、及时性、合理性六个方面展开的。

完整性包含的是实体、属性、记录、字段的完整性。

一致性是

准确性是

唯一性主要就主键的唯一。

及时性就是生产、消费、抽取、查询、更改、刷新的及时。可以通过 时间戳的对比来测试。

合理性

功能测试

处理逻辑

存储检查

sql文件

shell文件

调度任务

性能测试

平台设计

分为用户交互层、调度层、执行层、基础功能层、数据存储层。