随笔分类 -  其它

摘要：import org.apache.spark.SparkConf; import org.apache.spark.SparkException; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.sql.RowFa 阅读全文

摘要：离线数据处理一般采用T+1模式，即每天陵城处理前一天的数据。对于离线数据的处理，一般采用Sqoop、Flume和Mapreduce等。 离线数据ETL过哦成主要集中在离线数据仓库。离线数据仓库的测试重点： 数据仓库层级 测试目标 测试范围 测试重点 数据接入层 数据完整性、数据正确性 字段、表 1、 阅读全文

摘要：ETL测试分为离线ETL和实时ETL测试。 实时ETL的测试点： 链路数据的一致性 主要验证每个链路节点数据消费的一致性，重点确保整个链路各个节点的数据处理和消费情况一致，也就是通过对数据消费的分时、分频率对比完成一致性验证。 natural-flow：自然消费的数据流，是源于线上真实的数据消息通道 阅读全文

摘要：ETL（extract transform load）是一个完整的从数据源，经过转换处理，最终到数据仓库的过程。6 种常见的 ETL 测试类型：1、元数据测试元数据测试指验证表定义是否符合数据模型或者应用程序设计的规范。包括数据类型、长度、索引、约束及元数据的命名规范。demo:数据类型检查：验证表 阅读全文

摘要：原因：两个版本不一致 改正：将SDK和language level改成一致即可 阅读全文

摘要：1. 打开终端 2. 输入 sudo rm -fr /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin sudo rm -fr /Library/PreferencesPanes/JavaControlPanel.prefpane 3 查找当前版本 阅读全文