葛上亭长

摘要： 在日常工作中需要写脚本造数据来进行各种测试活动，有时候就会用到多重for循环。多重for循环虽然简单易懂，但是会不那么简洁，这个时候就需要此技巧了。 在此构建三个列表app_ids = ["AppAcsrvice", "AppAcsrvice1"]、iface_names = ["queryAdju 阅读全文

摘要： 数据质量-评估纬度 实际做质量评估时，不一定对每个纬度每个指标都进行分析，可根据实际情况酌情选择 | 类型 | 详情 | | | | | Completeness完整性 | 完整性指数据的记录和信息是否完整，是数据集对具体业务对象的覆盖程度**，**是否存在缺失的情况，主要包括记录的缺失和记录中某个 阅读全文

摘要： 抽样对比策略和全量对比策略 抽样 VS 全量 抽样策略主要分为全部比对与抽样比对两种方式，两者各有利弊。 全量比对： 优点是能够最大程度覆盖到测试环境所有的情况，可以发现抽样测试不能发现的问题。 缺点是验证时间与花费精力显著高于抽样比对，对于*乎*移数据的ods层，投入这些测试资源是否有这个必要 抽 阅读全文

摘要： 删除镜像 docker rmi image_name 删除容器 docker rm container_name 新建容器 docker run --name dlbase --runtime=nvidia -it -v /home/xxxx/projects/:/home/projects -p 阅读全文

摘要： 代码改动 增加标签 标签在配置中的主要作用是用以区分准入、准出的用例。准入用例标签为“IN”，准出标签为“OUT”，环境标签为“ENVTEST”。(同一条用例下，可添加不同的标签) 使用方法为在对应的case下，增加标签“@pytest.mark.IN”或“@pytest.mark.OUT” 接口自 阅读全文

摘要： 编号 类型 描述 备注 1 功能测试 验证目标表所在库名 2 功能测试 验证目标表名 3 功能测试 验证目标表数据编码 特殊符号或者乱码符号的处理规则 4 功能测试 验证目标表所有字段名 5 功能测试 验证目标表字段顺序 一般没有这个需求 6 功能测试 验证目标表的字段类型转换 即验证从源表类型转换 阅读全文

摘要： 前言 ETL落地dw层，dw层各表一般是由多个表关联取数得到的大宽表，在ETL需求中的dw设计应该考虑以下内容，目的是确保需求更清晰，开发和测试才能更高效的进行。 业务需求为基础 基于业务需求做足够多的业务分析，来自客户的整体业务需求、来自标签、人群、dashboard等具体的业务需求。 关联逻辑设 阅读全文

摘要： 前言 datalake架构 离线数据 ODS → DW → DM https://www.jianshu.com/p/72e395d8cb33 https://www.cnblogs.com/wang3680/p/11538451.html https://blog.csdn.net/hello_j 阅读全文