摘要: Datavines是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据,让您做到心中有数,目前作为 Datavane 开源组织的重点推荐项目,正式开源,欢迎大家使用。 阅读全文
posted @ 2023-06-22 15:37 孙朝和 阅读(647) 评论(4) 推荐(2) 编辑
摘要: 快速上手 | Datavines 两表值比对规则用法 使用两表值比对的规则,通过编写 SQL 语句来统计今天和昨天的数据量,然后比较两个值,如果今天的值大于昨天的值则为真,否则为假。 阅读全文
posted @ 2023-07-16 13:09 孙朝和 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 教程 | Datavines 自定义数据质量检查规则(Metric) Metric 是 Datavines 中一个核心概念,一个 Metric 表示一个数据质量检查规则,比如空值检查和表行数检查都是一个规则。Metric 采用插件化设计,用户可以根据自己的需求来实现一个 Metric。下面我们来详细讲解一下如何自定义`Metric`。 ### 第一步 我们先了解下几个 阅读全文
posted @ 2023-06-27 07:03 孙朝和 阅读(236) 评论(0) 推荐(1) 编辑
摘要: 本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作 阅读全文
posted @ 2018-02-23 19:38 孙朝和 阅读(531) 评论(0) 推荐(0) 编辑
摘要: - HashSet是如何保证元素的不重复和无序 - HashSet的增删(改查?)原理 - CopyOnWriteArraySet支持并发的原理 - CopyOnWriteArraySet的增删(改查?)原理 阅读全文
posted @ 2017-08-27 15:09 孙朝和 阅读(1561) 评论(0) 推荐(0) 编辑
摘要: ArrayList和CopyOnWriteArrayList 阅读全文
posted @ 2017-08-27 11:26 孙朝和 阅读(23506) 评论(0) 推荐(7) 编辑
摘要: Spark Streaming 调优指南 阅读全文
posted @ 2017-08-19 21:39 孙朝和 阅读(1041) 评论(0) 推荐(0) 编辑
摘要: 使用Youtube视频数据集来进行Hive实战演练 阅读全文
posted @ 2017-07-19 22:11 孙朝和 阅读(5805) 评论(3) 推荐(1) 编辑
摘要: 通过对BlockManager相关各个组件的分析来了解Block管理存储模块 阅读全文
posted @ 2017-05-28 19:03 孙朝和 阅读(1002) 评论(0) 推荐(0) 编辑
摘要: Spark操作HBase问题:java.io.IOException: Non-increasing Bloom keys 阅读全文
posted @ 2017-05-20 11:48 孙朝和 阅读(1225) 评论(0) 推荐(0) 编辑
摘要: Spark实战之HBase读写 阅读全文
posted @ 2017-05-19 19:21 孙朝和 阅读(10917) 评论(0) 推荐(0) 编辑
摘要: 对ZooKeeper的简单概括 阅读全文
posted @ 2017-03-18 17:52 孙朝和 阅读(472) 评论(0) 推荐(0) 编辑
摘要: 通过解读Flume源码稍微深入地了解Source组件 阅读全文
posted @ 2017-03-11 18:44 孙朝和 阅读(2710) 评论(0) 推荐(0) 编辑
摘要: 通过解读Flume源码来更深入地了解Sink组件 阅读全文
posted @ 2017-03-10 19:06 孙朝和 阅读(1476) 评论(0) 推荐(0) 编辑
摘要: 通过解读源码来了解Channel、ChannelProcessor和ChannelSelector等细节 阅读全文
posted @ 2017-03-09 18:31 孙朝和 阅读(1348) 评论(0) 推荐(0) 编辑
摘要: 通过源码解读Flume-ng的启动流程 阅读全文
posted @ 2017-03-08 20:03 孙朝和 阅读(745) 评论(0) 推荐(0) 编辑
摘要: 简单地比较了Hbase、HDFS和MapReduce在架构上的异同 阅读全文
posted @ 2017-03-04 20:49 孙朝和 阅读(378) 评论(0) 推荐(0) 编辑
摘要: 本文从HBase的设计背景、组件、流程、机制、实操等方面对HBase进行较为详细地分析,希望能够帮助大家更好地学习HBase 阅读全文
posted @ 2016-12-30 18:50 孙朝和 阅读(746) 评论(0) 推荐(0) 编辑
摘要: 本篇是关于HBase数据模型的官方文档翻译,希望能够帮助大家更好地学习HBase 阅读全文
posted @ 2016-12-20 09:48 孙朝和 阅读(10163) 评论(0) 推荐(0) 编辑
摘要: 本片是HBse入门指南翻译,希望能帮助大家学习HBase 阅读全文
posted @ 2016-12-16 17:20 孙朝和 阅读(832) 评论(0) 推荐(0) 编辑