大数据-架构 - 文章分类 - xibuhaohao

摘要：Datahub新版本0.9.1更新，列级别数据血缘功能发布！阅读全文

posted @ 2023-10-11 15:24 xibuhaohao 阅读(148) 评论(0) 推荐(0)

摘要：导读：本次分享题目为数据标签与指标在金融行业的应用，文章会围绕下面四部分展开：何为指标，何为标签，两者有何区别？如何建立指标体系？如何建立标签体系？如何用好标签与指标？分享嘉宾｜张鲲金融壹帐通加马开放平台产品总监编辑整理｜杨佳慧出品社区｜DataFun 01 何为指标，何为标签，阅读全文

posted @ 2023-04-04 10:07 xibuhaohao 阅读(440) 评论(0) 推荐(0)

5张图，搭建数据指标体系（转载）

摘要：转载自https://baijiahao.baidu.com/s?id=1741499346238966170&wfr=spider&for=pc 讲数据指标体系的文章很多，但一堆指标之间的关系到底应该怎么看？本文详细分析了指标分析的常见问题、解题思路、如何认识问题等等，感兴趣的小伙伴快来看看吧！阅读全文

posted @ 2023-04-04 09:55 xibuhaohao 阅读(126) 评论(0) 推荐(0)

数据血缘关系（转载）

摘要：转载自 https://blog.csdn.net/YcoeXu/article/details/114242239 数据治理（一）血缘关系一、概念数据血缘也称为数据血统或谱系，是来描述数据的来源和派生关系。数据来源是数据科学的关键，也是被公认为数据信任的核心的部分。说白了就是这个数据是怎么来的，经阅读全文

posted @ 2023-03-31 10:45 xibuhaohao 阅读(3398) 评论(0) 推荐(0)

知识图谱应用 NLP + neo4j

摘要：一、应用领域 1、在医疗领域:挂号、并请咨询等 1）挂号推荐科室 2） AI病情咨询：根据病症、开药 2、大数据领域: 数据血缘 1 ）表应用在哪些程序中 2）数据来自哪些表 3 ）模块开放给哪些部门 3、民航咨询系统 1）zippo能不能带上飞机 NLP 解析实体：zippo、飞机解析动作：带阅读全文

posted @ 2023-02-03 14:39 xibuhaohao 阅读(146) 评论(0) 推荐(0)

Airflow DAG之间依赖

摘要：DAG之间的依赖关系可以通过编写ExternalTaskSensor()去指定依赖哪个dag的id和task。 1、execution_date_fn vim test.py # coding: utf-8from airflow import DAGfrom airflow_clickhouse_ 阅读全文

posted @ 2022-12-26 10:06 xibuhaohao 阅读(830) 评论(0) 推荐(0)

关于Airflow跨DAG依赖总结（转载）

摘要：关于Airflow跨DAG依赖总结单个DAG中Task之间的依赖这是最常见的Task之间的依赖，在DAG中有多种方式指定依赖关系 # 定义DAG dag = DAG(...)# 定义task_atask_a = BashOperator(...) # 定义task_btask_b = BashOpe 阅读全文

posted @ 2022-02-16 22:39 xibuhaohao 阅读(1911) 评论(0) 推荐(0)

基于Clickhouse秒级查询6亿用户画像！到底有多6？（转载）

摘要：作者介绍杨兆辉，苏宁科技集团大数据中心高级架构师，ClickHouse Contributor。在OLAP领域、大规模分布式计算领域有着深厚的技术积累，目前负责数据中台、标签平台相关的架构工作。背景想做营销活动，如何找到目标人群及用户特征？人群的筛选通常离不开用户画像。用户画像就是根据用户特征阅读全文

posted @ 2021-12-02 17:31 xibuhaohao 阅读(1653) 评论(0) 推荐(0)

数据治理：主数据-主数据是怎么做“主”的呢？

摘要：没有被管理的数据很难实现价值转换，很难被称之为数据资产。在业务数据化、数据资产化再到数据价值指导业务发展的路上，合理的数据分类，再有针对的进行管理、运营是必不可少的。常见的分类维度，可以把数据资产分为：数据和描述数据的数据，也就是元数据，再高阶的分类还可以分为描述元数据的数据，也就是元元数据。阅读全文

posted @ 2021-08-30 09:19 xibuhaohao 阅读(744) 评论(0) 推荐(0)

文章分类 - 大数据-架构

公告