摘要：
1、hadoop dfs 专门针对hdfs系统 2、hdfs dfs 和hadoop dfs，当使用hadoop dfs时会被转为hdfs dfs命令 3、hadoop fs 范围更广 阅读全文
摘要：
在数据治理中，数据探索服务的价值在初期往往是被忽视的，但是随着业务的增加，分析人员的增加，数据探索服务的价值就会越来越大。 一个成功的数据管理平台，不仅仅要提供各种数据分析的工具，提供各种各样的数据源，更要提供数据探索的能力。 为什么数据探索服务很重要？ 想象一下，作为一名数据科学家，他刚刚获得新的 阅读全文
摘要：
REA Group是一家专门面向房地产与实业资产的跨国数字广告公司。 他们主要为消费者提供房地产购买、出售与租赁服务，同时发布各类房产新闻、装修技巧以及生活方式层面的内容。每一天，都有数百万消费者访问REA Group网站。 REA Group每天都需要进行大量的数据分析工作，去分析用户，财务等信息 阅读全文
摘要：
目前，Amundsen并不支持表级别和列级别的数据血缘功能，也没有办法展示数据的来龙去脉。 作为Amundsen一项非常核心的功能，Lineage功能早已经提上日程，并进入设计与研发阶段。本位将展示此功能的一些基本设计。 概述 初步设计是通过表详情页，进入到相关页面，来展示表的来源与输出。 作为这项 阅读全文
摘要：
Amundsen的使命，整理有关数据的所有信息，并使其具有普遍适用性。 这是Amundsen官网的一句话，对于元数据的管理工作，复杂且繁琐。可用的工具很多各有千秋，数据血缘做的较好的应该是Apache Atlas，而数据可视化做的较好的应该是Apache Superset。业界一直需要一个可以整合这 阅读全文
摘要：
在hadoop执行删除文件命令 如果不带 -skipTrash 文件是进入了回收站 空间并不会被释放 会隔一段时间才被删除 设置该时间位置为： core-site.xml fs.trash.interval 360 单位是分钟 360意思是会在6个小时后清空回收站 阅读全文
摘要：
直接删除目录（不放入回收站） hdfs dfs -rm -skipTrash /tmp/aaa 清空回收站 hdfs dfs -expunge 执行完命令后，回收站的数据会在一分钟后清除。 阅读全文
摘要：
Apache Superset最近发布了1.0.1版本，这也是1.0版本后的有一个重大的版本，Superset也会在以后有更多的改进。那么让我们来看一下最新的新功能吧。 用户体验 通过更简单，更直观的UI将Superset用户体验提升到了新的水平。 现在可以使用缩略图网格的方式来显示图表和仪表板列表 阅读全文
摘要：
Atlas的权限控制非常的丰富，本文将进行其支持的各种权限控制的介绍。 在atlas-application.properties配置文件中，可以设置不同权限的开关。 atlas.authentication.method.kerberos=true|false atlas.authenticati 阅读全文
摘要：
Atlas集成Hive 在安装好Atlas以后，如果想要使用起来，还要让Atlas与其他组件建立联系。 其中最常用的就是Hive。 通过Atlas的架构，只要配置好Hive Hook ，那么每次Hive做任何操作就会写入Kafka从而被atlas接收。 并在Atlas中已图的形式展示出来。 Hive 阅读全文