摘要：
大家好，我是独孤风，一位曾经的港口煤炭工人，目前在某国企任大数据负责人，公众号大数据流动主理人。在最近的两年的时间里，因为公司的需求，还有大数据的发展趋势所在，我开始学习数据治理的相关知识。 经过一段时间的努力，我也终于通过了**CDMP国际数据治理认证考试。** 离我研究生开学还有两个月的时间，应 阅读全文
摘要：
大家好，我是独孤风，一位曾经的港口煤炭工人，目前在某国企任大数据负责人，公众号大数据流动的作者。 虽然告诉自己要平静，但是当接到EMS录取通知书的那一刻，眼眶还是忍不住有些湿润。今年正好是是东北大学的建校100周年，录取通知书还附赠了小礼物。 ![](https://img2023.cnbl 阅读全文
摘要：
大家好，我是独孤风。 今天我们来聊一下另一个元数据管理平台Apache Atlas。Atlas其实有一些年头了，是在2015年的时候就开源。 相对于Datahub来说，Atlas显得有一些“老”了，社区也远没有以前活跃。 但是，从稳定性和与Hadoop生态的融合度的角度来说，Atlas目前还是无可替 阅读全文
摘要：
前几天，Datahub提供了最新的字段级别数据血缘功能，很多朋友迫不及待想对比一下Datahub的字段级血缘与Atlas的区别。 这个时候问题来了，在Atlas收集Hive血缘的时候，由于部分版本问题，没有显示出字段级的数据血缘。这是为什么呢？其实只要做一个简单的修复就可以了，但是知其然也要知其所以 阅读全文
摘要：
大家好，我是独孤风，一位曾经的港口煤炭工人，目前在某国企任大数据负责人，公众号大数据流动主理人，近日公众号粉丝也刚刚突破了万人算是一个小小的里程碑。 看着已经有一万人来关注自己，阅读过自己写的文章。心中还是感慨万千的。所以，借着这个机会，今天这篇文章来聊聊我自己。说起来我大学毕业已经有10年了，这 阅读全文
摘要：
大家好，我是独孤风。 近期Datahub进行了一次大的版本更新，从0.9版本以后Datahub也正式发布了列级别数据血缘的功能。 0.9.1版本又增加了，列的影响分析这个功能。 这样Datahub对于列级别数据血缘的功能支撑就非常完善了。 目前Datahub支持列级别数据血缘的主要功能有。 1、建立 阅读全文
摘要：
大数据发展到今天，扮演了越来越重要的作用。数据可以为各种组织和企业提供关键决策的支持，也可以通过数据分析帮助发现更多的有价值的东西，如商机、风险等等。 在数据治理工作开展的时候，往往会有一个专门负责数据治理工作的负责人，他和大数据的负责人共同保证数据的可靠性，合法合规性。因为只有这样的数据才是有价值 阅读全文
摘要：
大家好，我是独孤风。 2022年已过去一半多的时间了。这半年多，我们重点关注了LinkedIn Datahub、Atlas等元数据管理工具，了解了他们在数据治理领域的作用。 也关注了Apache Griffin等数据质量工具的使用。 但是，在数据工程领域这只是冰山一角，近期lakeFS高级工程师Ei 阅读全文
摘要：
2022年7月21日，大家都被一则新闻刷屏了。 经查实，滴滴全球股份有限公司违反《网络安全法》《数据安全法》《个人信息保护法》的违法违规行为事实清楚、证据确凿、情节严重、性质恶劣。 7月21日，国家互联网信息办公室依据《网络安全法》《数据安全法》《个人信息保护法》《行政处罚法》等法律法规，对滴滴全球 阅读全文
摘要：
最近一直在思考几个问题： 数据治理到底该如何学？ 先学理论还是先学技术？ 如何衡量自己数据治理学习的好坏程度？ 有没有一些考试可以验证自己的学习成果？ 如果需要招聘一个数据治理的专业人员，除了证书还应该考察他的什么能力？ 有哪些书籍是学习数据治理适合阅读的？ 如果要学习数据治理理论，应该如何是怎样的 阅读全文