zourui4271

摘要： 背景与目标 在数据仓库建设过程中，数据安全扮演着重要角色，因为隐私或敏感数据的泄露，会对数据主体（客户，员工和公司）的财产、名誉、人身安全、以及合法利益造成严重损害。因此我们需要严格控制对仓库中的数据访问，即什么样的人员或者需求才可以访问到相关的数据。这就要求对数据本身的敏感程度进行安全级别划分。数 阅读全文

摘要： https://tech.meituan.com/2018/12/27/onedata-origin.html https://tech.meituan.com/2018/03/21/mtdp-dataman.html 阅读全文

摘要： https://www.iqiyi.com/playlist394935102.html 阅读全文

摘要： https://blog.csdn.net/yu0_zhang0/article/details/81776459 https://blog.csdn.net/lxpbs8851/article/details/9814007 https://blog.csdn.net/young_0609/art 阅读全文

摘要： 数据倾斜解决方案 数据倾斜的解决，跟之前讲解的性能调优，有一点异曲同工之妙。 性能调优中最有效最直接最简单的方式就是加资源加并行度，并注意RDD架构（复用同一个RDD，加上cache缓存）。相对于前面，shuffle、jvm等是次要的。 6.1、原理以及现象分析 6.1.1、数据倾斜怎么出现的 在执 阅读全文

摘要： 现实生活中时间是很重要的概念，时间可以记录事情发生的时刻、比较事情发生的先后顺序。分布式系统的一些场景也需要记录和比较不同节点间事件发生的顺序，但不同于日常生活使用物理时钟记录时间，分布式系统使用逻辑时钟记录事件顺序关系，下面我们来看分布式系统中几种常见的逻辑时钟。 物理时钟 vs 逻辑时钟 可能有 阅读全文

摘要： kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转） 问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的 阅读全文

摘要： 事务是MySQL等关系型数据库区别于NoSQL的重要方面，是保证数据一致性的重要手段。本文将首先介绍MySQL事务相关的基础概念，然后介绍事务的ACID特性，并分析其实现原理。 MySQL博大精深，文章疏漏之处在所难免，欢迎批评指正。 一、基础概念 事务（Transaction）是访问和更新数据库的 阅读全文

摘要： 程序员从一开始就是和诗紧紧联系在一起的。历史上第一个程序员，也是计算机的发明者艾达(Ada)是英国浪漫主义诗人拜伦的女儿。所以程序员写的诗也是那么唯美动人： 我能抽象出整个世界… 但是我不能抽象出你… 因为你在我心中是那么的具体… 所以我的世界并不完整… 我可以重载甚至覆盖这个世界里的任何一种方法… 阅读全文

摘要： 一、源码分析 源码分析是一种临界知识，掌握了这种临界知识，能不变应万变，源码分析对于很多人来说很枯燥，生涩难懂。 源码阅读，我觉得最核心有三点：技术基础+强烈的求知欲+耐心。 我认为是阅读源码的最核心驱动力。我见到绝大多数程序员，对学习的态度，基本上就是这几个层次(很偏激哦)： 1、只关注项目本身， 阅读全文