伯安知心

摘要： 概述 本人在使用蓝鲸过程有些许心得，所以专门写一个学习笔记供大家参考和学习，当然也为了我日后可以随意参阅。 腾讯蓝鲸智云，简称蓝鲸，是腾讯互动娱乐事业群（Interactive Entertainment Group，简称 IEG）自研自用的一套用于构建企业研发运营一体化体系的 PaaS 开发框架， 阅读全文

摘要： 概述 现在介绍学习一下kafka的请求处理模块，请求处理模块就是网络请求处理和api处理，这是kafka无论是对客户端还是集群内部都是非常重要的模块。现在我们对他进行源码深入探讨。当我们说到 Kafka 服务器端，也就是 Broker 的时候，往往会说它承担着消息持久化的功能，但本质上，它其实就是一 阅读全文

摘要： 概述 日志段及其相关代码是 Kafka 服务器源码中最为重要的组件代码之一。你可能会非常关心，在 Kafka 中，消息是如何被保存和组织在一起的。毕竟，不管是学习任何消息引擎，弄明白消息建模方式都是首要的问题。因此，你非常有必要学习日志段这个重要的子模块的源码实现。今天，我会带你详细看下日志段部分的 阅读全文

摘要： 概述 上一篇随笔主要介绍了kafka的基本使用包括集群参数，生产者基本使用，consumer基本使用，现在来介绍一下kafka的使用技巧。 分区机制 我们在使用 Apache Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用 Kafka 收集应用服务器 阅读全文

摘要： 概述 第一篇随笔从消息队列的定义和各种应用，以及kafka的分类定义和基本知识，第二篇就写一篇关于kafka的基本实际配置和使用的随笔，包括kafka的集群参数的配置，生产者使用机制，消费者使用机制。总之我会使用由浅到深，由概括到具体的介绍kafka的每个功能。 kafka集群的配置 这里我只是介绍 阅读全文

摘要： 概述 学习和使用kafka不知不觉已经将近5年了，觉得应该总结整理一下之前的知识更好，所以决定写一系列kafka学习笔记，在总结的基础上希望自己的知识更上一层楼。写的不对的地方请大家不吝指正，感激万分。第一篇介绍消息队列概况和kafka的入门知识。 消息队列系统 首先说一下消息队列的含义，“消息系统 阅读全文

摘要： 概述 再说ranger之前需要明白一下大数据的安全体系的整体介绍，安全体系其实也就是权限可控，先说说权限：权限管理的目标，绝对不是简单的在技术层面建立起用户，密码和权限点的映射关系这么简单的事，更重要的是要从流程合理性，业务隔离，实施代价，可执行性等方面进行考虑。单方面强调安全，结果往往并不理想。重 阅读全文

摘要： 概述 之前写过关于hive的已经有两篇随笔了，但是作者依然还是一枚小白，现在把那些杂七杂八的总结一下，供以后查阅和总结。今天的文章介绍一下hive的优化。hive是好多公司都在使用的东西，也有好多大公司进行定制化二次优化，比如鹅厂的Thive等。所以学习hive至关重要，本文只针对大众版免费开源的h 阅读全文

摘要： 概述 最近公司在使用Tez，今天写一篇关于Tez的学习和使用随笔。Tez是Apache最新的支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。Hadoop传统 阅读全文

摘要： 概述 参加了新的公司新的工作新的环境之后，本人必须学习更多的知识，所以稳固之前的知识和学习新的知识是重中之重，新的公司把hadoop大部分的组件都进行了架构源码深度改造，所以使用过程确实遇到一些麻烦，而写这篇随笔的目的就是记录之前学习的知识，并且作为学习新的架构的基础。就是本文说的hive组件。 H 阅读全文