摘要：Apache Kafka是一个开源的分布式事件流平台，使用Scala和Java混合编写，Kafka最初由Linkedin公司开发，2011年贡献给了Apache基金会并成为顶级开源项目。消息队列就是用于数据生产方和消费方解耦合的中间件。顾名思义，主体就是一个队列的形式收集消息，数据在消费端按照FIFO的原则被消费。近几天连续学习两个Apache的开源项目，今天我们又来学习另外一个Apache顶级开源项目Kafka，可以见得Apache在开源世界的绝对大佬地位。Kafka是一个基于Zookeeper协调的支持分区（partition）、多副本（replica）的分布式消息系统，最大特性是可以实时处理大量数据以满足各种需求场景，常用于大数据场景消息流中间件；其他消息队列有ActiveMQ、RabbitMQ、ZeroMQ、MetaMQ、RocketMQ，目前比较主流消息中间件是Kafka、RocketMQ和RabbitMQ。 阅读全文

摘要：数据分类分级管理不仅是加强数据交换共享、提升数据资源价值的前提条件，也是数据安全保护场景下的必要条件。《数据安全法》规定国家建立数据分类分级保护制度，对数据实行分类分级保护，**数据分类分级工作是基础和核心，数据分类分级**是数据使用管理和安全防护的基础，为数据尤其是重要数据制定分类分级制度并依规管理，是实现数据安全目标的重要工作；数据分类分级不仅是数据安全治理的第一步，也是当前数据安全治理的痛点和难点，数据分类分级是非常有挑战性的工作。总结数据分类分级的基本流程包括4个重要的方面 阅读全文

摘要：数据治理是当今“大数据”领域里比较热门的话题，数据治理到底是啥？这个其实还蛮抽象的，会蛮偏基础，不像一些数据的业务场景更那么性感，那么容易听得懂，像这块说数据质量，其实大家希望我用数据的时候像一个超市的货架一样，用起来会很方便，像数据架构，它其实就是超市里面的货架，怎么去设计出来；数据标准其实就是我们的蔬菜、水果它的规格是不是统一的；再之后就是数据质量，这个很容易理解，这个就是货架里面的商品当前是否符合我的质量的一些要求；然后元数据我们更多的叫它描述水果、蔬菜这种品种规格；数据生命周期管理也是类似就是我的一些蔬菜和水果的保质期是什么样的；数据安全管理就是不要有人偷，我们把超市里货架的设计其实就把数据治理整个体现简单解释出来了 阅读全文

摘要：本篇先了解Elasticsearch底层原理，通过docker方式搭建3台ES集群,安装Head插件和Kibana可视化工具，加入ik分词器支持中文分词，通过实践Elasticsearch基本概念和操作对其有更深的理解，掌握基础运维知识，最后利用spring-boot整合elasticsearch启动器写一个增删改查功能示例。 阅读全文