嘣嘣嚓

摘要： 各维度类型 渐变维 描述 渐变维(SCD. Slowly Change Dimension）,是一种在多维数据仓库中实现维度历史的技术 类型 SCD1 通过更新维度记录直接覆盖已存在的值，它不维护记录的历史 一般用于修改错误的数据 SCD2 在源数据发生变化时，给维度记录建立一个新的版本记录，从而维 阅读全文

摘要： 一句话描述 面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。 特性 1.面向主题 传统的操作性系统是围绕组织的功能性应用进行组织的，而数据仓库是面向主题的。主题是一个抽象概念，简单地说就是与业务相关的数据的类别，每一个主题基本对应一个宏观的分析领域。 主题域是对某个主题 阅读全文

摘要： Kafka-如何保证消费者的可靠性 只有那些被提交到kafka的数据，也就是那些已经被写入所有同步副本的数据，对消费者是可用的，这意味着消费者得到的消息已经具备了一致性。消费者唯一要做的是跟踪哪些消息是已经读取过的，哪些是还没有读取过的。这是在读取消息时不丢失消息的关键。 在从分区读取数据时，消费者 阅读全文

摘要： Kafka-如何保证生产者的可靠性 即使我们尽可能把broker配置的很可靠，但如果没有对生产者进行可靠性方面的配置，整个系统仍然有可能出现突发性的数据丢失。 举例： 为broker配置了3个副本，并且禁用了不完全首领选举，这样应该可以保证万无一失。我们把生产者发送消息的acks设为1（只要首领接收 阅读全文

摘要： Kafka-可靠性保证-保证了哪些可靠性 ACID是关系型数据库普遍支持的标准可靠性保证。 ACID：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability) 如果数据库遵循ACID规范，那么该数据库就支持与事务相关的行为。 kaf 阅读全文

摘要： SparkStreaming-运行架构 SparkStreaming相对其他流处理系统最大的优势在于流处理引擎和数据处理在同一个软件栈，其中SparkStreaming功能主要包括流处理引擎的流数据接收与存储以及批处理作业的生成与管理，而spark核心负责处理SparkStreaming发送过来的作 阅读全文

摘要： Kafka-键的删除 如果只为每个键保留最近的一个消息，那么当需要删除某个特定键所对应的所有消息时，需要怎么做？比如一个用户不再使用我们的服务，那么完全可以把与这个用户相关的所有信息从系统中删除。 为了彻底把一个键从系统里删除，应用程序必须发送一个包含该键且值为null的消息。清理线程发现该消息时， 阅读全文

摘要： Kafka-分区日志文件的索引 消费者可以从kafka的任意可用偏移量位置开始读取消息。假设消费者要读取从偏移量100开始的1MB消息，那么broker必须立即定位到偏移量100（可能是在分区的任意一个片段里），然后开始从这个位置读取消息。为了帮助broker更快地定位到指定的偏移量，kafka为每 阅读全文

摘要： Kafka-分区日志文件的清理原理 清理 一般情况下，kafka会根据设置的时间保留数据，把熬过时效的旧数据删除掉。 早于保留时间的旧事件会被删除，为每个键保留最新的值，从而达到清理的效果。只有当应用程序生成的事件里包含了键值对时，为这些主题设置compact策略才有意义。如果主题包含null键，清 阅读全文

摘要： kafka-文件存储格式 kafka的消息和偏移量保存在文件里。保存在磁盘上的数据格式与从生产者发送过来或者发送给消费者的消息格式是一样的。因为使用了相同的消息格式进行磁盘存储和网络传输，kafka可以使用零复制技术给消费者发送消息，同时避免了对生产者已经压缩过的消息进行解压和再压缩。 除了键、值和 阅读全文