随笔分类 -  数据存储

Redis 日志篇：系统高可用的杀手锏
摘要：特立独行是对的，融入圈子也是对的，重点是要想清楚自己向往怎样的生活，为此愿意付出怎样的代价。 我们通常将 Redis 作为缓存使用，提高读取响应性能，一旦 Redis 宕机，内存中的数据全部丢失，假如现在直接访问数据库大量流量打到 MySQL 可能会带来更加严重的问题。 另外慢慢的从数据库读取放到 阅读全文
posted @ 2021-02-23 14:28 MageByte 阅读(2520) 评论(0) 推荐(1)
Redis 核心篇：唯快不破的秘密
摘要：天下武功，无坚不摧，唯快不破！ 学习一个技术，通常只接触了零散的技术点，没有在脑海里建立一个完整的知识框架和架构体系，没有系统观。这样会很吃力，而且会出现一看好像自己会，过后就忘记，一脸懵逼。 跟着「码哥字节」一起吃透 Redis，深层次的掌握 Redis 核心原理以及实战技巧。一起搭建一套完整的知 阅读全文
posted @ 2021-01-26 19:47 MageByte 阅读(981) 评论(2) 推荐(2)
从面试角度学完 Kafka
摘要：Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天就从常见的 Kafka 面试题入手，和大家聊聊 Kafka 的那些事儿。 阅读全文
posted @ 2020-10-14 23:15 MageByte 阅读(1080) 评论(1) 推荐(1)
数据库系统设计概述
摘要：世界上只有两种开发人员，一种使用数据库系统的，一种开发数据库系统的。 数据是系统最重要的信息。大部分系统都是对数据的管理。应用系统通过数据模型来构建现实世界，通过算法操作对象或数据结构，来改变数据模型的状态。数据被组织在操作系统文件中，我们通过数据系统来组织，查询，搜索，处理数据。 本文将从数据库的 阅读全文
posted @ 2020-08-02 09:47 MageByte 阅读(1761) 评论(0) 推荐(3)
Druid：通过 Kafka 加载流数据
摘要：本文演示了如何使用 Druid 的 Kafka indexing 服务从 Kafka 流中加载数据至 Druid。 阅读全文
posted @ 2020-06-04 22:43 MageByte 阅读(800) 评论(0) 推荐(0)
我们常听到的WAL到底是什么
摘要：什么是 WAL WAL(Write Ahead Log)预写日志，是数据库系统中常见的一种手段，用于保证数据操作的原子性和持久性。 在计算机科学中， 预写式日志 （Write ahead logging，缩写 WAL）是关系数据库系统中用于提供原子性和持久性（ACID 属性中的两个）的一系列技术。在 阅读全文
posted @ 2020-04-29 22:55 MageByte 阅读(2324) 评论(0) 推荐(1)
Mysql：小主键，大问题
摘要：今日格言：让一切回归原点，回归最初的为什么。 本篇讲解 Mysql 的 主键 问题，从 为什么 的角度来了解 Mysql 主键相关的知识，并拓展到主键的生成方案问题。再也不怕被问到 Mysql 时只知道 CRUD 了。 一、为什么需要主键 1. 数据记录需具有 唯一性 (第一范式) 2. 数据需要关 阅读全文
posted @ 2020-04-21 23:05 MageByte 阅读(905) 评论(0) 推荐(1)
Mysql大数据量问题与解决
摘要：今日格言：了解了为什么，问题就解决了一半。 Mysql 单表适合的最大数据量是多少？ 我们说 Mysql 单表适合存储的最大数据量，自然不是说能够存储的最大数据量，如果是说能够存储的最大量，那么，如果你使用自增 ID，最大就可以存储 2^32 或 2^64 条记录了，这是按自增 ID 的数据类型 i 阅读全文
posted @ 2020-04-15 13:10 MageByte 阅读(2751) 评论(0) 推荐(0)
你应该知道一些其他存储——列式存储
摘要：导读：在讲《Apache Druid 底层存储设计》时就说过要讲一讲列式存储。现在来了，通过本文你可以了解到行存储模式、列存储模式、它们的优缺点以及列存储模式的优化等知识。 今日格言：不要局限于单向思维，多对比了解更多不同维度的东西。 从数据存储讲起 我们最先接触的数据库系统，大部分都是行存储系统。 阅读全文
posted @ 2020-04-08 14:11 MageByte 阅读(1320) 评论(5) 推荐(0)
Apache Druid 底层存储设计(列存储与全文检索)
摘要：导读：首先你将通过这篇文章了解到 Apache Druid 底层的数据存储方式。其次将知道为什么 Apache Druid 兼具数据仓库，全文检索和时间序列的特点。最后将学习到一种优雅的底层数据文件结构。 今日格言：优秀的软件，从模仿开始的原创。 了解过 Apache Druid 或之前看过本系列前 阅读全文
posted @ 2020-03-30 13:05 MageByte 阅读(1551) 评论(0) 推荐(0)
Apache Druid 的集群设计与工作流程
摘要：导读：本文将描述 Apache Druid 的基本集群架构，说明架构中各进程的作用。并从数据写入和数据查询两个角度来说明 Druid 架构的工作流程。 关注公众号 MageByte，设置星标点「在看」是我们创造好文的动力。公众号后台回复 “加群” 进入技术交流群获更多技术成长。 Druid 是多进程 阅读全文
posted @ 2020-03-09 14:31 MageByte 阅读(1148) 评论(1) 推荐(0)
十分钟了解Apache Druid(集数据仓库、时间序列、全文检索于一体的存储方案)
摘要：导读：Apache Druid是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台。本文将带你简单了解Druid的特性，使用场景，技术特点和架构。这将有助于你选型数据存储方案，深入了解Druid存储，深入了解时间序列存储等。 Apache Druid是一个高性能的实时分析型数据库 阅读全文
posted @ 2020-03-05 18:42 MageByte 阅读(5382) 评论(0) 推荐(0)
时间序列数据库(TSDB)初识与选择(InfluxDB、OpenTSDB、Druid、Elasticsearch对比)
摘要：背景 这两年互联网行业掀着一股新风，总是听着各种高大上的新名词。大数据、人工智能、物联网、机器学习、商业智能、智能预警啊等等。 以前的系统，做数据可视化，信息管理，流程控制。现在业务已经不仅仅满足于这种简单的管理和控制了。数据可视化分析，大数据信息挖掘，统计预测，建模仿真，智能控制成了各种业务的追求 阅读全文
posted @ 2020-03-05 18:35 MageByte 阅读(27474) 评论(3) 推荐(6)