摘要：
这篇文章的主要内容包括：1、数据架构的演变历史与各种架构的优缺点。2、流批一体的价值。3、流批一体架构中流与批的关系。 阅读全文
摘要：
随着 ChatGPT 的横空出世与 GPT-4 的重磅登场，生成式 AI（Generative AI）引起了前所未有的关注，基于 GPT（Generative Pre-Trained Transformer）的模型在各类 NLP 和 CV 任务上取得了惊人的效果。生成式 AI 模型可以根据训练过的数 阅读全文
摘要：
本文希望能够通过总结过去自己对领域建模的一点粗浅经验给需要的同学能有些许启发，少走弯路。 阅读全文
摘要：
第一部分为看清：大模型的训练及推理过程是如何的，以及内部逻辑
第二部分为理解：大模型的训练及推理和算力的关系
第三部分为推演：用简单的公式量化大模型算力的需求
第四部分为优化：我们如何提高算力利用率 阅读全文
摘要：
注：单点登录原理是一个重要知识点，也常被问及，很多童鞋照葫芦画瓢搭建过单点登录，但是被问到原理时可能说不出来，下面简单介绍，抛砖引玉，希望对大家有所帮助。
单点登录在现在的系统架构中广泛存在，他将多个子系统的认证体系打通，实现了一个入口多处使用，而在架构单点登录时，也会遇到一些小问题，在不同的应用环境中可以采用不同的单点登录实现方案来满足需求。
我将以我所遇到的应用环境以及在其中所经历的各个阶段与大家分享，若有不足，希望各位不吝赐教。 阅读全文
摘要：
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 阅读全文
摘要：
在进行开源软件选型时，需要留意一下开源协议，开源选件往往可以免费使用，但不意味着随意使用，根据你的用途，协议的要求会对你产生一定的影响。截止到写稿时，经过OSI（Open Source Initiative）组织批准的开源协议就有82种之多，可以参见：（[https://opensource.org 阅读全文
摘要：
今天给大家介绍下扫码登录功能是怎么设计的。 扫码登录功能主要分为三个阶段：待扫描、已扫描待确认、已确认。 整体流程图如图。 下面分阶段来看看设计原理。 1、待扫描阶段 首先是待扫描阶段，这个阶段是 PC 端跟服务端的交互过程。 每次用户打开PC端登陆请求，系统返回一个唯一的二维码ID，并将二维码ID 阅读全文
摘要：
海康平台安装部署环境需要基于HikvisionOS Linux系统（简称HIKOS),是基于CentOS 7的 Linux操作系统。 HIKOS系统安装完成后，即设置了root和hik两个用户，初始登录密码为123456。 其中root是超级管理员用户，只能通过本地终端登录系统，禁止使用远程终端登录 阅读全文
摘要：
Proxmox VE 是一个运行虚拟机和容器的平台。 这是 基于 Debian Linux，完全开源。 最大 灵活性，我们实施了两种虚拟化技术 - 基于内核的虚拟机 (KVM) 和基于容器的虚拟化 (LXC)。 Proxmox VE是一个企业级虚拟化平台，该平台集成了基于内核的虚拟机管理程序（KVM 阅读全文
摘要：
前言 前面说了很多Kafka的性能优点，有些童鞋要说了，这Kafka在企业开发或者企业级应用中要怎么用呢？今天咱们就来简单探究一下。 1、 使用 Kafka 进行消息的异步处理 Kafka 提供了一个可靠的消息传递机制，使得企业能够将不同组件之间的通信解耦，实现高效的异步处理。在企业级应用中，可以通 阅读全文
摘要：
你想成为一名架构师，对吗？别对我撒谎，我知道你想成为架构师。即使你不想，你还是想成为一名更好的开发者。否则，你就不会花时间阅读这篇文章。 这种态度值得赞赏。毕竟，我们都希望在自己所从事的领域变得更好，即使不能称为最好。我在这里就是为了帮助你实现这一目标。 那么，你如何成为一名架构师呢？当然是通过学习 阅读全文
摘要：
三类代码协同模式，Git大神告诉你到底如何选。 阅读全文
摘要：
本文主要做推荐系统浅析，主要介绍推荐系统的定义，推荐系统的基础框架，简单介绍设计推荐的相关方法以及架构。适用于部分对推荐系统感兴趣的同学以及有相关基础的同学，本人水平有限，欢迎大家指正。 阅读全文
摘要：
本文是技术人成长系列文章，作者期望透过这些真实的技术成长经验，给到读者一些有益的启发。 阅读全文
摘要：
在Java语言中，创建线程并不像创建对象一样简单。虽然只需要使用new Thread()即可创建线程，但实际上创建线程比创建对象复杂得多。创建对象只需在JVM的堆中分配内存，而创建线程需要调用操作系统内核的API，并为线程分配一系列资源，这个成本相对较高。因此，线程被视为重量级的对象，应尽量避免频繁创建和销毁。
那么如何避免频繁创建线程呢？解决方案就是使用线程池。
由于线程池的需求非常普遍，所以Java SDK的并发包自然也包含了线程池。但是，很多人初次接触并发包中与线程池相关的工具类时，可能会感到有些困惑，不知从何入手。我认为，这主要是因为线程池与通常意义上的资源池是不同的。一般意义上的资源池在需要资源时调用acquire()方法申请资源，在使用完毕后调用release()释放资源。然而，如果你带着这种固有模型来看待并发包中的线程池相关工具类，会遗憾地发现它们与之不匹配，因为Java提供的线程池中根本不存在申请线程和释放线程的方法。 阅读全文
摘要：
实际工作中，为了优化性能，我们经常会使用缓存，例如缓存元数据、缓存基础数据等，这就是一种典型的读多写少应用场景。缓存之所以能提升性能，一个重要的条件就是缓存的数据一定是读多写少的，例如元数据和基础数据基本上不会发生变化（写少），但是使用它们的地方却很多（读多）。
针对读多写少这种并发场景，Java SDK并发包提供了读写锁——ReadWriteLock，非常容易使用，并且性能很好。在并发编程中，有时我们需要处理多个线程同时读取共享资源的情况，同时还要保证在有写操作时，对资源的访问是互斥的。这就是读写锁（ReadWriteLock）的应用场景。 阅读全文
摘要：
本文比较系统的介绍了什么是全栈以及全栈开发的具体步骤和实践，最后分享了作者做全栈的心得体会。 阅读全文
摘要：
本文介绍的 MetaQ/RocketMQ 是侧重于维持消息一致性和高可靠性的消息队列中间件，帮助大家对队列设计的理解。 阅读全文
摘要：
简述 上篇文章介绍了如何搭建 prometheus 监控体系，监控 linux 服务器，这篇文章跟大家介绍如何监控 redis，以及我们要关注的指标都有哪些 监控 redis 需要关注什么指标 在《聊聊监控》这篇文章，介绍了 google 提出的监控四个黄金指标（没看过的朋友可以看看这篇文章），下面 阅读全文
摘要：
引言 我们都知道，Redis 的数据存储在内存中, 一旦服务器宕机，内存中的数据将全部丢失。因此，对 Redis 来说，实现数据的持久化，避免从后端数据库中进行恢复，是至关重要的。本篇我们详细讲解下 Redis 的三种持久化机制，分别是 AOF（Append Only File） 日志和 RDB 快 阅读全文
摘要：
这篇文章总结了常用的架构图类型，可以借鉴笔者提供的模板，快速地产出符合业务需要的架构图。 阅读全文
摘要：
一、状态机简介 1.1 定义 我们先来给出状态机的基本定义。一句话： 状态机是有限状态自动机的简称，是现实事物运行规则抽象而成的一个数学模型。 先来解释什么是“状态”（ State ）。现实事物是有不同状态的，例如一个自动门，就有 open 和 closed 两种状态。我们通常所说的状态机是有限状态 阅读全文
摘要：
一、背景 会员系统是一种基础系统，跟公司所有业务线的下单主流程密切相关。如果会员系统出故障，会导致用户无法下单，影响范围是全公司所有业务线。所以，会员系统必须保证高性能、高可用，提供稳定、高效的基础服务。 随着同程和艺龙两家公司的合并，越来越多的系统需要打通同程APP、艺龙APP、同程微信小程序、艺 阅读全文
摘要：
1.3 分层架构演进 1.3.1 传统四层架构 将领域模型和业务逻辑分离出来，并减少对基础设施、用户界面甚至应用层逻辑的依赖，因为它们不属业务逻辑。将一个夏杂的系统分为不同的层，每层都应该具有良好的内聚性，并且只依赖于比其自身更低的层。 传统分层架构的基础设施层位于底层，持久化和消息机制便位于该层。 阅读全文