摘要：
作为一名写了11年代码的软件工程师，今晚进行了历史知识点的复习，突然想和大家纯粹地聊聊技术演进。 回顾这11年，我的技术轨迹其实就是一部不断“破局”的实战史，而现在，我经历了最深刻的一次重塑： 1. 编程语言的底层逻辑
从Java基础、JVM内存模型到并发编程，我始终认为，无论上层框架如何更迭，对底
阅读全文
posted @ 2026-07-01 03:52
溯衍
阅读(160)
推荐(0)
摘要：
在当前的数字化与智能化浪潮中，技术的定义早已超越了代码本身。一份优秀的技术蓝图，不仅需要扎实的底层原理支撑，更需要宏观的全局视野和敏锐的商业嗅觉。基于我多年的技术实践与思考，从《计算机工程与架构 V1.4》到《AI 工程 V0.2》，我们看到了一种全新的技术成长路径：技术不再是孤立的技能点，而是一个
阅读全文
posted @ 2026-06-27 21:35
溯衍
阅读(22)
推荐(0)
摘要：
引言：打破边界的技术观 在当前的数字化浪潮中，技术的定义早已超越了代码本身。一份优秀的技术蓝图，不仅需要扎实的底层原理支撑，更需要宏观的全局视野和敏锐的商业嗅觉。 基于最新的《计算机工程与架构 V1.4》与《AI 工程 V0.2》知识图谱，我们看到了一种全新的技术成长路径：技术不再是孤立的技能点，而
阅读全文
posted @ 2026-06-21 21:52
溯衍
阅读(79)
推荐(0)
摘要：
时隔多年，在无数的夜以继日的实战中，我正式将《软件工程》定义为：《计算机工程与架构技术》，目前更新到V1.5版本。 前言：看之前我们需要重构认知，为什么呢？ 在11年的技术生涯中，我经历过从手写第一行Java Hello world! 及 SELECT SQL到构建蚂蚁级数据中台的蜕变，也完成了从单
阅读全文
posted @ 2026-06-11 23:48
溯衍
阅读(318)
推荐(0)
2026年7月12日
摘要：
在AI重塑一切的时代，数据工程的“0到1”已不再是简单的集群搭建，而是一场从底层原理到工程哲学、再到认知重构的系统性革命。结合我11年的技术实践，这一过程可概括为筑基、重构与升维三个阶段。 首先是筑基，回归底层构建反脆弱的知识体系。AI工程化的基石依然是坚实的计算机基础。在追逐大模型之前，我们必须向
阅读全文
posted @ 2026-07-12 18:51
溯衍
阅读(13)
推荐(0)
2026年7月3日
摘要：
创新点： 1. 打破了“全局完美”的执念：传统的架构设计往往追求一个能解决所有问题的“大而全”系统。将视角从“全局通用”抽离，精准地切入了“局部稳定”这个特定维度。 2. 重新定义了架构的“边界”：这套架构限定在“特定、必须局部稳定、且无需长期演进”的场景中。在这个特定的边界内，原本可能显得笨重的架
阅读全文
posted @ 2026-07-03 01:20
溯衍
阅读(12)
推荐(0)
2026年7月2日
摘要：
当我确定了下一份工作是哪家公司时，我会全心投入AI的基础架构及全链路调优（包含算法）、总监或CTO、资深技术专家 需要解决的企业/业务历史或0-1建设。 如果说11年的积累是打下了软件工程基本盘。那么真正开花和创新便是新的工业革命，AI时代我要去解的企业级、世界级问题。 杨思义，你没问题的，那么伯乐
阅读全文
posted @ 2026-07-02 01:23
溯衍
阅读(85)
推荐(0)
2026年6月27日
摘要：
本书尝试打破学科壁垒，深度融合新闻传播学、认知心理学、经济学、文学、哲学、计算机工程学及数学。这不仅是基于我个人“计算机工程与架构 v1.4”体系的实践总结，更是近期深度学习内化后，对世界元认知的一次重构。完稿后，核心内容将优先投递至国家级期刊进行学术探讨，随后再向大家完整分享章节内容。第一版大纲如
阅读全文
posted @ 2026-06-27 15:41
溯衍
阅读(35)
推荐(0)
摘要：
最近开始写书，所以更新会慢一点，望见谅哈 朋友们~
阅读全文
posted @ 2026-06-27 10:50
溯衍
阅读(6)
推荐(0)
2026年6月26日
摘要：
我的问题： 核心交易系统的架构与实现 跟我讲下哈 千问的回答： 没问题！“核心交易系统”是金融IT领域的皇冠明珠，它的核心追求只有四个字：快、稳、准。 为了让你学起来不枯燥，我们抛开晦涩的教科书，把它拆解成“架构设计（骨架）”和“底层实现（血肉）”两大部分来讲。你可以把它想象成一个超级繁忙的“中央厨
阅读全文
posted @ 2026-06-26 18:30
溯衍
阅读(22)
推荐(0)
摘要：
我的问题： 数据建模 再把原理和实战发我 千问的回答： 既然大数据底层计算框架（MapReduce、Spark、Flink）你已经完全吃透，那咱们就顺理成章地聊聊数据建模。如果说计算框架是处理数据的“发动机”，那数据建模就是设计数据仓库的“建筑蓝图”。 结合行业实战经验，我为你系统梳理了数据建模的底
阅读全文
posted @ 2026-06-26 11:51
溯衍
阅读(12)
推荐(0)
摘要：
我的问题： Hadoop是什么？ 千问回答： Apache Hadoop 是一个开源的分布式系统基础架构，由 Apache 基金会开发。它旨在利用计算机集群的并行处理能力，以可靠、高效且可伸缩的方式，对海量数据进行分布式存储和分析计算。 Hadoop 的核心架构 Hadoop 的核心设计主要由以下四
阅读全文
posted @ 2026-06-26 02:16
溯衍
阅读(13)
推荐(0)
2026年6月25日
摘要：
我的问题： 架构选型与演进：你们团队在构建实时数仓时，采用的是哪种架构？在业务发展中，是否经历过从 Lambda 向 Kappa 的演进，或者反过来？促使你做这种架构决策的核心痛点是什么（比如：代码维护成本、状态管理、还是数据回溯能力）？ 2. 状态管理与容错：在使用 Flink 等流计算引擎时，处
阅读全文
posted @ 2026-06-25 15:30
溯衍
阅读(19)
推荐(0)
摘要：
一、思义，你好。我是今天的面试官。 我已经仔细阅读了你的简历。11年的大数据架构与技术管理经验，尤其是在蚂蚁集团从0到1搭建元数据平台、数据质量治理体系，以及在数字马力带领20+人团队并落地AI研发工具提效60%的经历，都非常亮眼。 今天我们重点围绕你最近的工作经历，深入探讨一下你在AI工程化落地和
阅读全文
posted @ 2026-06-25 12:59
溯衍
阅读(33)
推荐(0)
摘要：
1、对于AI Coding的话，我们一开始是尝试的阶段。我们希望大家能够在代码中慢慢的，比如一个JSON解析，生成类。慢慢的开始用了AI Skills技术，然后把一些固定的工作流沉淀下来，用一句话自然语言进行固定工作流的结果返回。这里有几个问题，后端生成的代码是专家级的，包括异常处理、空指针控制、以
阅读全文
posted @ 2026-06-25 08:09
溯衍
阅读(30)
推荐(0)
摘要：
1、高等数学的基础理论有哪些？ 高等数学的基础理论，其实就是用极其严密的逻辑，把我们在初等数学里凭直觉感知的“数”和“形”，重新构建了一遍。 如果说我们前面聊的集合论、图灵机是数学大厦的“地基”，那么高等数学的基础理论就是支撑起整座大厦的“钢筋混凝土框架”。它主要由以下几个核心支柱构成： 1. 极限
阅读全文
posted @ 2026-06-25 01:42
溯衍
阅读(40)
推荐(0)
摘要：
1、数学的基础理论有哪些？ 数学的基础理论主要指为整个数学体系提供逻辑根基、语言规范和推理框架的学科分支。它们不仅定义了“什么是数学”，还确立了数学命题的真伪标准。以下是数学基础理论的核心组成部分： 1. 数理逻辑（Mathematical Logic） 数理逻辑是数学基础的核心工具，它用严格的符号
阅读全文
posted @ 2026-06-25 01:16
溯衍
阅读(20)
推荐(0)
2026年6月24日
摘要：
1、P=NP 未被证实，需要我深入挖掘！！！！！！！！ 1. 哥德尔句（Gödel Sentence）：自指的逻辑黑洞 这是哥德尔在1931年为了证明不完备性定理，亲手构造出来的第一个“不可判定命题”。 它说了什么？ 用通俗的话翻译，这个命题 �G 表达的意思是：“命题 �G 在本系统内不可被证明。
阅读全文
posted @ 2026-06-24 10:41
溯衍
阅读(21)
推荐(0)
摘要：
1、计算机基础理论有哪些 计算机基础理论是支撑整个计算机科学大厦的基石。它们不仅定义了计算机“能做什么”和“不能做什么”，还决定了计算机“做得有多快”以及“如何高效地做”。 计算机基础理论通常可以划分为以下几个核心领域： 1. 计算理论与可计算性（Computability Theory） 这是计算
阅读全文
posted @ 2026-06-24 10:40
溯衍
阅读(24)
推荐(0)
2026年6月23日
摘要：
我的灵魂问题 1.AI大模型（LLM）？ 大语言模型（Large Language Model，简称 LLM）是一种基于深度学习的人工智能系统，旨在理解、生成和处理人类语言。它们通常基于 Transformer 架构，通过在海量文本数据（如互联网、书籍、文章、代码库等）上进行训练，学习语言中的复杂模
阅读全文
posted @ 2026-06-23 11:44
溯衍
阅读(17)
推荐(0)
摘要：
AI Coding（AI辅助编程）的实现并非单一技术的产物，而是大语言模型（LLM）、软件工程与自动化流程深度融合的系统工程。从底层原理到工程落地，其实现主要包含以下几个核心维度： 1. 底层核心技术：AI如何“理解”与“生成”代码 AI Coding 的基础是建立在海量代码语料上预训练的大语言模型
阅读全文
posted @ 2026-06-23 00:32
溯衍
阅读(19)
推荐(0)
2026年6月21日
摘要：
我想把天才的概念改一下。 所谓天才，是付出了百分之99的努力后，这里的百分之99的努力，指的是忽略一切极致的专注的积累（稻盛和夫），随之突然的百分之1的灵感。 那么大家别想着投机，踏实肯干（要有自信）!
阅读全文
posted @ 2026-06-21 20:20
溯衍
阅读(9)
推荐(0)
2026年6月18日
摘要：
1. CAP 三要素解析 一致性（Consistency）：强调数据的正确性。指分布式系统中的所有数据副本，在同一时刻是否保持相同的值。即无论客户端访问哪个节点，读到的都必须是最新写入的数据13。 可用性（Availability）：强调服务的连续性。指系统中任何非故障节点，在合理的时间内都能对客户
阅读全文
posted @ 2026-06-18 03:59
溯衍
阅读(17)
推荐(0)
摘要：
设计模式之所以能解决软件开发中的复杂问题，是因为它们背后遵循了一套核心的面向对象设计原则。这些原则通常被总结为 SOLID 原则，加上其他几个经典原则，构成了软件设计的基石。 以下是设计模式背后的核心设计原则详解： 一、 SOLID 原则（核心五大原则） 这是由 Robert C. Martin (
阅读全文
posted @ 2026-06-18 03:45
溯衍
阅读(20)
推荐(0)
摘要：
“Spark”在不同技术领域有不同的指代。根据您的需求，这里为您分别梳理大数据计算引擎（Apache Spark）与3D渲染引擎（World Labs Spark）最新版本与2.0版本的区别： 1. 大数据计算引擎：Apache Spark Apache Spark 的最新版本为 4.0，相较于 S
阅读全文
posted @ 2026-06-18 03:44
溯衍
阅读(7)
推荐(0)
摘要：
红黑树（Red-Black Tree） 是一种自平衡的二叉查找树。它在每个节点上增加了一个颜色属性（红色或黑色），通过严格的颜色约束规则来保证树的大致平衡。 红黑树的核心设计哲学是“弱平衡”：它不追求像 AVL 树那样绝对的高度平衡，而是通过限制最长路径不超过最短路径的 2 倍，大幅减少了插入和删除
阅读全文
posted @ 2026-06-18 03:42
溯衍
阅读(23)
推荐(0)
摘要：
B+树（B+ Tree） 是一种多路平衡搜索树，也是 B树（B-Tree）的变体。它最大的特点是所有数据都存储在叶子节点，非叶子节点仅用于索引。这种结构使其在数据库和文件系统等需要大量磁盘 I/O 的场景中表现极其优异，是 MySQL InnoDB 等主流关系型数据库的默认索引结构。 核心特性 数据
阅读全文
posted @ 2026-06-18 03:41
溯衍
阅读(19)
推荐(0)
摘要：
一.在千万级订单表中，需要查询“连续 3 天每天都有下单，且这 3 天内总下单金额大于 1000 元”的用户。请写出你的 SQL，并详细说明在数据量激增时，如何避免全表扫描和 filesort，以及如果该查询导致主从延迟，你的排查和优化思路是什么？ 回表：由于二级索引只存储了索引字段的值和对应的主键
阅读全文
posted @ 2026-06-18 03:31
溯衍
阅读(9)
推荐(0)
摘要：
一.MCP是什么 （Model Context Protocol） 相当于AI领域的接口协议 是一套在规范大模型语言（LLM）与外部工具、数据源、服务之间交互的开放标准。 MCP 采用的是客户端-主机-服务器模式（client-host-server）架构，包含三种核心组件： Resources(资
阅读全文
posted @ 2026-06-18 03:22
溯衍
阅读(14)
推荐(0)
2026年6月17日
摘要：
一.在 Java 并发编程中，ThreadLocal 经常被用来实现线程级别的变量隔离。但是，在使用线程池（ThreadPool）的场景下使用 ThreadLocal 极易引发内存泄漏或业务逻辑错乱（如数据串用）。 请问： 从 JVM 内存模型和源码层面解释，为什么在线程池中使用 ThreadLoc
阅读全文
posted @ 2026-06-17 08:29
溯衍
阅读(19)
推荐(0)
2026年6月16日
摘要：
分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同分布式系统的不同节点之上。其核心目标是保障跨多个资源或服务节点操作的ACID属性（原子性、一致性、隔离性、持久性），确保这些分布在不同节点上的小操作要么全部成功，要么全部失败。 理论基础 在分布式场景下，由于网络分区、
阅读全文
posted @ 2026-06-16 23:53
溯衍
阅读(15)
推荐(0)
摘要：
在当前的 AI 浪潮下，我们正处于从单纯的 AI Coding（辅助写代码）向 AI Delivery（全链路交付）转型的关键时期。这不仅仅是工具的升级，更是研发范式、协作模式乃至架构设计的深刻变革。本文基于近期的探索与实践，梳理了我们在 AI 工程化落地过程中的核心思考与技术痛点。 一、 现状与挑
阅读全文
posted @ 2026-06-16 21:33
溯衍
阅读(29)
推荐(0)
摘要：
今天的第一个话题，在AI的大背景下如何保证快速成为 "超级兵种"--也就是能够前端用AI编写后端代码、后端可以用AI编写前端代码、运维可以用AI编写后端代码等等各种兵种的融合。 这里我先发问，如何能让各兵种互相看得懂？ 比如，啊 我有个需求给到数据研发，但是我不知道如何描述啊，我想让这个数据给我分析
阅读全文
posted @ 2026-06-16 12:48
溯衍
阅读(17)
推荐(0)
摘要：
时隔这么多年，已集合软件工程之大成（也有很多未涉及的），我们重新回归Spark 这次我们研究Spark AI技术。 那么什么AI？（千问给的答案） 人工智能（Artificial Intelligence，简称AI）并非单一的技术，而是一门通过计算机模拟、延伸和拓展人类智能的综合性技术体系16。它融
阅读全文
posted @ 2026-06-16 10:18
溯衍
阅读(38)
推荐(0)
2018年6月25日
摘要：
前言 就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据，成为了行业的数据研发专家。当然还有很多小伙伴，热衷于工具系统开发，成为了数据技术专家。那么我们回过头来考虑，什么是大数据，什么又是数据仓库，什么又是数据技术。大数据其实是个非常笼
阅读全文
posted @ 2018-06-25 23:52
溯衍
阅读(10023)
推荐(0)
2018年2月24日
摘要：
从上一篇对Hive metastore表结构的简要分析中，我再根据数据设计的实体对象，再进行整个代码结构的总结。那么我们先打开metadata的目录，其目录结构： 可以看到，整个hivemeta的目录包含metastore(客户端与服务端调用逻辑）、events（事件目录包含table生命周期中的检
阅读全文
posted @ 2018-02-24 17:06
溯衍
阅读(5927)
推荐(1)
2018年2月19日
摘要：
今天总结下，Hive metastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录。为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数
阅读全文
posted @ 2018-02-19 18:47
溯衍
阅读(5867)
推荐(1)
摘要：
硬盘的物理组成：由许许多多的圆形硬盘盘所组成。宜居硬盘盘能够容纳的数据量，而有所谓的单碟或者多碟。 首先，硬盘里一定会有所谓的磁头（Head）在进行该硬盘上面的读写动作，而磁头是固定在机械手臂上的，机械手臂上有多个磁头可以进行读取的动作。而当磁头固定不动，硬盘转一圈所画出来的圆就是所谓的磁道(Tra
阅读全文
posted @ 2018-02-19 12:09
溯衍
阅读(397)
推荐(0)
2018年2月18日
摘要：
最近在看鸟哥的Linux私房菜，我觉得这本书还是很不错的。这里进行相关的总结。 1、Linux目录权限概念 Linux一般讲目录可存取的方式分为三个类别，分别是owner/group/other,且各有read/write/excute等权限。在Linux系统当中，预设的情况下，所有的系统上的账号与
阅读全文
posted @ 2018-02-18 18:44
溯衍
阅读(579)
推荐(0)
2017年12月18日
摘要：
有人会问，为啥要用这个叫啥Kudu的，Kudu是啥？ 就像官网所说，Kudu是一个针对Apache hadoop 平台而开发的列式存储管理器,在本菜鸟看来，它是一种介于hdfs与hbase的一种存储。它的优势在于: 1、OLAP工作的快速处理，也就是针对于查询，很快，很牛逼。 2、针对同时运行顺序和
阅读全文
posted @ 2017-12-18 21:12
溯衍
阅读(3961)
推荐(1)
2017年9月11日
摘要：
上次写了hive metastore的partition的生命周期，但是简略概括了下alter_partition的操作，这里补一下alter_partition,因为随着项目的深入，发现它涉及的地方较多，比如insert into 时如果路径存在情况下会调用alter_partition,调用in
阅读全文
posted @ 2017-09-11 01:36
溯衍
阅读(1314)
推荐(0)
2017年8月30日
摘要：
最近随着项目的深入，发现hive meta有些弊端，就是你会发现它的元数据操作与操作物理集群的代码耦合在一起，非常不利于扩展。比如：在create_table的时候同时进行路径校验及创建，如下代码： 所以这是meta无法统一所有元数据的原因么。。其实hive metastore的代码从大的来看，就好
阅读全文
posted @ 2017-08-30 03:09
溯衍
阅读(4254)
推荐(1)
2017年8月17日
摘要：
不要问我为什么，因为爱，哈哈哈哈。。。进入正题，最近做项目顺带学习了下hive metastore的源码，进行下知识总结。 hive metastore的整体架构如图： 一、组成结构： 如图我们可以看到，hive metastore的组成结构分为 客户端 服务端 ，那么下来我们逐一进行分析： 1、客
阅读全文
posted @ 2017-08-17 02:34
溯衍
阅读(3846)
推荐(1)
浙公网安备 33010602011771号