2026年6月25日
摘要：
1、数学的基础理论有哪些？ 数学的基础理论主要指为整个数学体系提供逻辑根基、语言规范和推理框架的学科分支。它们不仅定义了“什么是数学”，还确立了数学命题的真伪标准。以下是数学基础理论的核心组成部分： 1. 数理逻辑（Mathematical Logic） 数理逻辑是数学基础的核心工具，它用严格的符号
阅读全文
posted @ 2026-06-25 01:16
溯衍
阅读(87)
推荐(0)
2026年6月24日
摘要：
1、P=NP 未被证实，需要我深入挖掘！！！！！！！！ 1. 哥德尔句（Gödel Sentence）：自指的逻辑黑洞 这是哥德尔在1931年为了证明不完备性定理，亲手构造出来的第一个“不可判定命题”。 它说了什么？ 用通俗的话翻译，这个命题 �G 表达的意思是：“命题 �G 在本系统内不可被证明。
阅读全文
posted @ 2026-06-24 10:41
溯衍
阅读(68)
推荐(0)
摘要：
1、计算机基础理论有哪些 计算机基础理论是支撑整个计算机科学大厦的基石。它们不仅定义了计算机“能做什么”和“不能做什么”，还决定了计算机“做得有多快”以及“如何高效地做”。 计算机基础理论通常可以划分为以下几个核心领域： 1. 计算理论与可计算性（Computability Theory） 这是计算
阅读全文
posted @ 2026-06-24 10:40
溯衍
阅读(73)
推荐(0)
2026年6月23日
摘要：
我的灵魂问题 1.AI大模型（LLM）？ 大语言模型（Large Language Model，简称 LLM）是一种基于深度学习的人工智能系统，旨在理解、生成和处理人类语言。它们通常基于 Transformer 架构，通过在海量文本数据（如互联网、书籍、文章、代码库等）上进行训练，学习语言中的复杂模
阅读全文
posted @ 2026-06-23 11:44
溯衍
阅读(61)
推荐(0)
摘要：
AI Coding（AI辅助编程）的实现并非单一技术的产物，而是大语言模型（LLM）、软件工程与自动化流程深度融合的系统工程。从底层原理到工程落地，其实现主要包含以下几个核心维度： 1. 底层核心技术：AI如何“理解”与“生成”代码 AI Coding 的基础是建立在海量代码语料上预训练的大语言模型
阅读全文
posted @ 2026-06-23 00:32
溯衍
阅读(61)
推荐(0)
2026年6月21日
摘要：
我想把天才的概念改一下。 所谓天才，是付出了百分之99的努力后，这里的百分之99的努力，指的是忽略一切极致的专注的积累（稻盛和夫），随之突然的百分之1的灵感。 那么大家别想着投机，踏实肯干（要有自信）!
阅读全文
posted @ 2026-06-21 20:20
溯衍
阅读(12)
推荐(0)
2026年6月18日
摘要：
1. CAP 三要素解析 一致性（Consistency）：强调数据的正确性。指分布式系统中的所有数据副本，在同一时刻是否保持相同的值。即无论客户端访问哪个节点，读到的都必须是最新写入的数据13。 可用性（Availability）：强调服务的连续性。指系统中任何非故障节点，在合理的时间内都能对客户
阅读全文
posted @ 2026-06-18 03:59
溯衍
阅读(37)
推荐(0)
摘要：
设计模式之所以能解决软件开发中的复杂问题，是因为它们背后遵循了一套核心的面向对象设计原则。这些原则通常被总结为 SOLID 原则，加上其他几个经典原则，构成了软件设计的基石。 以下是设计模式背后的核心设计原则详解： 一、 SOLID 原则（核心五大原则） 这是由 Robert C. Martin (
阅读全文
posted @ 2026-06-18 03:45
溯衍
阅读(40)
推荐(0)
摘要：
“Spark”在不同技术领域有不同的指代。根据您的需求，这里为您分别梳理大数据计算引擎（Apache Spark）与3D渲染引擎（World Labs Spark）最新版本与2.0版本的区别： 1. 大数据计算引擎：Apache Spark Apache Spark 的最新版本为 4.0，相较于 S
阅读全文
posted @ 2026-06-18 03:44
溯衍
阅读(29)
推荐(0)
摘要：
红黑树（Red-Black Tree） 是一种自平衡的二叉查找树。它在每个节点上增加了一个颜色属性（红色或黑色），通过严格的颜色约束规则来保证树的大致平衡。 红黑树的核心设计哲学是“弱平衡”：它不追求像 AVL 树那样绝对的高度平衡，而是通过限制最长路径不超过最短路径的 2 倍，大幅减少了插入和删除
阅读全文
posted @ 2026-06-18 03:42
溯衍
阅读(81)
推荐(0)
摘要：
B+树（B+ Tree） 是一种多路平衡搜索树，也是 B树（B-Tree）的变体。它最大的特点是所有数据都存储在叶子节点，非叶子节点仅用于索引。这种结构使其在数据库和文件系统等需要大量磁盘 I/O 的场景中表现极其优异，是 MySQL InnoDB 等主流关系型数据库的默认索引结构。 核心特性 数据
阅读全文
posted @ 2026-06-18 03:41
溯衍
阅读(73)
推荐(0)
摘要：
一.在千万级订单表中，需要查询“连续 3 天每天都有下单，且这 3 天内总下单金额大于 1000 元”的用户。请写出你的 SQL，并详细说明在数据量激增时，如何避免全表扫描和 filesort，以及如果该查询导致主从延迟，你的排查和优化思路是什么？ 回表：由于二级索引只存储了索引字段的值和对应的主键
阅读全文
posted @ 2026-06-18 03:31
溯衍
阅读(16)
推荐(0)
摘要：
一.MCP是什么 （Model Context Protocol） 相当于AI领域的接口协议 是一套在规范大模型语言（LLM）与外部工具、数据源、服务之间交互的开放标准。 MCP 采用的是客户端-主机-服务器模式（client-host-server）架构，包含三种核心组件： Resources(资
阅读全文
posted @ 2026-06-18 03:22
溯衍
阅读(23)
推荐(0)
2026年6月17日
摘要：
一.在 Java 并发编程中，ThreadLocal 经常被用来实现线程级别的变量隔离。但是，在使用线程池（ThreadPool）的场景下使用 ThreadLocal 极易引发内存泄漏或业务逻辑错乱（如数据串用）。 请问： 从 JVM 内存模型和源码层面解释，为什么在线程池中使用 ThreadLoc
阅读全文
posted @ 2026-06-17 08:29
溯衍
阅读(34)
推荐(0)
2026年6月16日
摘要：
分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同分布式系统的不同节点之上。其核心目标是保障跨多个资源或服务节点操作的ACID属性（原子性、一致性、隔离性、持久性），确保这些分布在不同节点上的小操作要么全部成功，要么全部失败。 理论基础 在分布式场景下，由于网络分区、
阅读全文
posted @ 2026-06-16 23:53
溯衍
阅读(29)
推荐(0)
摘要：
在当前的 AI 浪潮下，我们正处于从单纯的 AI Coding（辅助写代码）向 AI Delivery（全链路交付）转型的关键时期。这不仅仅是工具的升级，更是研发范式、协作模式乃至架构设计的深刻变革。本文基于近期的探索与实践，梳理了我们在 AI 工程化落地过程中的核心思考与技术痛点。 一、 现状与挑
阅读全文
posted @ 2026-06-16 21:33
溯衍
阅读(47)
推荐(0)
摘要：
今天的第一个话题，在AI的大背景下如何保证快速成为 "超级兵种"--也就是能够前端用AI编写后端代码、后端可以用AI编写前端代码、运维可以用AI编写后端代码等等各种兵种的融合。 这里我先发问，如何能让各兵种互相看得懂？ 比如，啊 我有个需求给到数据研发，但是我不知道如何描述啊，我想让这个数据给我分析
阅读全文
posted @ 2026-06-16 12:48
溯衍
阅读(24)
推荐(0)
摘要：
时隔这么多年，已集合软件工程之大成（也有很多未涉及的），我们重新回归Spark 这次我们研究Spark AI技术。 那么什么AI？（千问给的答案） 人工智能（Artificial Intelligence，简称AI）并非单一的技术，而是一门通过计算机模拟、延伸和拓展人类智能的综合性技术体系16。它融
阅读全文
posted @ 2026-06-16 10:18
溯衍
阅读(45)
推荐(0)
2018年6月25日
摘要：
前言 就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据，成为了行业的数据研发专家。当然还有很多小伙伴，热衷于工具系统开发，成为了数据技术专家。那么我们回过头来考虑，什么是大数据，什么又是数据仓库，什么又是数据技术。大数据其实是个非常笼
阅读全文
posted @ 2018-06-25 23:52
溯衍
阅读(10037)
推荐(0)
2018年2月24日
摘要：
从上一篇对Hive metastore表结构的简要分析中，我再根据数据设计的实体对象，再进行整个代码结构的总结。那么我们先打开metadata的目录，其目录结构： 可以看到，整个hivemeta的目录包含metastore(客户端与服务端调用逻辑）、events（事件目录包含table生命周期中的检
阅读全文
posted @ 2018-02-24 17:06
溯衍
阅读(5947)
推荐(1)
2018年2月19日
摘要：
今天总结下，Hive metastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录。为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数
阅读全文
posted @ 2018-02-19 18:47
溯衍
阅读(5887)
推荐(1)
摘要：
硬盘的物理组成：由许许多多的圆形硬盘盘所组成。宜居硬盘盘能够容纳的数据量，而有所谓的单碟或者多碟。 首先，硬盘里一定会有所谓的磁头（Head）在进行该硬盘上面的读写动作，而磁头是固定在机械手臂上的，机械手臂上有多个磁头可以进行读取的动作。而当磁头固定不动，硬盘转一圈所画出来的圆就是所谓的磁道(Tra
阅读全文
posted @ 2018-02-19 12:09
溯衍
阅读(412)
推荐(0)
2018年2月18日
摘要：
最近在看鸟哥的Linux私房菜，我觉得这本书还是很不错的。这里进行相关的总结。 1、Linux目录权限概念 Linux一般讲目录可存取的方式分为三个类别，分别是owner/group/other,且各有read/write/excute等权限。在Linux系统当中，预设的情况下，所有的系统上的账号与
阅读全文
posted @ 2018-02-18 18:44
溯衍
阅读(588)
推荐(0)
2017年12月18日
摘要：
有人会问，为啥要用这个叫啥Kudu的，Kudu是啥？ 就像官网所说，Kudu是一个针对Apache hadoop 平台而开发的列式存储管理器,在本菜鸟看来，它是一种介于hdfs与hbase的一种存储。它的优势在于: 1、OLAP工作的快速处理，也就是针对于查询，很快，很牛逼。 2、针对同时运行顺序和
阅读全文
posted @ 2017-12-18 21:12
溯衍
阅读(3983)
推荐(1)
2017年9月11日
摘要：
上次写了hive metastore的partition的生命周期，但是简略概括了下alter_partition的操作，这里补一下alter_partition,因为随着项目的深入，发现它涉及的地方较多，比如insert into 时如果路径存在情况下会调用alter_partition,调用in
阅读全文
posted @ 2017-09-11 01:36
溯衍
阅读(1320)
推荐(0)
2017年8月30日
摘要：
最近随着项目的深入，发现hive meta有些弊端，就是你会发现它的元数据操作与操作物理集群的代码耦合在一起，非常不利于扩展。比如：在create_table的时候同时进行路径校验及创建，如下代码： 所以这是meta无法统一所有元数据的原因么。。其实hive metastore的代码从大的来看，就好
阅读全文
posted @ 2017-08-30 03:09
溯衍
阅读(4273)
推荐(1)
2017年8月17日
摘要：
不要问我为什么，因为爱，哈哈哈哈。。。进入正题，最近做项目顺带学习了下hive metastore的源码，进行下知识总结。 hive metastore的整体架构如图： 一、组成结构： 如图我们可以看到，hive metastore的组成结构分为 客户端 服务端 ，那么下来我们逐一进行分析： 1、客
阅读全文
posted @ 2017-08-17 02:34
溯衍
阅读(3862)
推荐(1)
2017年7月3日
摘要：
Hadoop的HDFS可以分为NameNode与DataNode,NameNode存储所有DataNode中数据的元数据信息。而DataNode负责存储真正的数据（数据块）信息以及数据块的ID。 NameNode上并不永久保存哪个DataNode上有哪些数据块的信息，而是通过DataNode启动时的
阅读全文
posted @ 2017-07-03 21:40
溯衍
阅读(536)
推荐(0)
2017年7月2日
摘要：
最近突然觉得， 很多掌握的都还是很浅的原理，需要更深入细粒度去了解整个分布式系统的运转机制。于是。。开始作死而又作死而又作死的源码之旅。 Hadoop包的功能总共有下列几类： tool:提供一些命令行工具，如DistCp,archive mapreduce，:Hadoop的Map/Reduce实现
阅读全文
posted @ 2017-07-02 15:05
溯衍
阅读(512)
推荐(0)
2017年4月30日
摘要：
最近做一个oracle项目迁移工作，跟着spark架构师学着做，进行一些方法的总结。 1、首先，创建SparkSession对象（老版本为sparkContext） val session = SparkSession.builder().appName("app1").getOrCreate()
阅读全文
posted @ 2017-04-30 16:12
溯衍
阅读(844)
推荐(0)
2017年3月19日
摘要：
1、数据查询 //提高聚合的性能 SET hive.map.aggr=true; SELECT count(*),avg(salary) FROM employees; //木匾不允许在一个查询语句中使用多于一个的函数（DISTINCT。。。）表达式 SELECT count(DISTINCT sy
阅读全文
posted @ 2017-03-19 16:19
溯衍
阅读(600)
推荐(0)
摘要：
1、创建表 create table if not exists mydb.employees{ name String COMMENT 'Employee name', salary FLOAT COMMENT 'Empolyee salary', subordinates APPAY<STRIN
阅读全文
posted @ 2017-03-19 12:00
溯衍
阅读(513)
推荐(0)
2017年3月6日
摘要：
应用于：对于不同用户创建的表目录，进行文件的下载，程序中执行hadoop cat命令 下载文件到本地，随后通过ftp传至目标服务器，并将hdfs文件目录的修改时间存入mysql中。每次修改前将mysql中记录的数据，与本批次下载的HDFS文件路径修改时间对比，如果改变，则决定是否下载文件： 入口：
阅读全文
posted @ 2017-03-06 16:32
溯衍
阅读(572)
推荐(0)
2017年2月12日
摘要：
帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。
阅读全文
posted @ 2017-02-12 03:38
溯衍
阅读(702)
推荐(0)
2016年12月29日
摘要：
之前查阅源码啊，性能测试啊调优啊。。基本告一段落，项目也接近尾声，那么整理下spark所有配置参数与优化策略，方便以后开发与配置： Spark安装配置与代码框架 spark-default.conf 配置 spark.executor.instance 参数，向Yarn申请创建的资源池实例数 spa
阅读全文
posted @ 2016-12-29 11:26
溯衍
阅读(3086)
推荐(0)
2016年12月11日
摘要：
到年底了，想着总结下所有知识点好了~今年应用的知识点还是很多的~ Hadoop生态圈： 1、文件存储当然是选择Hadoop的分布式文件系统HDFS，当然因为硬件的告诉发展，已经出现了内存分布式系统Tachyon，不论是Hadoop的MapReduce,Spark的内存计算、hive的MapReudu
阅读全文
posted @ 2016-12-11 15:54
溯衍
阅读(3946)
推荐(0)
2016年12月10日
摘要：
要完整去学习spark源码是一件非常不容易的事情，但是咱可以积少成多嘛~那么，Spark Streaming是怎么搞的呢？ 本质上，SparkStreaming接收实时输入数据流并将它们按批次划分，然后交给Spark引擎处理生成按照批次划分的结果流： SparkStreaming提供了表示连续数据流
阅读全文
posted @ 2016-12-10 16:45
溯衍
阅读(953)
推荐(0)
2016年12月9日
摘要：
假设客户端分别发送了两个数据包D1和D2给服务器，由于服务器端一次读取到的字节数是不确定的，所以可能发生四种情况： 1、服务端分两次读取到了两个独立的数据包，分别是D1和D2，没有粘包和拆包。 2、服务端一次接收到了两个数据包，D1和D2粘合在一起，被称为TCP粘包。 3、服务端分两次读取到了两个数
阅读全文
posted @ 2016-12-09 00:54
溯衍
阅读(645)
推荐(0)
2016年12月8日
摘要：
spark呢，对Netty API又做了一层封装，那么Netty是什么呢~是个鬼。它基于NIO的服务端客户端框架，具体不再说了，下面开始。 创建了一个线程工厂，生成的线程都给定一个前缀名。 像一般的netty框架一样，创建Netty的EventLoopGroup: 在常用的netty框架中呢，会创建
阅读全文
posted @ 2016-12-08 23:42
溯衍
阅读(3110)
推荐(0)
2016年12月6日
摘要：
首先，整理NIO进行服务端开发的步骤： （1）创建ServerSocketChannel,配置它为非阻塞模式。 （2）绑定监听，配置TCP参数，backlog的大小。 （3）创建一个独立的I/O线程，用于轮询多路复用器Selector。 （4）创建Selector,将之前创建的ServerSocke
阅读全文
posted @ 2016-12-06 23:42
溯衍
阅读(2215)
推荐(0)
浙公网安备 33010602011771号