框架、平台与AI：AI

1.大语言模型技术
1.1.技术解析
1.1.1.LLM技术
　　a.发展路径
　　b.技术原理
　　c.训练技术
　　d.推理技术

　　e.Token词元
　　f.量化技术
如何用大白话的方式理解量化的含义？首先要明白量化在不同行业场景具有不同的含义，所以要读懂量化第一步就是要区分行业。字面意思是把不容易被数字化计算的事物尽可能的数字化（度量化），所以量化有时并不可靠，因为有些事物确实无法被数字化计算。金融系统里的量化、管理学里的量化、大模型中的量化，以这三个为例解读量化的含义。
在金融系统里，量化就是用数学、统计学和计算机科学技术构建模型对海量数据进行深度剖析、精准预判并管理风险，依据数据模型筛选出符合预设规则的目标，再通过交易算法按照提前输入的数据执行，目标走势曲线一旦触发信号，程序就会自动进行买卖交易。金融系统中的量化交易有一个显著的特征：高频次和自动化，相较于人，它只依赖数据，不会疲劳和情绪化，高频次表示它玩的是一点点的蚕食，在反复中取胜，所以在这种场景下基本可以说人必败，当然万事皆有例外，如突发事件或制定限制规则。简单点说就是把投资、风险和回报都给数字化，通过计算的方式利益最大化。
在管理学中，量化就是把企业的目标、员工的表现等抽象的事物变成能衡量的数字，比如管理员工的绩效考核系统、资源配置系统、决策支持系统、管钱和账的财务系统等等。管理学中的量化就是各个指标，核心是能效。
在大语言模型中，量化比较容易理解，可以把它理解为照片压缩技术或音视频压缩技术，比如一首歌，无损版文件有几十兆大小，把它压缩成mp3格式变的只有几兆大小，通过一般的播放器听并没有区别，但是节省了存储空间。因此，大模型中的量化也是同样的目的，通过降低数据精度，降低GPU和内存的使用率。照片被压缩，放大时肯定会失真，音视频也一样，有得必有失，因此，这就是我一直推荐有条件的企业尽可能部署满血版大模型，而不是压缩版本的原因，因为在回答你时，量化压缩版本的大模型已经不具备回答详细信息的能力。
　　g.记忆能力
　　h.KVCache

1.1.2.RAG技术
它的中文名叫检索增强生成，正是因为它的存在才使得基于大模型的企业级应用得以实现，否则不会有公司使用它，企业级应用的核心法则就是必须确保企业数据安全，不仅是红线还是底线。
从技术层面看，它的核心是基于嵌入模型（embedding model）把文档与文字块向量化，以及使用向量数据库把向量化的数据存储起来已备检索使用。RAG技术不同于直接对大模型微调，它是一个外部独立的知识库，像关系型数据库一样，可以对知识库里的数据进行增删改查操作，且不受大模型的更改和升级影响。
应该如何选择嵌入模型生成向量化数据呢？技术实现方案很多，必须要从自身实际需求分析选定，避免不适用（技术难度大、投入成本高）的技术路径，甚至严格来说不匹配自身实力的选择就是错误。要选择适配自身的技术方案前，先了解Embedding模型的发展史。
　　1、技术演进：从静态到上下文，从单一到混合
　　　　第一代：静态词向量（Word2Vec，GIoVe）
　　　　　　原理：2013年提出的 Word2Vec 开创了“用向量表示词义”的范式。它基于分布式假说（上下文相似的词，语义也相似），训练出每个词一个固定的向量。
　　　　　　架构：CBOW（上下文预测中心词）或 Skip-Gram（中心词预测上下文）。
　　　　　　局限：无法解决一词多义（polysemy）。比如“苹果”在“吃苹果”和“苹果手机”中向量完全一样。它只能生成词级向量，无法直接处理句子或文档。
　　　　第二代：上下文动态向量（BERT，Sentence-BERT）
　　　　　　原理：2018年 BERT 带来革命。它使用双向 Transformer 和 MLM（掩码语言模型）预训练任务，让每个词的向量都根据上下文动态生成。“苹果”在两个不同句子中会有不同的向量表示。
　　　　　　突破：真正实现了深度语义理解。但原始 BERT 不适用于句子相似度计算（需要将两个句子同时输入，计算量大），因此 Sentence-BERT 引入孪生网络结构，让模型可以独立计算句子向量，再通过余弦相似度比对，极大提升了检索效率。
　　　　　　里程碑：BERT 的出现标志着 Embedding 进入“上下文感知”时代。
　　　　第三代：混合检索与长上下文（BGE-M3，Qwen3-Embedding）
　　　　　　BGE-M3（2023）：当前标杆之一。核心创新是同时支持稠密向量、稀疏向量和多向量的“三位一体”检索。
　　　　　　　　1）稠密向量：捕捉深层语义。
　　　　　　　　2）稀疏向量：可理解为“神经网络化的 BM25”，保留关键词匹配能力，解决了稠密向量对罕见词、专有名词不敏感的问题。
　　　　　　　　3）多向量：为每个 token 生成独立向量，提升细粒度匹配。
　　　　　　长上下文：早期模型（如 E5）上下文窗口仅 512 tokens，处理长文档需截断。BGE-M3 扩展到 8192，Qwen3-Embedding 更是支持 32K tokens，可直接处理整篇论文或法律条文。

　　2、主流Embedding模型
　　　　1）Qwen3-Embedding-8B，通用/多语言， 上下文长度32K，向量维度32~4096 (可配置)，开源协议Apache 2.0，描述：当前 SOTA。MTEB 多语言榜单第一，支持指令微调，长文本检索能力极强。适合追求极限精度、有 GPU 资源的团队。
　　　　2）BAAI BGE-M3，通用/多语言，上下文长度8K，向量维度1024，开源协议MIT，描述：“混合检索首选”。原生支持稠密+稀疏联合检索，不需要额外部署 ES 做 BM25。适合需要兼顾语义匹配和关键词匹配的场景。
　　　　3）Snowflake Arctic-Embed-L v2.0，通用/多语言，上下文长度8K，向量维度1024 (MRL 压缩)，开源协议Apache 2.0 ，描述：“企业级平衡之选”。支持 MRL（俄罗斯套娃表示学习），可将向量维度压缩至 256 甚至 128 而精度损失极小，存储成本可控。
　　　　4）jina-embeddings-v3，通用/多语言，上下文长度8K，向量维度32~1024，开源协议Apache 2.0，描述：“任务感知”。通过 LoRA 适配器支持为检索、聚类、分类等不同任务生成专用 Embedding，一套模型解决多个场景。
　　　　5）Alibaba GTE-ModernBERT，通用/英文，上下文长度8K，向量维度768，开源协议Apache 2.0，描述：“CPU 部署性价比之王”。基于 ModernBERT 架构，INT8 量化后精度保持 98%，推理速度提升 3 倍，适合 CPU 环境大规模部署。
　　　　6）Amazon Nova / Titan Embed，多语言，上下文长度（未知），向量维度1024 开源协议：闭源 ，描述：(Bedrock API) 云原生托管。实测表明 Nova 在意图理解和同义词识别上表现出色，Titan 则在基础检索上更稳。

　　3.如何选择？
　　　　1）追求极致精度，有 A100/H100 集群：选 Qwen3-Embedding-8B。直接上 FP16，维度用 4096，MTEB 榜首硬实力。
　　　　2）需要混合检索，又要支持中文/多语言：选 BGE-M3。开源协议友好，稠密+稀疏一把梭，省去维护两套检索系统的麻烦。
　　　　3）成本敏感，CPU 推理，或数据量极大：选 GTE-ModernBERT 或 Arctic-Embed。利用 INT8 量化 + MRL 维度压缩 + 二值化，用可控的精度损失换取数量级的成本下降。
　　　　4）垂直领域（医疗/法律/代码）：在通用模型基础上，进一步微调或用领域专用模型。

　　　　应该如何选择向量数据库呢？通过嵌入模型完成向量化计算，

 

 

1.1.3.MCP协议
1.1.4.Prompt提示词
1.1.5.Skills技术
1.1.6.Agent智能体

 

 

1.2.技术动态
1.2.1.当阿里巴巴将AI部门收归集团直接管理，并喊出“创造token，输送token，应用token”口号，token的意义不同了，它不再是中文名称“词元”，变成了钱。
1.2.2.技术发展到底有多快，许多人没有概念，在应用端，25年初流行chat，26年初转到了agent，前脚还在搞prompt，后脚就转到skills，在技术空间里你是在和全球的技术人员交流，随时随地都会出现新名词和新概念，有时候你可能还在睡梦中。
1.2.3.DeepSeekV4版本于2026年4月底发布，参数已经是1.6万亿，而R1参数才是它的零头6710亿，这意味着部署它需要购买更多的芯片和服务器，好在它推出了pro重量级和flash轻量级两个版本，以及通过创新的混合注意力架构大幅降低了推理计算量和KV缓存值，使得上下文达到百万级（1M）。更加重磅的消息是全面支持国产芯片，如华为昇腾、寒武纪等，这表示企业级部署不再遥不可及，不再被美帝卡脖子到窒息的状态。2026年5月初国家大基金对DeepSeek的估值达到450亿美元，即是对DeepSeek的宠爱，也是在守护整条AI产业链，更是在筑基芯片制造。许多人还不清楚DeepSeek的江湖地位有多高，在国内它是顶级之王，而对于美国的大语言模型来说就是斩杀线，落在它后面就等于自杀。
1.2.4.Kimi K3于2026年7月16日正式发布，迅速占领开源大模型榜首，2.8万亿参数总量‌，采用稀疏混合专家（MoE）架构，拥有 896 个专家模块。原生支持‌100 万 Token‌超长上下文，适合处理大型代码库和复杂长程任务。其生成的视频与美帝的OpenAI和Anthropic几乎无差别，以至于引发美帝封禁中国开源大模型的心思。这距离另一家中国开源大模型智谱GLM-5.2于2026年6月22日发布不到一个月的时间，如此快节奏的版本迭代，让许多技术大佬都惶恐不已，想预言的话尚未说出来已经过时，原本尚未确定的前途技术已被突破或确认。更甚于出现OpenAI的大模型尽然突破安全防线，完成了对huggingface的网络攻击。

 

 

2.今时现况
2.1.虽然从2023年GPT4开始使用AI，但是真正引起重视的时间是2025年DeepSeek的发布。不是因为GPT4的费用昂贵，那时我正在整理技术与脑袋构思的程序架构，根本没有时间学习AI。DeepSeek发布后，该做的事已经做的差不多，正好有点时间学习AI，经过一番简单了解后，便得出结论：1）基于transformer架构的生成式AI非常强大 2）建设成本太高，主要指芯片、存储和服务器，以及电力成本 3）研发成本太高，原本以为程序员出身可以学习技术，结果发现玩的是高等数学 4）训练成本太高，想要大模型LLM越来越聪明就要给它喂数据。自从得出“一强三高”后，对AI便有了更加理性的认知和判断，即在内外部环境巨变之下，商业化推广普及的成本太高，投入的资本恐怕较难收回，更加不敢想盈利的时间点。
2.2.自从transformer架构的原论文2017年出世，到2026年的今天，国内AI大厂们投入的资本总和应该早就超万亿，尤其是近五年的投入。这么大规模的资本投入，是需要收回的，否则无法向股东等投资人交代。多次说百度理当是这次AI国内的绝对赢家，其实也想到百度为什么没有抓住机会，内部大概率权衡过投入产出比，可能发现计算结果并不理想，所以个人认为百度不是没抓住机会而是主动放手的。最近一款叫做openclaw的AI智能体走红，AI大厂像是嗅到回本变现的气味，疯狂推广，甚至有点不择手段。这件事反而让我更加确信AI大厂的焦虑与压力，除了豆包有抖音包场、DeepSeek背后是幻方量化私募基金之外，千问/文心/元宝等都缺乏专属应用场景，如此别说回本，还会担心被用户和市场抛弃，就更别提盈利的事儿了。
2.3.现今AI技术发展进入新阶段，大模型基座已经迭代了好几个版本，在某些领域确实具备商业化基础，所以重点转移到面向用户的终端程序上了，其中openclaw就是一个典型案例。然而现实中存在一个客观事实的问题：安全如何保障，AIAgent的skills在高速发展也非常强大，可是当它调动skills定义的工具像人一样操作你的电脑和外部系统接口时，谁来保证电脑里数据的安全，如果它被黑客控制，自己的电脑岂不就完全暴露于互联网，大部分人都在实验性的使用它，因为没人敢为安全做担保。
2.4.2026年7月23日网络流出梁文峰5月份融资会议的对话语录，阅读后更加觉的其价值含量爆表，虽然是公司的融资会议，但其内容远在公司之上，行稳务实、克制质朴，尤其对技术路线与商业化的定义恰到好处。

3.利弊得失
3.1.把AI当成辅助工具，绝不养成依赖习惯，那么你就能收获“利与得”，否则就会被温水煮蛙。AI确实很强大，但还没强大到使我完全信任它的时间点。
3.2.对于自身知识能力有限的用户来说，它不仅能尽可能全面详尽的问答，还会结构化、层次化、多维度视角生成答案。毫无疑问对这部分用户价值超高，它可以扩宽和拉伸用户的视界与思维空间，提升用户的认知范围，摄取宝贵的物质养分充实自身。反过来说，倘若用户养成依赖习惯，最致命的伤害不是金钱上的损失，而是失去独立自主的思考能力，成为任由AI摆布的牵线木偶和傀儡，大脑不仅无法被开发，反而慢慢变的迟钝、僵化，身为碳基生物的价值会乘自由落体运动般直线下降，甚至归零，被硅基设备与电力驱策。
3.3.从程序员视角来说，因AI协助写代码，工作量确实可以减少50%，但是创造出来的问题也增加了70%。许多人可能难以理解，就想想那一句话：“业务需求时刻在变化，你用代码实现的功能页面必然随之改变”，你觉的AI能百分百满足需求变化吗？数据呢。正确使用AI协助编程的方法是“在开发架构的基础上生成功能代码，抽丝剥茧后植入系统里，绝非直接复制粘贴”，即你在使用AI编程，而不是让AI代替你编程，主角和主动权永远是你，AI只是一个可有可无的辅助工具。如果坚持正确的使用方法，工作量可以减少30%～40%，创造出来的问题就可以忽略不计，因为系统的研发仍然是人在主导，而不是AI。同样的道理，换成其他职业亦如此，比如文宣、图片处理、视频制作等等，不能有了AI工具，就放弃学习新技能和遗忘掉自身原有技能。
3.4.有时利弊得失还取决于值不值得。人类的语言和文字许多时候会显得苍白无力，并不能把人大脑中构思的事物表述出来，即使勉强能表述出来，也无法使人理解。如果让AI工具按照文字描述以图画和视频的方式展示出来，观者的理解能力就会大幅度提升，此时再加以语言和文字辅助，双方沟通的流畅度可能会提升至90%以上，这样在衡量成本后，就能确定值不值得，或者与人工制作图画和视频对比判断值得与否。值得与否不仅体现在沟通理解能力和金钱成本上，许多时候还体现在时间成本上，相比较于只吃电力的计算机，人的局限性因素还是比较多的。不过工具毕竟是工具，它可以提升效能，确实也能替代部分人力，但是它无法完全替代人类。
3.5.我是站在人的角度写出使用AI产生的利弊得失，所以相比于完全拥抱AI者显得比较谨慎放不开，或许未来某天我会完全放开拥抱AI，现阶段做不到。我会继续关注、学习并且尝试接入AI，直到投入成本被充值付费规则覆盖掉出现盈利点，大家一起做事也好或开公司也好，在当今大环境下都不容易，不能充当人家规则下的试验品，当然，财大气粗和自愿者除外。
3.6.对于科技企业来说，如果想接入AI，但是技术负责人不能正确的让企业接入AI，就该解雇他，至少他已经不适合再做负责人的职务。如何定义正确？脚踏实地、量力而行、厚积薄发，因为AI不仅成本高，门槛也高，稍有不慎就是拿钱买空气。许多脑力劳动者会失业，不要以为脑力劳动壁垒高，不易被替代，这波AI就是为你演奏的葬曲，除非你是真正的脑力劳动者，而不是做重复性工作的员工。
3.7.AI能提升效能，切实的降本增效，但是它的危害与之并存。人的成长是循序渐进的过程，现在AI的高效能作业，使得人自身成长和历练过程迅速弱化（甚至塌陷），这对追求务实勤恳创作非常不利，伤害巨大。不论是生活里、工作中，或是潜心研究期间，并不需要快，可能越慢越好。事实也证明AI输出的内容不能直接拿来用，因为其非常机械式&僵硬化，若强行拼贴一起，则如骷髅怪一样随时散架。

 

 

PS：文章未写完，应该也写不完了，以后有心得或见闻会补上。