人工智能就绪的企业架构-全-

人工智能就绪的企业架构(全)

原文:Architectures for the Intelligent AI-Ready Enterprise: Building real-world solutions with MongoDB

译者:飞龙

协议:CC BY-NC-SA 4.0

第一部分:

AI 与关键概念

以下一系列章节为构建具有生成式和代理式 AI 的智能系统奠定了概念和架构基础。它介绍了从现代化到创新的转变。它还解释了实时、基于文档的数据模型的重要性,并描述了在安全且负责任的方式下大规模实施 AI 所需的新架构思维。

本书本部分包括以下章节:

  • 第一章, AI 现代化与创新

  • 第二章, 区分生成式 AI、RAG 和代理式 AI 的特点

  • 第三章, 行动系统

  • 第四章, 可信 AI、合规性和数据治理

  • 第五章, 使用 AI 进行现代化

第一章:从人工智能现代化到创新

许多读者处于他们人工智能之旅的不同阶段,从初步探索到积极的实施规划。有些人领导着被赋予用人工智能做些什么的任务的团队。其他人则在竞争对手宣布人工智能计划的同时,想知道他们的下一步行动应该是什么。还有一些人尝试了人工智能试点项目,在演示中显示出希望,但不知何故从未进入生产。如果这些听起来很熟悉,您已经找到了正确的资源。

尽管无数出版物都在理论上探讨人工智能的承诺,但本书采取了不同的方法:它是一本由从业者从业者编写的领域指南,旨在帮助您克服无休止的测试阶段,并迈向大规模的实际人工智能应用。

在各个行业,我们从实际完成工作的团队那里汲取了来之不易的经验教训。这些不是抽象的框架或供应商的推销;它们是在企业约束、集成现实和绩效期望的烈火中锻造的行动手册。我们还超越了流行词汇。尽管我们涵盖了生成式人工智能GenAI)和人工智能代理,但我们还讨论了使这项技术真正发挥作用的数据架构、治理模型和设计模式。因为最终,人工智能转型不仅仅是采用新工具;它关乎重新思考您的系统、团队和商业战略如何相互配合。

这种实用的重点比以往任何时候都更重要。虽然人工智能革命承诺前所未有的生产力增长潜力,但现实是,大多数组织仍然陷入现代化而没有创新的循环。几乎所有公司都在投资人工智能技术,但很少有公司能够深入整合它们,以产生变革性的结果。这种差异在于他们的方法[1]。

您如何缩小这个差距?这始于区分两个经常被混淆的概念:现代化创新。在本章中,我们将解开这些定义,并说明为什么理解这些差异是战略性的。您将了解现代化如何为人工智能的成功奠定基础,创新如何扩展其范围,以及当应对快速颠覆的时刻时,两者如何变得至关重要。

在本章结束时,您将更深入地了解塑造成功人工智能采用的核心理念,包括:

  • 创新与现代化之间的基本差异,以及为什么两者在人工智能部署中都至关重要

  • 安迪·格鲁夫的战略转折点理论如何适用于今天的人工智能革命

  • 为什么现代化遗留系统和数据基础设施对于成功实施人工智能至关重要

  • 如何避免组织在追求人工智能计划时缺乏适当基础所面临的常见陷阱

  • 如何在您的 AI 战略中实施平衡创新和现代化的实用方法

理解创新:创造新价值

在你能够有效地利用人工智能进行现代化或创新之前,你需要对这些术语的实际含义有一个实际的理解,以及它们在执行和影响方面的差异。

创新的核心,是创造和实施新想法、方法、产品或服务的过程,这些新想法、方法、产品或服务增加了价值或改进了现有的产品和服务。它涉及将创意概念转化为满足现实世界需求或更有效地解决问题的实用解决方案。

创新可以采取多种形式,包括以下几种:

  • 产品创新:开发新的或显著改进的商品或服务。想想从纸质地图到 GPS 应用的转变。

  • 流程创新:引入新的产品生产或交付方式。机器人流程自动化RPA)已经革命性地改变了标准化流程和决策,导致了如保险公司的自主承保或实时索赔管理之类的创新。

  • 商业模式创新:重新定义公司创造和获取价值的方式。所有创新中最著名的一个可能是 Netflix 的多层次创新,首先是向人们家中邮寄 DVD,而不是在 Blockbuster 取 DVD,然后通过流媒体传输内容,使其比邮寄更加方便。

  • 社会创新:利用新技术来满足环境和社会的需求。人工智能正在加速环境、社会治理ESG)的进步。这包括从智能能源系统到自动化碳追踪的各个方面。在巴西等地,像 PicPay 这样的平台正在扩大对服务不足社区金融工具和社会项目的访问。

这些例子中的每一个都是从想法开始的,但只有在应用于解决大规模问题时,它们才成为创新。从这个意义上说,创新需要不仅仅是发明,还需要执行。

战略转折点:安迪·格鲁夫的理论应用于人工智能

没有几个框架能比安迪·格鲁夫在《只有偏执狂才能生存》一书中提出的战略转折点理论更好地解释今天人工智能竞赛中所涉及的风险。格鲁夫将这些时刻描述为业务(或整个行业)的基本面发生戏剧性、不可逆转变化的时期。这些转变可能由新技术、监管动荡、竞争压力或三者同时触发。

格鲁夫的核心洞察?直到你身处其中,你才看得清楚转折点。而那时,往往已经太晚去追赶。那些早期适应的公司可以领先一步。那些犹豫、抵制或坚持旧模式的公司往往无法生存。

战略转折点需要领导层做的不仅仅是优化;它们要求进行创新。格鲁夫著名地说:“只有偏执狂才能生存。”在他看来,成功需要持续的警惕、不懈地质疑假设,以及在路径被证明之前敢于对变革下注的勇气。

最著名的例子?英特尔。

在 20 世纪 80 年代,英特尔主导了内存芯片业务。但来自日本的竞争对手开始生产更快、更便宜、质量更高的替代品。格罗夫和当时的首席执行官戈登·摩尔做出了大胆的决定:他们放弃了他们的传统业务,完全转向微处理器。当时,这个市场很小且不确定。但这次赌注成功了。英特尔的芯片成为了个人电脑革命的基础,将公司转变为现代最重要的技术玩家之一。

今天,人工智能正面临一个类似的转折点。大型语言模型LLMs)、检索增强生成RAG)和代理系统的引入可能证明与人工智能时代的基础性一样,就像第一代微处理器对个人电脑时代的基础性一样。这些技术不仅仅是新功能;它们是商业运作的新基础。

与持续了几十年的微处理器革命不同,人工智能正在以前所未有的速度发展。期望的增长速度超过了基础设施的跟进速度。而且许多组织甚至还没有开始现代化其基础。

如果你感到紧迫感,你应该感到。这就是转折点的感觉。

探索人工智能转折点

认识到这一时刻是一个真正的转折点的组织可以为人工智能驱动的未来准备其基础设施和能力。除了新工具之外,成功还需要对数据、技术和业务流程如何协同工作进行根本性的重新思考。

这一转型的核心是五个关键能力:

  • 灵活、面向未来的数据基础设施:传统系统在人工智能需求面前面临着重大挑战。僵化的数据库模式和单体架构通常无法支持动态的人工智能应用。组织需要能够适应快速发展的人工智能能力而不需要完全系统翻新的基础设施。这意味着采用支持模式灵活性的平台,能够处理从结构化数据库到非结构化文档和多媒体内容的多种数据类型,并且随着人工智能工作负载的增长,能够在垂直和水平方向上进行扩展。该基础设施还必须支持实时数据处理和流式传输,因为许多人工智能应用需要立即访问最新信息。

  • 在向量嵌入和语义搜索技术方面的流畅度:这些技术构成了许多现代 AI 应用的基础。向量嵌入允许 AI 系统通过将它们转换为机器可以处理数学表示来理解和处理人类语言、图像和其他复杂数据类型。虽然许多 AI 实施可以在没有深入的技术知识的情况下成功,但追求更复杂或差异化 AI 解决方案的组织将从理解如何有效生成、存储和查询这些嵌入的团队中受益。这包括对不同嵌入模型的知识、了解何时使用预训练嵌入与自定义嵌入,以及在向量数据库和相似性搜索算法方面的专业知识。当构建能够真正理解和推理复杂、特定领域数据的 AI 应用时,这种专业知识变得特别有价值。

  • 连接人工智能和运营的架构:过于常见的情况是,人工智能项目是独立于它们旨在增强的数据源和业务系统构建的。这导致了数据孤岛、同步问题,以及使用陈旧或不完整信息的 AI 应用。成功的组织设计架构,其中 AI 能力与运营系统深度融合,允许基于当前业务数据的实时洞察和自动化决策。这种集成需要仔细考虑数据流、API 设计以及能够传播变化跨越传统和 AI 系统的基于事件的架构。

  • 在系统间维护数据一致性的策略:当 AI 应用需要在过渡期间与遗留系统协同工作时,这一点变得至关重要,尽管这仍然是 AI 实施中最具挑战性的方面之一。组织通常无法一夜之间替换掉所有系统,因此他们需要管理跨多个平台的数据同步的方法,即使可能无法实现完美的数据一致性。这包括实施变更数据捕获机制、设计数据验证流程,并建立明确的数据治理政策。该策略还必须考虑到 AI 系统可能以与传统应用不同的方式处理和转换数据,需要新的数据溯源和质量管理方法。组织应预期这将成为一个持续的挑战,而不是一个有直接解决方案的问题。

  • 负责任的 AI 的护栏:随着加快步伐的压力增加,走捷径的诱惑也在增长。但如果没有稳健的治理框架,组织可能会部署具有偏见、脆弱或不符合规定的系统。实用的 AI 治理意味着将数据隐私和安全、算法偏见和公平性、模型可解释性和透明度以及不同司法管辖区的法规合规性等政策编码化。治理框架必须是可执行的,为 AI 开发团队提供明确的指导,同时不无必要地减缓创新。做得好,治理将成为催化剂,而不是约束。

这些方法解决了人工智能拐点上的一个关键挑战:在不需要创建新的数据孤岛或过于复杂的架构的情况下,将运营数据和人工智能能力连接起来的需求。成功应对这一拐点的组织将发现自己拥有显著的竞争优势,而未能适应的组织可能会在人工智能改变其行业时被抛在后面。关键在于现在就开始构建这些能力,在竞争压力变得压倒性之前。

理解现代化:常被忽视的前提条件

除了创新的巨大影响潜力之外,转型工具箱中还有一个关键的杠杆:现代化。虽然现代化本身是一个更广泛的概念,通常用来描述物理基础设施,但技术现代化指的是升级或替换过时技术、系统或流程,以更新、更高效、更先进的技术来提高性能、生产力和竞争力。技术现代化的关键要素包括以下内容:

  • 使用自动化、人工智能、云计算或物联网IoT)等技术进行数字化

  • 数字化模拟流程,例如用数字系统替换纸质记录

  • 系统升级,例如现代化遗留 IT 基础设施或软件(通常称为重构)

  • 整合现代工具到现有工作流程中以提高效率和降低成本

  • 网络安全改进,以应对不断发展的威胁并满足行业标准

现代化的目标是增强能力降低运营风险以及在快速变化的技术环境中保持竞争力

在本书的背景下,现代化有两种不同的形式。第一种形式是通过采用先进技术来应对许多企业今天面临的最具挑战性的问题:遗留系统。在这里,“遗留系统”这个术语被广泛使用。虽然这些系统通常每三到五年进行一次物理升级(在大型机世界中这是一个非常熟悉的周期,当然也影响了 IBM 的结果),但运行在这些系统上的软件往往仍然过时。这导致公司尽管升级到了更新的硬件,却仍在运行几十年前的业务逻辑和软件。底层代码和业务流程可能和半个世纪一样古老,给现代化工作带来了重大挑战。

第二种方法,在类似这种情况下的最佳做法通常是完全从头开始构建一个全新的系统。但是,正如商业中经常发生的那样,直接的方法可能不可用,因为不接触此类系统的理由很多:隐含的商业知识、合规性要求、与现有机器的连接性,等等。

常见的现代化策略

现代化遗留应用程序并非一刀切。根据行业研究和最佳实践[2],组织可以采用几种常见的现代化策略:

  • 重构:当公司进行重构时,开发者会更新代码库,改进代码结构、性能和可维护性。这可能包括在不改变功能的情况下增强现有代码,或者从较老的语言和框架迁移到更现代的替代品。例如,用 Ruby 编写的应用程序可能被重构为 Rust,或者使用旧版 Java 和 Spring 的系统可能被重构为现代 Java 和 Quarkus。这一行动允许独立扩展、更容易维护,并访问当前的开发工具和实践。

  • 重新平台化:这涉及更新应用程序平台的部分,如底层数据库,通常还需要对代码库进行一些修改。

  • 重新托管或重新部署:有时被称为“提升和转移”,这种方法涉及将应用程序迁移到公共云、私有云、混合云或多云环境中。这是一种简单直接的方式,可以在不进行大量重工作的前提下获得云的一些好处,但它并不试图解决应用程序本身存在的问题。

  • 重构架构:这可能涉及更新代码库以利用现代架构,如容器或微服务。

  • 重建:从头开始,同时保留应用程序的范围和规格,也是一种选择,当现有应用程序过于过时或效率低下,需要进行现代化时,这种选择是有用的。

  • 替换:这涉及从完全新的代码库开始,从基本需求向上构建。而不是复制遗留应用程序,这种方法回到业务中收集当前、现代的需求,并从这里开始构建。由于自最初构建以来业务流程发生了显著变化,许多应用程序不值得现代化,因此替换往往是最合理的路径。这允许组织消除过时的功能,同时融入与当前业务需求一致的新功能。

这些策略的选择取决于几个因素,包括应用程序的当前状态、业务需求、可用资源和时间限制。组织往往发现,混合方法效果最佳,结合它们系统不同组件的多种策略。例如,他们可能会重构关键应用程序,同时重新托管不那么关键的应用程序,或者重建核心系统,同时替换过时的外围应用程序。

每种策略都涉及成本、风险和潜在收益之间的权衡。重构和重新平台化提供较低的风险但改进有限,而重建和替换提供更大的转型潜力,但需要更大的投资,并承担更高的实施风险。关键是使现代化方法与业务目标和技术约束相一致。

虽然这些策略概述了如何在应用程序层面处理现代化,但有效地执行它们通常取决于现代数据平台提供的基础。

创新与现代化交汇之地:人工智能的交汇点

这就是人工智能驱动的创新和基础设施现代化交汇的地方。在过去 20 年里,许多公司提供了详尽的现代化方法或全面实践,通常涉及对现有软件和流程的审查,最终从零开始进行事实上的重写,本质上是从头开始重建整个系统,同时称之为现代化

然而,正如我们将在第五章“利用人工智能进行现代化”中进一步讨论的那样,这些完全重写的方案存在显著的缺陷。它们缺乏驱动现有系统真正现代化的可重复性和透明度,往往成为资源密集型、一次性项目,存在失去嵌入式业务逻辑和机构知识的风险。

人工智能改变了等式。它不是默认进行全面替换,而是使更智能、更可持续的现代化成为可能,保留行之有效的东西,同时改进不适用之处。人工智能可以分析遗留代码,将其转换为更易于消化的现代格式(如不同的编程语言或范式),并促进从单体系统到现代分布式、多层架构的全面架构变化,包括基于微服务的设计。它加速了测试生成,提高了可维护性,并弥合了脆弱系统与现代工作流程之间的差距。这些策略,在第五章“使用人工智能进行现代化”中进一步探讨,使组织能够迭代地演进系统,而无需从头开始。

人工智能实施的陷阱:当创新缺乏基础

第二部分,现代化与人工智能创新相一致的部分更为微妙。业务对人工智能解决方案的强烈推动以及利用人工智能来提高业务功能可能导致快速解决方案,这些解决方案既不可持续,也不符合生产就绪的定义。

当人工智能项目无法进入生产阶段时

考虑这个现实场景。一家拥有复杂创新流程的大型跨国公司从业务领导层那里获得了在组织内部实施人工智能的命令。公司对可能性感到兴奋,启动了更广泛的评估,最终产生了 500 个独立项目,所有项目都专注于实施某种形式的人工智能能力。该组织投入了大量资源,在多个业务单元中组建了团队,并产生了对人工智能转型的巨大热情。十二个月后,当这些项目进行正式评估以准备生产部署时,没有一个项目被选中继续前进。在 500 个倡议中,没有一个项目显示出足够的企业价值、技术可靠性或运营准备性,以证明继续投资的合理性。

分析表明,解决实际业务问题与实施解决方案之间存在脱节,这些解决方案虽然从 IT 角度来看很有吸引力,但没有任何可衡量的影响。其次,每个项目都是由个人或较小的团队进行的独立研究驱动的,这忽略了关于生产部署或持续集成到工作流程中的基本讨论。最后,数据集成被忽视,因为人们使用的是不反映实时用例要求的样本数据。对这些数据集的任何更改或更新都可能导致 LLM 方面的意外结果,而不仅仅是简单的幻觉。例如,更改具有不同校准(如制造线上的软件升级)的数据集,最坏的情况可能导致无法销售的产品,甚至危险的商品。

Spotlight_Icon.png

换句话说,现代化底层数据基础设施是这些用例从实验阶段过渡到实际实施的前提。与使用相同模式数十年的传统应用相比,AI 应用需要显著不同的数据基础设施方法;它们必须处理多种数据类型,支持实时处理,并适应快速变化的企业需求和集成需求。

在这种情况下,现代化不是一个可选的、令人愉快的效果,而是 AI 功能生产实施的一个硬性前提。作为副作用,数据景观的现代化将简化与业务讨论 AI 的实际价值。

那么,在实践中,一个坚实的基础是什么样的呢?它始于设计用来平衡创新敏捷性和现代化严格性的现代数据平台。

现代数据平台:AI 就绪转型的支柱

现代数据平台不仅仅是基础设施升级;它们是使 AI 驱动型转型成为可能的基础,同时支持创新和现代化。在快速变化的时代,传统系统过于僵化,无法满足追求 AI 的企业不断变化的需求。一个现代平台通过提供创新和现代化所要求的灵活性、速度和可扩展性来弥合这一差距。

为什么现代数据平台是必要的

现代化和 AI 就绪的核心是管理和操作多样化、快速变化数据的能力。许多企业依赖于具有固定模式和单一架构的关系型数据库,这需要重大修改才能支持动态 AI 应用。现代数据平台,尤其是那些围绕基于文档或非关系型架构构建的平台,为当代工作负载提供了增强功能,包括模式灵活性、实时处理和水平扩展,这些都是 AI 应用通常需要的。

这种灵活性是一个战略性的必要性。现代业务需求通常包括实时决策、多格式数据和敏捷开发,而这些都是使用传统数据系统无法实现的。随着组织追求 AI 转型,它们创新、现代化和扩展的能力直接取决于底层数据基础设施。

通过敏捷性和速度推动创新

传统数据库迫使开发者编写任何代码之前花费数周时间来定义精确的数据结构。如果你想要添加一个新字段或更改数据连接的方式,你需要数据库管理员手动更新模式,这通常需要几天或几周的时间。现代平台让开发者可以立即使用任何有意义的结构开始编码。需要将客户偏好添加到您的保险应用中?只需开始存储这些数据即可。想要测试新的索赔工作流程?无需等待模式更改即可构建它。

这意味着一个团队可以在几天内而不是几个月内从想法到工作原型。团队可以构建、测试和迭代新的解决方案,如自主承保或实时索赔处理,而不必依赖于对僵化的数据库结构的手动更改。

此外,像 MongoDB 这样的平台可以容纳自然数据格式,如图像、文档和时间序列数据,从而支持更广泛的应用场景。例如,通过消除复杂数据转换的需求,组织可以将以前孤岛化的数据源汇集起来,更快地开发新应用,从而提高价值实现时间。

这种灵活性和速度至关重要,因为创新是一个持续的过程,需要持续的开发和迭代。随着想法的成熟,现代数据架构也随之发展,支持产品增长、功能扩展和用户驱动的反馈循环,而无需进行破坏性的迁移。

无需从头开始简化现代化

现代化努力历来困难重重,尤其是在遗留系统中包含了数十年的嵌入式业务逻辑和监管依赖时。现代数据平台通过支持增量迁移路径,降低了现代化风险和成本。

这些平台不是强制进行大爆炸式重写,而是允许混合部署,其中遗留系统和现代系统共存。无缝集成工具分析现有架构,将遗留结构映射到现代格式,并在过渡期间保持数据完整性。这些平台自动同步新旧系统;当客户在您的遗留系统中更新地址时,该变化会立即出现在您的新系统中。这意味着您可以逐步迁移客户和功能,而不是冒着整个系统关闭的风险。此外,云原生部署能力提供了按需扩展基础设施的灵活性,降低了前期成本,并允许在沙盒环境中对新架构进行实验。这使得在不失去机构知识或干扰核心运营的情况下实现现代化成为可能。

为大规模 AI 提供动力

AI 应用不仅依赖于模型;它们需要能够存储、检索和推理复杂数据的底层基础设施。现代数据库通过支持高级 AI 工作流程来满足这一需求,包括向量嵌入和语义搜索。

通过将 LLM 生成的数据向量表示与操作记录一起存储,组织可以实现诸如相似性搜索、上下文感知推荐和智能自动化等功能。集成对向量搜索的支持消除了分离管道的需求,并使操作数据与 AI 决策之间的耦合更加紧密。

此外,实时数据处理能力确保人工智能系统使用当前信息而不是静态快照。随着人工智能系统以新模型和架构每几个月出现一次的速度快速发展,现代平台提供了适应所需的敏捷性,而无需重新设计基础系统。

摘要

本章探讨了在人工智能转型背景下创新与现代化的关键区别。它考察了安迪·格鲁夫的战略拐点理论,并展示了今天的 AI 革命如何代表与 20 世纪 80 年代的计算机革命相当的一个拐点。

讨论通过警示故事和成功案例说明了为什么现代化遗留系统和数据基础设施对于成功实施人工智能至关重要。本章确立了人工智能创新需要坚实的基础。现代化解决了遗留基础设施的负担,尤其是在数据系统中。

通过理解创新与现代化的关系,并利用支持两者的现代数据平台,组织可以成功应对人工智能拐点,并创造可持续的竞争优势。

下一章将揭开人工智能领域的神秘面纱。您将了解核心技术,即语义搜索、LLMs、RAG 和代理人工智能,如何结合在一起创造商业价值。

参考文献

  1. 职场超级机构:赋能人们释放人工智能的全部潜力www.mckinsey.com/capabilities/mckinsey-digital/our-insights/superagency-in-the-workplace-empowering-people-to-unlock-ais-full-potential-at-work

  2. 为什么应用现代化对业务增长至关重要www.mongodb.com/resources/solutions/use-cases/application-modernization#common-modernization-strategies

第二章:生成式人工智能、RAG 和代理式人工智能的区别

今天的组织面临一个关键挑战:在快速变化的环境中,将真正的 AI 能力与营销炒作区分开来,同时调整未来的战略。随着新出现的 AI 术语充斥着每一个提案、演示和产品展示,即使是经验丰富的技术人员也发现自己正在参与那些技术基本差异仍然不清晰的对话。在最理想的情况下,这些差异是不清晰的;更常见的是,它们是无法理解的。无论你是评估解决方案、设计系统还是提供战略投资建议,这不仅仅关于理解流行语;这是关于做出明智的决定,这些决定定义了你的组织的竞争优势。

三个概念已经出现,成为定义现代人工智能应用的基石技术:生成式人工智能GenAI),它使系统能够从学习到的模式中创建新内容;检索增强生成RAG),它将 AI 模型连接到外部知识源以提高准确性;以及代理式人工智能,它为能够计划、推理和执行复杂工作流程的自主系统提供动力,需要最小程度的人类干预。理解这些技术如何相互关联和相互构建对于做出关于人工智能实施的战略决策至关重要。即使这些广泛接受的术语也有无数的解释,而我们并不声称提供唯一真理,我们的目标是为你提供一个坚实的基础。

本章是你进入生成式人工智能世界的入门点。如果你已经拥有丰富的 AI 架构经验,并且清楚地理解这些技术之间的区别,你可以选择继续阅读后续章节。但对于那些寻求建立坚实基础的人来说,本章将为后续内容提供必要的基石。

到本章结束时,你将清楚地理解以下内容:

  • 探索人工智能的历史演变以及生成式人工智能如何从早期方法中产生

  • 大型语言模型LLMs)的基本作用以及它们如何处理和生成信息

  • 嵌入模型如何将数据转换为向量,这是 AI 推理的基础

  • 向量数据库在存储、管理和启用高效相似性搜索中的关键作用

  • 语义搜索、RAG 和混合搜索方法之间的区别

  • 代理式人工智能与先前人工智能系统的不同之处,以及它是如何实现自主决策的

  • 人工智能代理的核心组件,包括记忆、编排、工具、模型和数据服务

  • 这些组件如何在实际应用中协同工作以解决真实业务问题

人工智能的演变:从理论到 ChatGPT

要理解今天的 AI 格局,我们需要追溯引领我们来到这里的科技旅程。这一演变跨越了几十年的研究突破,从符号逻辑和专家系统到今天驱动 LLMs 的 Transformer 架构。通过审视这一进展,我们可以更好地欣赏当前能力的出现以及为什么架构决策继续塑造今天的系统。

当我们谈论 GenAI 中的模型时,我们指的是一个经过训练以识别和复制数据中发现的模式的数学系统。我们使用“模型”这个词,因为,就像建筑或气候系统的模型一样,它是对复杂事物的简化、结构化版本;在这种情况下,是语言、图像或行为。GenAI 模型在大数据集上训练,以学习元素(如单词或像素)通常如何相互关联。一旦训练完成,它可以根据学习到的结构生成新的、类似现实的内容。它不存储确切答案;它模拟事物的工作方式,然后利用这种理解来创建新的输出。

我们将跨越三个主要转折点来追溯这一演变:AI 的早期基础、LLMs 的突破性出现以及这些发展如何最终汇聚成我们今天所知的 GenAI 系统。

简短的历史漫步

自鼠标的发明以来,人工智能可以说是 IT 社区中最受关注的技术。令人着迷的是,普遍存在的信念是人工智能一夜之间神奇般地发明出来,当 OpenAI 向公众发布 ChatGPT 时,它已经完全形成。但今天的能力并非一夜之间出现。要理解它们,我们需要在时间背景下追溯今天GenAI的演变。

1955 年,人工智能这一术语由约翰·麦卡锡及其同事提出,并于 1956 年在达特茅斯研讨会上首次使用,这是一次开创性的事件,汇集了顶尖科学家来定义和推进这一领域[1]。根据牛津词典,人工智能是:

计算机系统理论和开发,能够执行通常需要人类智能的任务,如视觉感知、语音识别、决策和语言之间的翻译[2]。

从那个起点,出现了几种不同的方法,每种方法都受到其时代计算能力和研究优先事项的影响。其中包括:符号逻辑系统、模糊逻辑(20 世纪 80 年代)、早期神经网络(20 世纪 90 年代),以及最终成为越来越实用和普遍的机器学习,它在 21 世纪初变得日益实用和广泛。

随着实验的加速,两项关键技术进步汇聚在一起,使得大规模人工智能的发展成为可能。首先,通过早期对图形处理器(GPUs)的软件接口(如 CUDA,于 2007 年发布)的支持,建立了并行计算能力,这使得程序员能够利用图形处理器的巨大并行处理能力进行通用计算任务。其次,如 Apache Spark(于 2010 年开源)这样的框架帮助克服了早期分布式计算平台(如 Hadoop MapReduce)的核心限制。

Hadoop MapReduce 是一个早期系统,用于将大型计算任务分割到多台计算机上,但由于它必须反复读取和写入数据到磁盘,因此对于机器学习来说速度很慢。Spark 通过在处理步骤之间保持数据在计算机内存中,从而革命性地改变了这一点,使得迭代算法对于机器学习来说运行速度提高了数个数量级。这些进步共同意味着研究人员最终能够高效地处理和分析大量数据集,这一突破对于训练我们今天看到的大规模人工智能模型变得至关重要。

AlphaGo 和人工智能的转折点

2016 年 3 月,另一个里程碑出现了。在韩国首尔的一张围棋盘上,DeepMind 开发的 AlphaGo 与历史上最杰出的围棋选手之一李世石对弈。随后,机器以惊人的 4-1 胜利结束,这成为了现代人工智能故事中的一个转折点。

这为什么如此重要?与棋类游戏不同,围棋长期以来一直抵制计算机的掌握。它的搜索空间非常庞大,比宇宙中的原子还要多。它需要直觉、模式识别和战略深度。几十年来,人工智能研究人员认为围棋超出了蛮力计算的范围,需要一种曾经被认为仅属于人类的推理形式。

AlphaGo 打破了这一信念。通过结合深度神经网络、强化学习和蒙特卡洛树搜索,它标志着方法上的根本转变。AlphaGo 不是仅仅依赖于预定义的规则或穷举搜索,而是学会了。首先,从人类专家的游戏中学习,然后通过与自己进行数百万次游戏来学习。这是首次公开展示大规模深度强化学习,展示了能够通过经验而不是逐行编程来改进的系统所具有的力量。

LLMs 的出现

如果 AlphaGo 标志着决策人工智能的转折点,transformers 则重新定义了机器理解语言的方式。

从 2006 年的一个提案开始,IBM 开发了 Watson,这是一个深度问答系统,它在 2011 年赢得了 Jeopardy!,这是在非结构化数据上自然语言处理(NLP)的一个重大突破[3]。Watson 结合了知识库、机器学习和复杂的问答系统,标志着人工智能在理解和处理人类语言能力方面的一个重要里程碑。

但今天的 LLM 遵循了不同的进化路径。2017 年,谷歌研究人员发表了《Attention Is All You Need》,介绍了关键的转换器架构,这对于构建现代语言模型至关重要[4]。转换器的关键创新是自注意力机制,它允许模型同时处理整个序列,并在文本中比之前的顺序方法更有效地捕捉长距离依赖关系。

转换器成为了现代 LLM 的基础,2020 年的 GPT-3 和 2022 年的 ChatGPT 等模型真正进入了主流,开启了通用人工智能(GenAI)时代

转折点

当 Watson 展示了工程化系统和精心构建的知识库以赢得胜利时,基于转换器的 LLM(大型语言模型)却采取了截然不同的路线。它们不是被编程去说什么,而是学会了去预测,通过在庞大的数据集中发现模式,生成流畅、常常类似人类的响应。在这些里程碑之间,AlphaGo 的胜利揭示了新的东西:AI 不仅能回答问题,还能适应、学习和令人惊讶。这种转变帮助铺平了今天生成式和代理式系统的道路。

这段近期历史强调了今天的 GenAI 系统不是单一突破的结果,而是数十年来渐进式创新、基础设施演变和累积研究进步的结果。虽然 AI 的更广泛历史包括进步和资金减少的时期,即所谓的AI 寒冬,但直接导致 GenAI 的轨迹在近年来急剧加速。现代数据平台在这一近期演变中至关重要,提供了存储、处理和分析训练今天最强大模型所需的庞大数据集所需的基础设施。

LLM 的发展仍在迅速演变。虽然像 OpenAI(ChatGPT)和 Anthropic 这样的早期领导者到 2025 年仍主导着市场,但新的方法正在出现。例如,DeepSeek 这样的公司正在探索分而治之的方法来降低 LLM 的复杂性和成本,而像 Zhipu 这样的公司正在开发基于路由器的架构,拥有专门的专家。尽管有这些不同的方法,但 LLM 作为知识库和推理引擎的核心概念,在可预见的未来很可能会继续成为 AI 系统的核心。

GenAI:从模式中创建新内容

LLM 是任何 GenAI 解决方案的基础。虽然通常被视为实现 GenAI 能力的主要要求,但今天的 LLM 尽管实现了显著的推理能力,仍然严重依赖于外部资源来提供有用的上下文:数据

术语提示(prompting)和提示工程(prompt engineering)经常与 LLMs 和 GenAI 一起使用。提示指的是为 LLM 构建查询,而提示工程则涉及系统地优化这些查询以获得更好的结果。早期的 LLM 交互高度强调独立的提示工程,导致了 LinkedIn 上数百万提示工程师的夜间现象。

然而,随着像 RAG 这样的高级架构模式的出现,它将 LLM 与外部知识检索系统相结合,重点转向了更全面的解决方案,这些解决方案将 LLM 嵌入到更广泛的系统中,而不是将其视为孤立工具。(我们将在本章后面详细探讨 RAG。)有效的提示现在涉及构建查询,这些查询可以最佳地利用这些模式提供的丰富上下文数据,使上下文的质量与提示本身一样重要。

更高级的提示技术,例如思维链(Chain-of-Thought,CoT)提示,为我们提供了一种帮助 AI 逐步思考的方法,类似于在数学课上展示你的工作,这进一步提高了响应的质量。通过要求它“逐步思考”,你使它更有可能进行正确的推理,尤其是在数学、逻辑或多部分任务中的更难问题。这种方法在处理复杂场景时尤其有效,这些场景可以从系统性的分解中受益;例如,在处理大型文档,如保险索赔时,你可能会首先提示 LLM 识别关键组成部分,然后系统地分析每个部分,最后综合研究结果。

与任何数据系统一样,老话“垃圾输入,垃圾输出”同样适用。在 LLM 的情况下,低质量输入可能导致幻觉(hallucinations),即生成看似合理的输出但经检查实际上是 LLM 完全虚构的回答。缓解这些问题的方法已经从简单的提示调整发展到包括更好的上下文框架、改进的数据验证和复杂的过滤机制,以防止信息漂移并确保输出可靠性。

GenAI 的工作原理

GenAI 指的是能够根据从现有数据中学习到的模式创建新内容(如文本、图像、代码或其他媒体)的 AI 系统。与遵循明确规则的传统 AI 系统不同,GenAI 从庞大的数据集中学习模式和关系,然后使用这种理解来生成新的、原创的内容,这些内容类似于训练数据。理解 LLM 的基础性质可以帮助组织评估其资源影响并有效地利用这些技术。

然而,现实是 LLMs 是黑盒和非确定性的,这意味着相同的输入并不总是产生相同的输出。关于我们仍然不完全理解 LLMs 内部工作原理的想法,有一些真实性。尽管在这方面进行了大量研究,但清楚地理解 LLM 内部实际发生的事情仍然遥不可及。AI 安全领域的领导者之一 Anthropic 撰写了一篇关于这个问题的论文,结论是:

理解模型使用的表示形式并不能告诉我们它是如何使用的;尽管我们有这些特征,我们仍然需要找到它们所涉及的电路。并且我们需要证明我们已经开始找到的与安全相关的特征实际上可以用来提高安全性。还有更多的工作要做。

认识到 LLMs 的能力和局限性,例如它们有限的范围窗口和潜在的幻觉可能性,对于设定现实期望和制定必要的保障和增强策略变得至关重要。此外,关于使用预训练模型、微调或构建自定义模型的决定,将直接影响预算、时间表和基础设施选择,这些知识对于供应商谈判和平台选择至关重要。

GenAI 的过程遵循关键顺序步骤,如图图 2.1所示。

一个灯泡和一个灯泡的图表,AI 生成的内容可能是不正确的。

图 2.1:GenAI 流程

图表描述了一个涉及五个关键阶段的过程流程。首先,组装一个巨大的训练数据集,通常大小为数十个 PB。然后,使用这些数据来训练 LLM。在训练过程中,以及随后的使用中,模型开始识别模式并在不同的数据片段之间建立联系。然后,模型被终端用户提示,并生成输出。通常,这些提示和输出将内部监控并反馈到模型中,以实现持续的改进和质量提升。

这个顺序过程展示了基本原理:GenAI 创造新颖内容的能力直接源于其对现有模式的全面理解。训练数据越多样化、质量越高,生成的输出就越复杂、越准确。这种理解对于计划实施 GenAI 的组织至关重要,因为它强调了数据质量的重要性以及实现最佳结果的迭代性质。

GenAI 的局限性和挑战

尽管 GenAI 取得了显著的进步,但它面临着一些组织必须考虑的几个重大限制:

  • 训练数据限制:LLMs 从根本上受限于其训练数据。如果数据过时、有偏见或缺乏多样性,模型的输出将反映这些缺陷,可能生成不相关信息或延续有害的刻板印象。

  • 幻觉和事实错误:模型可能会自信地生成听起来合理但实际上错误或无意义的信息,这种现象被称为“幻觉”。这使得它们在没有适当的安全措施(如 RAG)的情况下,对于需要高程度事实准确性的应用来说不可靠。

  • 可解释性不足:许多大型语言模型(LLM)复杂且具有“黑盒”性质,使得理解其内部推理变得困难。这种缺乏透明度,通常被称为可解释性或可解释性挑战,在需要理解决策背后的“为什么”的监管行业或关键应用中可能是一个重大的障碍。

  • 上下文和推理限制:模型可能在细微的理解、常识推理以及维持长时间交互的上下文中遇到困难。它们可能会误解含糊不清的查询或无法理解复杂的多步指令。

  • 伦理和社会风险:通用人工智能(GenAI)的广泛应用带来了重大的伦理挑战,包括生成虚假信息和深度伪造、加剧偏见、侵犯版权以及为恶意使用开辟新途径的可能性。

现代数据平台通过提供灵活、可扩展的基础设施来存储和处理 AI 训练和操作所需的各种数据类型,有助于解决这些挑战。基于文档的数据模型特别适合 AI 应用,因为它们可以适应不断变化的需求,并以自然形式存储异构数据类型,这是构建更可靠和有根据的 AI 系统的基本步骤。此外,访问广泛的数据源,而不是局限于传统的孤岛系统,通常需要诸如动态行动系统等概念,我们将在下一章中讨论。

从数据到向量

在引入的灵活数据存储能力的基础上,使 AI 推理成为可能的下一步是将数据转换为计算机可以处理和数学操作的格式。这就是向量概念的作用所在;它们作为通用语言,使通用人工智能能够处理任何类型的结构化或非结构化数据。想象一下向量就像地图上的坐标,但它们不仅可以用经纬度显示位置,还可以在数百或数千个维度上表示任何数据片段的意义。一个向量可能捕捉到使产品描述吸引人的因素,为什么某些客户评价相似,或者不同的文件如何相互关联。虽然文本在三维空间中的表示仍然容易理解,但电影片段在数百维空间中的表示则难以可视化,我们将这一概念留作思维练习。电影片段的一个用例可能是数字版权管理和识别相同或派生电影,这并不罕见。

关键的洞见是:在向量空间中,相似的事物最终会聚集在一起。

图 2.2

图 2.2:向量空间可视化 – 相似的概念聚集在一起

图 2.2展示了这一概念的实际应用。每个彩色点代表一个被转换为向量形式的不同数据点。注意相关概念是如何自然地聚集在一起的,与体育相关的术语聚集在一个区域,饮料形成自己的区域,而像篮球和足球这样的特定活动则靠近它们更广泛的体育类别。这不是巧合;这是数学意义上的意义表示,使得 AI 系统如此强大。

但这在商业应用中是如何体现的呢?当客户询问“支付问题”时,AI 系统可以立即定位不仅包含这些确切词语的文档,还包括关于“账单问题”、“账户费用”和“订阅费用”的相关内容,因为它们都存在于向量空间中的同一区域。

嵌入模型和“嵌入器”

但现在你可能想知道,“我如何将我的数据转换为向量?”数据通过称为嵌入模型的专用算法表示为向量。这些模型通常结合机器学习或数学函数,可以将各种数据类型转换为向量形式的数值表示,使 AI 系统能够在多个维度上理解关系和发现相似性。文本、图片、视频和声音是最常见的应用,但嵌入模型可以表示几乎任何数据类型,甚至可以表示捕捉特定状态或上下文的复杂数据组合。

执行这种数据转换的工具,通常被称为嵌入器,是真正数学运算发生的地方。并非每个数据集都是相同的,显然,视频的嵌入需求与简单的文本不同。嵌入器是向量生成的引擎,通常成为整个系统设计中最为追求的部分。客户对不同的嵌入器进行 A/B 测试(比较两种不同的方法以确定哪种表现更好)以确定最适合其特定需求的一个,这种情况并不少见(每个嵌入器都有其自己的数学基础,而那些对德国保险文件效果很好的方法可能并不适合马来西亚的医疗保健文件)。

根据团队是否来自应用开发或数据科学方面,嵌入器的看法大相径庭。应用开发者通常将它们视为将数据序列化为可用格式的基本工具,而数据科学家和 AI 专家则认为它们是决定整个 AI 解决方案成功或失败的关键组件。嵌入模型的选择可以极大地影响搜索相关性、语义理解和整体系统性能。

高性能嵌入模型的良好例子是 Voyage AI 的嵌入模型套件,这些模型专门针对检索任务进行了优化,并在不同领域和数据类型上提供最先进的性能。这些模型展示了专业嵌入器如何显著提高向量表示的质量,从而提高 AI 应用的有效性。

图 2.3:嵌入模型如何将不同的非结构化数据类型转换为向量表示

图 2.3 展示了如何将嵌入模型,例如 Voyage AI,将非结构化数据转换为向量表示以供 AI 处理。可视化显示了通过几个关键阶段的转换过程:

  1. 输入数据:各种非结构化数据类型(文本文档、图像、音频和视频)是嵌入过程的起点。

  2. 可选数据处理:根据输入数据的大小和复杂性,某些内容可能需要预处理以确保它符合嵌入模型的能力限制。这个可选步骤,称为分块,最常见于超过模型限制的大型文本文档,尽管它也可以应用于其他数据类型。我们将在本章后面详细探讨分块策略和最佳实践。

  3. 嵌入转换:嵌入模型(如 Voyage AI)将所有数据,无论是经过处理的还是直接的数据,都转换为数值向量表示,这些表示捕捉了原始内容中的语义意义和关系。

  4. 向量输出:结果是数值向量的集合,使 AI 系统能够从数学上理解和比较不同内容片段的意义。

图表说明,虽然一些数据直接流向嵌入模型,但其他内容可能需要根据大小或复杂性约束进行中间处理。所有路径最终都导向同一个结果:向量表示,它能够实现跨不同数据类型的有效搜索、检索和 AI 推理。

在此处了解更多关于 Voyage AI 嵌入模型的信息:www.voyageai.com

向量数据库及其重要性

一旦嵌入模型将您的数据转换为向量,您需要一个系统来存储、管理和高效地搜索这些向量表示,无论是通过专门的向量数据库还是具有内置向量搜索功能的数据库。内置方法的优势在于将原始数据和其向量表示保存在一个地方,从而消除了在多个数据库之间进行复杂连接的需求。

向量的存储本身可以通过简单的 JSON 格式实现,与实际的数据源保持一致。这种方法具有显著的优势:可以在数据旁边存储多个向量,并且数据集可以根据不同的目的附加不同的向量,例如客户情绪、购买行为或最佳推荐,涵盖了典型的零售用例。

工作的第二部分涉及快速搜索能力。一旦存储了数百万个向量,当你运行查询时,你需要一种快速找到最相似向量的方法。这种搜索功能实际上是向量数据库提供的核心。这里就变得有趣了:传统数据库存储和检索精确数据(如客户名称或订单金额)。但向量数据库主要是关于相似性搜索,找到与你的查询向量接近的向量(如前所述)。从这个意义上说,它们更像高级搜索引擎而不是传统数据库。当然,纯向量数据库的供应商可能会激烈地不同意这种观点,所以我们在这个上下文中保留向量数据库作为行业标准术语。

向量数据库存储组织信息,AI 系统可以查询并用作额外的上下文。你可以存储的数据越多,你能够越精确地表示它,你的信息空间就越广泛,从而解决特定的商业问题。重要的是要认识到,模型和向量可能需要根据新的研究、不断变化的需求或简单地发现所选嵌入模型对于任务不是最优的进行频繁更新。

这些专用系统是现代 AI 应用中的关键组件,有以下几个关键原因:

  • 高效的相似性搜索:在核心上,向量数据库擅长执行快速相似性搜索,通常使用近似最近邻ANN)算法,有时辅以 K-means 聚类等技术,从数十亿条记录中找到最相似的向量。这种能力对于语义搜索、推荐引擎和异常检测等应用是基本的。

  • 可扩展性:它们被构建来处理当今 AI 所需的庞大数据集,提供管理和查询数十亿向量的基础设施,而不会影响性能。

  • 多模态支持:这些数据库可以存储各种数据类型的向量表示,包括文本、图像、音频和时间序列数据,在一个统一的系统中。

  • 集成能力:向量数据库旨在无缝连接到各种 AI 框架和工具,促进它们集成到更广泛的 AI 和 MLOps 工作流程中。

为了实现这些功能,向量数据库采用了多种先进技术。其中一项关键创新是使用高级索引算法来加速相似度搜索。最突出且被广泛采用的实现之一是分层可导航小世界HNSW)算法[5]。HNSW 构建了一个分层图结构,允许高效地遍历和搜索,与暴力方法相比,显著加快了查询时间。该算法不仅性能卓越,而且具有适应性,使其成为 MongoDB 和 Pinecone 等数据库的流行选择。

在领先的向量数据库中,另一个相对较新的功能是向量量化。量化是将全保真向量压缩成更少位的过程。通过索引减少表示的向量来减少存储向量搜索索引中每个向量所需的主内存量。这允许存储更多的向量或更高维度的向量。因此,量化减少了资源消耗并提高了速度。

对于企业部署,需要考虑的额外因素变得至关重要。在受监管的行业中,嵌入模型及其生成的向量可能需要保存很长时间。组织通常需要为同一文档创建多个向量嵌入来表示不同的方面或模式。例如,一个野生动物数据库可能存储description_embedding(文本描述的向量表示)和image_embedding(动物照片的向量表示),或者使用针对各种搜索任务优化的不同嵌入模型。此外,实施生存时间TTL)索引技术,充当过期计时器并存档历史数据,对于在管理存储成本的同时保持合规性变得至关重要。TTL 功能允许组织在所需监管期间(例如,金融记录的 7 年)保留向量嵌入和相关文档,同时自动清除过时数据,以防止存储成本无限增长。

具有集成向量搜索功能的文档型数据库,如 MongoDB,提供了额外的优势。通过在单个文档中存储原始数据及其向量表示,它们通常可以完全消除在不同数据库之间进行复杂连接的需求(例如,一个用于元数据的数据库和一个专门的向量存储)。这种统一的方法简化了整体架构,减少了数据冗余,并可能导致人工智能应用的性能显著提升。

这些技术能力结合在一起,使向量数据库成为现代人工智能应用的关键基础设施。然而,在我们能够有效地利用这些系统之前,我们需要了解如何通过战略分块方法来优化我们的数据准备。

人工智能应用的分块策略

之前,我们将分块介绍为超出嵌入模型容量限制的数据的可选预处理步骤。现在,既然你已经了解了向量的工作原理以及它们存储的位置,让我们探讨如何战略性地实施分块,以最大限度地提高你人工智能应用的有效性。

分块不仅仅是将大文档拆分成更小的部分;它还关乎在保持上下文和遵守技术限制之间找到最佳平衡。不良的分块可能会破坏逻辑联系,导致无关的搜索结果和降低人工智能性能。然而,有效的分块确保每个部分都包含有意义、自包含的信息,人工智能系统可以准确地进行推理。

每种分块策略都涉及三个关键决策:

  • 分割技术:基于段落分隔、句子边界、语义内容或特定编程语言的分隔符来放置分块边界

  • 分块大小每个分块允许的最大字符数或标记数,通常受嵌入模型限制

  • 分块重叠在相邻分块之间重叠内容以保持边界处的上下文,通常指定为分块大小的百分比

让我们探讨如何战略性地使用分块来增强你的人工智能应用:

  • 固定大小分块将文档拆分成具有预定标记数的分块。虽然这种方法易于实现,但可能会在句子或概念中途断裂,可能丢失重要的上下文。

  • 固定大小带重叠在分块之间添加重叠内容以保持上下文连续性。例如,如果有 20%的重叠,每个分块都会与其邻居共享一些内容,有助于保持叙事流畅并减少边界处的信息损失。

  • 递归分块试图在自然边界处分割文本,如段落、句子,然后是单词,尽可能地将相关内容保持在一起,同时尊重大小限制。

  • 语义分块根据意义而不是大小对内容进行分组,使用嵌入相似性来识别主题变化的位置,并在这些语义边界周围创建分块。

最佳分块策略取决于你的内容类型和用例,并且在实施过程中可能会发生变化。具有清晰层次结构的技术文档受益于尊重标题和部分的递归分块。对话内容或叙事通常更适合使用保留概念流的语义分块。就像选择嵌入模型一样,我们建议在代表你数据样本的不同分块策略上测试,并评估它们对检索质量的影响。

在设计你的分块方法时,请记住影响性能、成本和准确性的关键实际因素。从你的嵌入模型的 token 限制作为一个硬约束开始,大多数模型通常在 8,000 个 token 左右。Token 是 AI 模型用于处理文本的基本单位;把它们想象成模型读取和理解的单独的词或词的一部分。由于 AI 服务通常根据 token 使用量收费,token 实际上成为了 AI 操作中的货币,类似于许多在线游戏中的硬币,你为每个想要使用的行为或功能付费。考虑你的典型查询模式:如果用户提出广泛的概念性问题,更大的、包含更多上下文的块可能表现更好。对于具体的实际查询,较小的、专注的块通常提供更精确的结果。

记住,分块决策会通过整个 AI 管道累积。良好的分块数据可以提高语义搜索的准确性,增强 RAG 响应质量,并使代理推理更加有效,所有这些内容我们将在接下来的章节中探讨。

现代文档数据库,如 MongoDB,使得实验不同的分块策略变得简单,允许你测试多种方法,并针对特定的用例进行优化,而无需复杂的架构更改。

www.mongodb.com/resources/basics/chunking-explained了解更多关于分块的信息。

语义搜索:利用向量

在确立了如何有效地分块数据以实现最大 AI 性能的方法后,我们准备通过语义搜索功能来利用这些优化的向量。为了有效地利用这些向量,我们实现了向量搜索索引,它能够实现查询与存储信息之间的语义对齐。这个过程是将查询向量与我们的向量空间中最接近的邻居匹配的过程,称为语义搜索

当你执行向量搜索时,系统会自动返回多个结果,并按相似度分数进行排序。这些分数表明每个结果在多维向量空间中与你的原始查询有多接近,最相似的结果(最高分数)会根据向量之间的数学距离计算首先出现。这些初始的相似度排名可以通过后续的重新排序技术进一步优化,我们将在后面探讨这些技术,以提高检索结果的关联性和质量。

为了说明这个概念,Lemon(柠檬)和Banana(香蕉)在向量空间中会靠得很近,因为它们具有诸如黄色和水果等属性,但与Cat(猫)和Dog(狗)则相距甚远,因为它们由于共享哺乳动物和宠物特征而聚集在一起。Monkey(猴子)可能位于这些群体之间,共享哺乳动物特征,同时也与水果消费有关联。

语义搜索代表了从传统信息检索方法到基本转变,并为人工智能应用开辟了强大的新可能性。让我们探讨这项技术在实践中的工作方式,并检查其在不同类型数据上的扩展能力。

超越关键词匹配

语义搜索本身就是一个强大的工具,它允许使用向量化和嵌入模型,而无需联系大型语言模型(LLM)。与传统基于关键词的搜索不同,语义搜索理解查询的意义和上下文,根据相关性而不是精确匹配返回结果。

这是因为(就像前面的哺乳动物和水果示例一样)嵌入模型在多维向量空间中将语义相关的概念紧密地放在一起。例如,wind turbinessolar panelshydroelectric power 都聚集在 renewable energy 附近,因为它们共享概念关系和相似的语义意义。

对于可再生能源解决方案的语义搜索可能会返回有关太阳能板、风力涡轮机和水电能的结果,即使查询中没有使用这些精确术语。这种能力对于理解意图和上下文至关重要的应用尤其有价值。

图片

图 2.4:关键词搜索与语义搜索比较

图 2.4 展示了传统关键词搜索和语义搜索方法之间的基本区别。在左侧,对 renewal energy solutions 的关键词搜索执行精确术语匹配,返回包含搜索短语全部或部分内容的内容,例如 renewable energy solutionsrenewable energyenergy solutions。在右侧,语义搜索理解查询的潜在意义和上下文,检索概念相关的结果,包括 renewable energy solutionswind turbineshydroelectric power,即使这些精确术语没有出现在文本中。

在此处了解更多关于 Atlas Vector Search 的信息:www.mongodb.com/products/platform/atlas-vector-search

语义搜索的多模态应用

语义搜索可以应用于各种数据类型,而不仅仅是文本。例如,它可以用于搜索相似图像、音频模式或视频内容。一个强大的多模态语义搜索示例是一个动作系统,它可以基于单个查询在不同的媒体类型中找到相关内容。

考虑一个零售应用程序,其中客户上传他们喜欢的产品图片。系统使用 LLM 来确定照片中的产品是什么,然后执行语义搜索以在整个目录中找到类似的产品,匹配视觉特征、风格和特性,无论产品描述是否使用相似的术语。这种能力使得搜索体验更加直观和用户友好,反映了人类对相似性的自然思考方式。

带有内置向量搜索功能的现代数据平台使实现这些高级搜索功能变得简单。通过将向量嵌入与原始数据一起存储,它们使在大数据集中进行高效的语义搜索成为可能,而不会增加技术蔓延或需要专业知识。

理解语义搜索是实现现代 AI 应用潜力的基础。通过将数据转换为向量并启用基于相似性的检索,语义搜索弥合了人类语言与机器理解之间的差距。这种能力构成了更复杂 AI 模式(如 RAG)的基础,其中语义搜索的质量直接影响 AI 生成响应的准确性和相关性。正如我们将在下一节中看到的,将语义搜索与 LLM 结合使用,可以释放出创建智能、上下文感知应用的更大潜力。

RAG:通过上下文数据增强 LLM

虽然语义搜索提供了强大的检索能力,但将其与 LLM 结合使用可以释放出更大的潜力。RAG 代表了综合,这是一种模式,其中向量搜索结果增强用户对 LLM 的查询,提供特定上下文,从而产生更准确、更接地气的响应,幻觉更少或没有。

RAG 架构使组织能够构建应用程序,将 AI 安全地建立在受信任的公司数据上,从而降低与幻觉相关的风险,确保事实准确性,并实现特定领域的解决方案。为了有效地使用 RAG,组织必须优先考虑数据策略,允许专有、最新的信息可检索。在架构上,RAG 实施的规划影响着 LLM 如何与现有数据存储集成以及强大向量数据库能力的必要性。

RAG 使用公司的专有企业、特定领域数据为提示添加上下文,例如提供客户历史记录或产品描述,从而将问题缩小到 LLM,并交付更精确、幻觉更少的答案。通过 RAG 实施提供超个性化能力代表了一个重要的竞争优势,可以为客户互动真正增加价值,并将日常在线任务提升为愉快、协作的体验。

虽然这个概念听起来很复杂,但其实现实际上非常简单,如下面的图所示。

RAG 的工作原理

图 2.5展示了全面的 RAG 实现,展示了组织如何利用其专有数据来增强 LLM 的响应。

图 2.5:基本 RAG 流程

虽然 RAG 架构的复杂性可能有所不同,从基本的三个步骤工作流程(检索、增强、生成)到更复杂的多步骤实现,此图显示了详细的八个步骤过程,提供了对 RAG 工作流程的完整可见性:

  1. 文档准备:系统收集问答所需的数据,并将大文档分割成可管理的块,以确保它们符合嵌入模型约束。

  2. 向量生成:嵌入模型如 Voyage AI 将每个文档块转换为数值向量表示,这些表示捕获语义意义。

  3. 向量存储:这些文档嵌入,即向量,存储在 MongoDB 等数据库中,然后在上面创建向量数据库搜索索引。它创建了一个可搜索的组织信息知识库。

  4. 查询处理:当用户或应用程序提出问题时,系统使用相同的嵌入模型为该查询生成嵌入,以确保兼容性。

  5. 向量搜索:使用问题嵌入在向量搜索查询中查找具有相似语义意义的文档块,从知识库中检索最相关的信息。

  6. 上下文增强:检索到的信息,无论是可靠的、最新的还是私有组织数据,都用于准备增强的提示上下文。这种上下文增强是 RAG 的核心。

  7. 增强生成:上下文化的提示被发送到一个 LLM(如 OpenAI 的 GPT-4、GCP 的 PaLM 2、Mistral 7B 或 Llama 4),它根据其预训练的知识和检索到的上下文生成响应。

  8. 优化输出:用户收到准确、上下文相关的答案,这些答案基于组织特定的数据和知识。

这种方法解决了独立 LLM 的几个局限性:

  • 减少幻觉:通过将响应建立在检索到的事实上

  • 提供最新信息:通过检索在模型训练期间不可用的当前数据

  • 实现领域专业化:通过结合特定领域的知识

  • 提高透明度:通过引用信息来源

一个典型的用例是一个聊天机器人,它通过添加额外的信息来增强正在讨论的案件信息,例如机票、实际位置和航班状态,这样 LLM 的答案对个人来说是上下文相关的,并将实际需求放在中心。

各行各业的组织正在实施 RAG 来增强它们的 AI 应用:

  • 客户支持:通过产品文档和支持历史记录来增强响应。

  • 医疗保健:为医疗专业人员提供相关研究和患者病史。

  • 金融服务:将监管信息和市场数据纳入咨询服务。

  • 制造业:将设备手册和维护记录集成到操作指南中。产品和工程文档可以变得可访问。

  • 保险:评估保险索赔文件。

  • 公共部门:提供关于公共工程项目的信息。

现代文档数据库在支持 RAG 实现方面表现出色,因为它们可以在统一模型中存储原始数据和其向量表示。这种方法简化了架构并提高了性能,因为它消除了在多个系统之间连接数据的需求。

超越 RAG:混合搜索方法

通过利用常规文本搜索作为向量搜索的信息逐字回忆,可以进一步增强 RAG。文本和向量搜索的结合称为混合搜索,仍然是 RAG 的一种风味。尽管如此,它非常强大,并允许通过添加额外的数据点来扩展对 LLM 输入的细化。

传统文本搜索和向量搜索具有互补的优势:

  • 文本搜索:擅长找到精确匹配和特定关键词

  • 向量搜索:更擅长理解意义和找到语义相似的内容

混合搜索结合这些方法以提供全面和相关的结果。例如,一个混合搜索系统可能会使用向量搜索来理解查询的语义意图,同时使用文本搜索来确保结果中存在特定术语。

图 2.6:结合文本和向量搜索的混合搜索架构

图 2.6展示了混合搜索如何通过结合文本搜索和向量搜索功能来增强 RAG。系统通过两条并行路径处理查询:向量搜索(左侧)处理语义理解并找到概念上相似的内容,而文本搜索(右侧)执行精确关键词匹配和精确术语识别。两种方法的结果通过融合算法合并,该算法通过利用语义理解和特定术语匹配的互补优势来提高准确性,在增强 LLM 提示之前。

重新排序:细化搜索结果

检索管道中的最终增强是重新排序,这是一个在将检索到的上下文提供给 LLM 之前改进检索上下文的过程。正如其名所示,重新排序根据对原始查询相关性的更深入理解重新排序搜索结果。这通常涉及四个步骤:

  1. 初始检索:收集一组可能相关的文档

  2. 上下文评估:评估每份文档与特定查询上下文的相关性

  3. 优先级:根据这种更深入的评估重新排序结果

  4. 选择:选择最相关的文档包含在 LLM 提示中

此过程显著提高了提供给 LLM 的信息质量,从而实现了更准确和有帮助的响应。具有集成搜索功能的现代数据平台使实现这些复杂的检索模式变得简单,允许开发者专注于应用程序逻辑而不是基础设施。

图片

图 2.7:混合搜索过程

图 2.7 展示了混合搜索在实际操作中的实用示例,展示了系统如何处理复杂自然语言查询:"What's the 80s rock song from a movie scene where a teen is skateboarding behind cars?" 过程展示了向量搜索捕捉查询的语义意义,而全文搜索识别了特定的关键词,例如 movieskateboardingcars。混合方法将这些互补的搜索方法连接起来,成功识别了 "The Power of Love" 从电影《回到未来》,展示了将语义理解与精确的关键词匹配相结合如何提供准确的结果,这是任何一种方法单独都无法实现的。

如图中所示,混合搜索在处理复杂、自然语言查询方面表现出色。以下步骤在此示例中发生:

  1. 向量搜索捕捉了关于 80 年代摇滚歌曲在滑板场景中的查询的语义意义。

  2. 全文搜索可以识别特定的关键词,例如 movieskateboardingcars

  3. 混合搜索结合了这些方法来连接概念点。

  4. 系统成功地将 "The Power of Love" 从电影《回到未来》中识别为答案。

此示例演示了混合搜索如何理解上下文(一个难忘的电影场景)和具体细节(汽车后面的滑板),以提供精确的结果,这是单独采用任何一种方法都无法实现的。

代理人工智能:自动化决策和推理

虽然 RAG 和混合搜索通过外部知识增强了 LLM,但它们仍然需要人类的启动和监督。下一个进化步骤消除了这一限制,创建了可以在其指定领域内自主追求目标和做出决策的系统。这就是代理人工智能的领域。

从人工引导到自主人工智能系统的转变,不仅仅代表技术进步;它还代表着我们在业务运营中如何概念化人工智能角色的根本性转变。RAG 系统在提供对特定查询的增强响应方面表现出色,而代理人工智能系统可以独立识别问题、制定策略并在扩展的工作流程中执行解决方案。协作的代理人工智能实例扩展了更广泛的功能范围,代表了数字专家的概念,就像组织内的领域专家一样运作。

代理人工智能基础

代理人工智能包含一个编排层,用于管理工作流程中的任务执行。人工智能代理可以以完全自主或半自主的方式运行,具有人机交互HITL)。人工智能代理配备了先进工具、模型、记忆和数据存储。记忆利用长期和短期上下文数据,以进行信息化的决策和保持交互的连续性。工具和模型使人工智能代理能够将任务分解成步骤并协同执行。数据存储和检索对于人工智能代理的有效性至关重要,可以通过嵌入和向量搜索能力来提升。

计算机屏幕截图,AI 生成的内容可能不正确。

图 2.8:代理人工智能基础

图 2.8展示了代理人工智能系统的基本层,展示了协调器如何管理任务执行工作流程。可视化描绘了人工智能代理、他们的工具、模型和记忆系统之间的关系,这些关系使得具有 HITL(人机交互)能力的自主或半自主操作成为可能。

这里是人工智能代理的一些关键特征:

  • 自主性:根据动态情况做出决策的能力,以及以最小的人为干预执行任务的能力。

  • 思维链:进行逐步推理的能力,将复杂问题分解成逻辑上更小的步骤,以进行更好的判断和决策。

  • 上下文感知:人工智能代理会根据环境的变化和条件不断调整其行为。

  • 学习:人工智能代理通过适应和增强其性能来提高其性能。

代理人工智能代表了向自动化复杂工作流程和决策迈出的重大飞跃,标志着我们人工智能旅程中的下一个进化步骤。组织可能开始战略规划,考虑这些自主系统如何集成到企业架构中,包括数据访问、安全协议和治理框架。人工智能代理和数字专家的开发和部署将需要新的技能集,可能在 IT 和业务运营中需要新的角色,因此对于具有前瞻性的领导者来说,现在开始评估这些需求是至关重要的。

建立在检索和生成能力之上的,是在一个封闭环境中自动化流程和推理的概念,从而产生了代理人工智能(Agentic AI)的概念。虽然基于规则引擎的决策代理已经存在很长时间,但代理人工智能的概念要精细得多。这些复杂的系统高度依赖于稳健、可访问和结构良好的数据,以及先进的编排能力。这强化了现代、灵活的数据平台的重要性,它可以作为这些代理的“记忆”和“工具访问层”。

什么是代理?

人工智能代理是一个能够感知其环境、做出决策并采取行动以实现特定目标的自主系统。与执行特定任务且独立运作的简单 AI 系统不同,代理具有一定的自主性,可以根据反馈和变化条件调整其行为。

图片

图 2.9:人工智能代理架构和核心组件

图 2.9 展示了人工智能代理系统的基本结构,展示了用户如何通过代理的核心组件分配任务并接收结果。该架构展示了这些组件如何协同工作以实现自主决策和任务执行,代理能够感知其环境,处理信息,并根据反馈和变化条件采取行动以实现特定目标。

人工智能代理的核心组件包括以下内容:

  • 指令和目标:引导所有决策过程的智能体的目的和目标

  • 记忆:短期(针对当前任务上下文)和长期(针对持久知识),这使交互之间能够保持连续性

  • 编排:确定行动和在不同组件之间协调的计划和推理能力

  • 工具:智能体可以用来与其环境交互并执行任务的特定能力

  • 模型:为智能体能力提供动力的底层 AI 模型,从语言理解到决策

  • 数据:智能体可以访问和使用的信息,存储在各种格式中,并动态更新

代理式 AI 正在应用于各个领域以自动化复杂的决策过程:金融服务部署投资组合管理代理,分析市场趋势,评估风险,并推荐投资策略。医疗保健组织使用诊断代理,回顾患者病史、症状和医学文献,以提出可能的诊断和治疗建议。制造和物流公司实施代理,根据实时条件优化路线、库存和调度。具有文档模型和向量搜索能力的现代数据平台是支持这些应用的理想选择。它们提供了灵活、可扩展的基础设施,适用于代理记忆(短期和长期)以及多样化的数据存储,同时实现了快速、上下文感知的检索,这对于有效的决策至关重要。

数字专家或多智能体系统:协作问题解决

多智能体系统代表了更高级的复杂性,其中多个 AI 代理协作解决复杂任务。每个代理在特定能力上具有专长,通过协作实现更复杂的解决问题。

图片

图 2.10:从 RAG 到多智能体系统的演变

图 2.10展示了从简单的 RAG 聊天机器人到复杂的智能体系统的演变。随着智能体成熟度的提高(x轴),组织复杂性(y轴)也随之增加,从单个 AI 助手发展到在不同领域(如生产和质量管理)工作的专业协作智能体。

在多智能体系统中,不同的智能体可以执行以下操作:

  1. 专注于不同领域:有些人可能在数据分析方面表现出色,其他人可能在自然语言理解方面,还有人在规划方面。

  2. 协作完成复杂任务:将问题分解为可管理的组件

  3. 沟通和共享信息:在智能体之间传递相关数据和见解

  4. 提供制衡:验证彼此的工作并捕捉错误

随着人工智能系统的成熟,它们对结构化和非结构化数据的利用呈指数增长。支持灵活数据模型(适应时间序列、关系和向量数据)并具备集成向量搜索能力的系统对于有效的多智能体部署变得至关重要。

智能体 AI 是如何工作的

从技术角度来看,用户与智能体系统的交互遵循熟悉的 API 模式,但下面有复杂的处理。智能体进行多阶段规划,以准确解释用户意图并使查询具体化。

这种方法与遵循预定路径的确定性软件根本不同。智能体根据上下文和目标动态确定其方法,这标志着生成式 AI 方法真正价值的出现。

智能体利用各种工具,包括向量搜索、文本搜索和数据增强,来创建一个全面的上下文。这可以包括长期信息,如历史趋势、交易数据和统计分析。通过综合这一广泛的信息范围并访问其自身的数据库和向量化,智能体可以为 LLM 提供丰富的上下文,以便进行推理和检索。在重新排序响应后,它为请求的客户构建正式的答案。

图 2.11:智能体 AI 系统的工作流程和架构

图 2.11展示了智能体 AI 系统的完整工作流程,展示了用户查询是如何通过四个主要阶段处理的:规划感知工具记忆

系统通过这四个相互关联的阶段处理每个用户查询,以提供智能、上下文相关的响应:

  1. 规划,智能体通过反思来分析用户提出的问题,采用思维链将推理分解为逻辑步骤,使用分解将复杂任务分解为更小的部分,并迭代地应用 ReAct 来规划推理和行动步骤,同时确定对查询的总体响应策略。

  2. 感知,它涉及从各种来源收集数据,包括 JSON、CSV 和集合,而数据库系统如 MongoDB Atlas 作为中央数据枢纽。对于非结构化数据,这一阶段将利用向量搜索处理数据以进行语义理解,从多个数据库和格式中收集信息,并将与用户特定查询相关的数据进行上下文化。

  3. 工具,其中向量搜索工具找到语义相似的信息,数据检索工具从数据库中访问特定信息,专业的处理工具操纵和分析收集到的数据,外部集成根据需要提供额外的功能,而系统执行回答查询所需的特定功能。

  4. 记忆,它维护长期记忆以存储持久知识和过往经验,短期记忆以维持当前对话上下文,学习整合以更新代理的知识库,上下文保留以处理后续问题,以及在数据库集合中存储历史数据以供未来参考。

在整个过程中,中央人工智能代理协调所有四个阶段以提供上下文化的、智能的响应,并且系统根据上下文和目标动态地调整其方法,而不是遵循预定的路径。

这个提出的框架代表了从基本的 RAG 系统到自主代理的 AI 演变的实际实现。通过构建在现有的数据基础设施和搜索能力之上,组织可以快速部署提供即时商业价值的代理,同时为更高级的多代理系统奠定基础。

关键的洞见是,成功的代理部署不是关于取代现有系统;它是关于智能地编排它们,以创建自主的、以目标为导向的能力,这些能力可以随着组织需求的变化而扩展。

摘要

本章追溯了人工智能从 20 世纪 50 年代的起源到今天复杂的通用人工智能(GenAI)系统的演变。我们探讨了推动现代人工智能应用的基本组件,包括大型语言模型(LLMs)、将数据转换为向量的嵌入模型,以及使人工智能推理成为可能的语义搜索能力。

我们明确了语义搜索(理解查询中的含义)、RAG(通过外部上下文增强 LLMs)、混合搜索方法(结合语义和关键词匹配)以及代理人工智能系统(自主决策)之间的区别。更重要的是,我们研究了这些组件如何相互构建,以创建越来越复杂的性能。

在这些进步中,现代数据平台在使人工智能创新成为可能方面发挥了关键作用。选择合适的数据平台,一个灵活、可扩展且原生支持这些多样化的 AI 工作负载(从向量搜索到用于代理记忆的复杂数据模型)的平台,成为在通用人工智能时代实现创新和竞争优势的关键推动力。通过理解这些概念及其关系,组织可以做出更明智的决定,关于如何利用人工智能来驱动业务价值。

下一章将探讨为什么数据是投资创新的公司的关键差异化因素。它将讨论为什么将运营数据整合到单一层对于推进人工智能项目至关重要,包括实时数据需求、良好结构化数据的重要性、数据流和集成方法。

参考文献

  1. 人工智能的极简历史:www.forbes.com/sites/gilpress/2016/12/30/a-very-short-history-of-artificial-intelligence-ai/

  2. 牛津参考:www.oxfordreference.com/display/10.1093/acref/9780198609810.001.0001/acref-9780198609810-e-423

  3. 究竟 IBM 的沃森发生了什么?:www.nytimes.com/2021/07/16/technology/what-happened-ibm-watson.html

  4. 注意力即一切:arxiv.org/abs/1706.03762

  5. 什么是分层可导航的小世界?:www.mongodb.com/resources/basics/hierarchical-navigable-small-world

第三章:行动系统

数据是将通用人工智能(GenAI)转化为可衡量的商业成果的基础。AI 赋能的能力,如非结构化数据的向量编码、跨部门实时合成以及闭环中的代理,正在改变我们进行商业交易的方式。掌握这些能力的企业可以从被动、孤立的决策转变为主动、智能驱动的运营,实时应对市场变化,降低运营成本,并推动更强大的客户成果。

通过闭环中的代理增强和自动化业务工作流程对底层数据层提出了更高的要求。代理可以访问和分析众多孤立的来源,构建丰富的上下文,并告知业务决策。但那个上下文在哪里持续存在?业务用户如何查看、交互或甚至编辑该信息?

为了支持这一演变,企业必须超越静态的记录系统,这些系统被动地存储和提供数据,转向动态的行动系统:为实时决策、自动化以及人类、AI 辅助用户和完全自主代理之间的协作而设计的系统,以对数据进行行动。虽然传统的记录系统在维护数据完整性和合规性方面表现出色,但行动系统可以自主触发决策、执行工作流程并从结果中学习。例如,在零售领域,一个 AI 代理可以在客户需求变化时实时重新订购库存。

本章探讨了行动系统如何将数据转化为决策:这种转变正在变得不可避免。它们必须处理多种形式的数据(从原始来源和文本搜索索引到向量嵌入),甚至需要上下文敏感重排序的 LLM 输入,这是一个优先排序最相关结果的过程。满足这些需求需要一个统一、上下文化的企业数据视图,这超出了它们的记录系统和洞察系统前辈所能提供的。这种转变也带来了可扩展性、性能、安全和治理方面的新挑战。

到本章结束时,你将了解以下内容:

  • 行动系统数据库通过打破传统的数据建模约束,并允许使用响应式、基于文档的数据层进行信号处理,支持实时 AI 和 RAG 应用

  • 统一的数据访问使 GenAI 能够在一致框架内处理多种格式,如源数据、嵌入和实时信号

  • 数据质量和一致性通过全源追踪和来源意识减少幻觉并提高可靠性

  • 准备好的 AI 数据架构与传统仓库和洞察系统不同,支持动态、多模型工作负载

  • 管理和安全策略与 AI 特定的需求相一致,例如隐私、访问控制和加密

  • 模型训练和微调管道为 GenAI 应用准备和优化数据

  • 实施模式遵循从信号摄取到丰富再到智能响应的流程,提供部署蓝图。

建立 AI 就绪的数据基础。

履行行动系统的承诺需要一个全新的数据基础——一个为速度、上下文和适应性而构建的数据基础。

代理 AI 系统在运营需求上与传统记录系统有根本的不同。传统系统侧重于捕获和存储历史交易,而由代理 AI 驱动的行动系统需要实时决策、动态数据综合和即时响应能力。这种转变要求我们的数据架构选择超越传统企业系统的僵化、孤岛式结构。

对核心企业的统一视图至关重要。它必须将自主代理依赖的多种数据类型(实时运营信号、上下文文档、向量嵌入)整合到一个单一、连贯的平台中。该平台必须建立在灵活的数据结构之上,能够随着代理行为的演变而适应。

从支持被动记录系统到启用主动行动系统的转变,引入了六个关键架构要求,这些要求将代理 AI 基础设施与旧方法区分开来:

  • 统一数据访问以消除管理多个不同数据存储的复杂性。

  • 数据质量和一致性机制,减少不同步系统中的幻觉和错误。

  • 实时上下文能力,使 RAG 应用能够立即处理信号。

  • 可扩展性和性能特征支持操作 AI,而不仅仅是面向后视镜的分析。

  • 治理和安全框架在保护敏感信息的同时促进创新。

  • 高效的模型训练工作流程,优化数据准备以适应 GenAI 应用。

这些元素共同构成了自主、智能系统的数据基础。在接下来的章节中,我们将逐一审视这些元素,了解行动系统数据库如何与传统数据管理不同,并使更智能、响应更快、可扩展性更强的 AI 应用成为可能。

什么是行动系统?

行动系统是一类新的企业应用,旨在实时执行决策和驱动工作流程。它们使人们、AI 辅助用户和 AI 代理之间的协作成为可能,支持从辅助决策到完全自主执行的一切。

与被动存储历史交易的记录系统或回顾性分析数据的洞察系统不同,行动系统在当下运作。它们处理动态环境,触发决策,并通过 AI 代理执行任务。例如,它们可能会实时重新安排延误的航班或自动调整医院的人事配置以应对突发高峰。

构建行动系统需要不仅仅是分析能力。它们必须摄取流信号,跨非结构化和结构化来源进行推理,并实时响应。它们需要能够管理高速、多模态数据流并支持随时间复杂状态转换的专用数据库架构。大多数传统系统,设计用于静态、批量导向的工作流程,根本无法支持这种持续智能。

图片

图 3.1:企业系统景观:从记录系统到行动系统

图 3.1展示了企业景观中的这种演变。与被动存储或回顾性分析数据的传统系统不同,行动系统使用户、应用程序和代理之间能够进行实时交互;这一切都由一个实时、可适应的数据层提供支持。

统一数据访问架构

任何 GenAI 系统的基石始于对多样化、多模态数据的快速访问,这些数据是 AI 可以推理的格式。不幸的是,这也是大多数企业挣扎的地方。传统的企业数据架构在数十个不兼容的系统之间是碎片化的,每个系统都针对狭窄的用例进行了优化。结果是集成痛苦、访问摩擦和巨大的开销。

现代 AI 应用需要根本性的转变:统一访问必须被视为一个前提条件,而不仅仅是便利性。

今天的模型必须导航各种输入:文本文档、应用程序日志、产品目录、支持记录和流传感器数据。关系型和传统系统通常将半结构化数据(如 JSON 或 XML)存储为二进制大对象BLOBs)或字符大对象CLOBs),这限制了它们在 AI 系统中的可用性。在这些情况下,实际数据隐藏在单个条目中,必须在推理或操作之前提取和解释。当目标是存储和检索文件时,这是可以容忍的。但对于 GenAI 系统,其中模型需要立即访问结构化和半结构化数据,通常在同一个查询中,这种格式成为了一个瓶颈。甚至视频也可以有自己的可寻址元数据结构,而不是仅仅作为一个不透明的 BLOB 存在,这说明了为了支持 AI 原生推理所需的转变。

格式问题之外,还有一个更加紧迫的挑战:碎片化

一个 AI 应用可能需要将来自 CRM(客户资料和账户层级)、产品目录(SKU 级细节、定价、可用性)、数据仓库(历史交易)、流平台(实时行为信号)和文档存储(合同、支持记录、政策文件)的上下文拼接起来。每个来源都有自己的模式、访问模式和通常自己的 API。这种复杂性产生了两个持续的挑战:

  • 开发者集成摩擦:每一层都引入了自己的问题,从身份验证和授权到模式不匹配、脆弱的连接器和不一致的格式。

  • 系统脆弱性/维护拖累:随着时间的推移,这些集成会积累,引入无声的故障、版本问题以及下游可靠性风险,使创新变得缓慢且成本高昂。

MongoDB 的文档模型采用了根本不同的方法。它不是将多样化的数据强制纳入僵化的模式或隐藏在难以阅读的块中,而是启用丰富、层次化的数据结构,这些结构反映了企业实际运作的方式 [1]。开发者可以在单个文档中建模完整的客户、订单或事件,包括嵌套上下文、版本历史和行为属性。这消除了复杂连接的需求,同时保留了有效代理推理所需的关键关系。

更重要的是,灵活的架构设计,即存储和查询数据而不锁定在僵化的蓝图中的能力,允许字段和文档形状随着需求的变化而适应。这使得数据可以进化——可以添加新的属性而无需停机,并且可以集成新的信号类型而无需昂贵的迁移。对于 AI 系统(尤其是那些学习、适应和扩展自己的系统),这种敏捷性是必不可少的。

这种架构的趋同使得结构化事务、实时信号和非结构化内容可以在单个查询或操作中一起实现。模型更新、丰富作业或下游代理操作都可以直接从相同的数据平台 [2] 触发。这种统一模型为复杂的、AI 原生的工作流程奠定了基础。

可能更重要的是,统一的数据访问改变了开发者的生产力。而不是花费周期来协调格式或调试脆弱的连接器,团队可以专注于构建智能系统。而且,正如我们将在接下来的章节中看到的,从数据质量和治理到实时编排的一切都建立在这个基础上。

确保数据质量和一致性

对于生成式 AI 解决方案,数据质量和一致性是不可或缺的。与传统的分析不同,数据质量问题可能会产生错误的报告或延迟的洞察,而在 AI 系统中,数据质量差可能导致幻觉、引入有偏的输出,以及从根本上不可靠的行为,这损害了用户信任和商业价值。

传统的质量方法试图通过规范化、去重和与外部来源的验证来解决这一问题。考虑一个熟悉的失败模式:一个系统通过邮政 API 和信用检查验证了“Joe Miller,12 High Street”,却无法区分同一地址上的三位不同的 Joe Miller(祖父、父亲和儿子)。对于需要精确关系映射的实体分析,这是一个关键的缺陷。

在这种情况下,在线商店可能无意中将三位个体视为同一客户,从而失去了定制互动或提供优惠的能力。关系星型模式通过在多个表中分割上下文信息而加剧了这个问题。当客户数据在事实表、维度表和查找表之间分割时,能够实现准确实体解析的丰富上下文变得分散且难以重建。

在我们的 Joe Miller 示例中,基于文档的方法将为每个个体维护单独的文档,包括详细的人口统计信息、购买历史、行为模式和关系数据,这些数据能够实现清晰的区分。

在文档中,您可以在同一数据集中存储原始值以及增强和改进的内容。这种方法提高了输出可靠性并减少了幻觉或矛盾的结果。当人工智能系统生成输出时,可以通过文档结构追溯整个数据源、转换和推理步骤的完整链,从而实现调试和合规性报告。

这种血缘能力对于提高输出可靠性并减少幻觉或矛盾的结果至关重要。当人工智能模型不仅可以访问数据的当前状态,还可以访问其来源和转换历史时,它们可以做出更明智的数据可靠性和置信水平决策。例如,客户服务人工智能可能会更重视最近的直接客户互动,而不是较老的推断偏好,或者当多个数据源提供冲突信息时,标记潜在的不一致性。

对于实施基于文档的数据质量策略的组织,MongoDB 提供了全面的最佳实践,以及与行业领先的数据建模和编目工具的兼容性,这使得大规模的高级质量管理成为可能[3]。当高质量、具有血缘感知的数据成为默认设置时,人工智能系统可以提供准确、可解释和值得信赖的结果。

实时上下文和 RAG

“实时”的定义因用例和行业而异,但与生成人工智能(GenAI)一起使用的数据的实时需求不容忽视。例如,对冲基金交易系统需要毫秒级响应,而人寿保险承保流程的时间以天为单位衡量。虽然应用响应时间持续下降,但许多架构使用缓存层,以牺牲数据新鲜度为代价,创造出实时性能的假象。

典型的实时环境遵循一个简单的模式,即交互产生一个信号,该信号能够实现即时解释。这些信号可能来自不同的来源,例如记录购物车添加的零售网站、传输电力使用情况的智能电表,或完成癌症分析数据的病理实验室。所有信号,当与现有数据集结合时,能够实现文本搜索、向量搜索和 LLM 推理及因果分析。这同样适用于交互式系统,如零售购物车,以及自主代理系统,如自动保险索赔处理系统。

实时将信号与元数据、参考数据和历史信息集成,可以瞬间生成新的知识。考虑一下这种演变。传统的基于规则的系统可能会建议“你订购了一个汉堡,想要薯条吗?”相比之下,一个由 AI 驱动的系统可以识别出诸如“你每两周订购一次猫粮,总是同一品牌”这样的模式,并通过与产品推荐相关的推理进行情境化思考,例如“根据你的购买历史,你可能对我们的新、更健康的配方感兴趣。你想我们给你发送免费样品吗?”系统通过将购买模式与产品推荐联系起来,识别重复客户并增强他们的体验,这需要更深入地了解客户偏好和宠物特征。

图片

图 3.2:实时 AI 数据流

图 3.2中的架构流程展示了现代 AI 应用如何通过使用行动数据库系统处理实时信号,以航空旅客辅助场景为例。流程从左侧的多种信号源开始:旅客登机预订系统天气服务航班状态更新,这些信号输入到信号处理格式转换/实时捕获组件。然后,这些信号被摄入到中央的MongoDB 文档存储库中,该存储库包含航班文档旅客向量预订元数据历史模式,并具有直接向量访问功能。

系统通过Atlas 向量搜索(寻找类似的航班中断)和LLM 增强(生成具有航班上下文的个性化响应)来处理这些数据,以产生三种类型的智能输出:重新预订确认个性化选项自动响应。基础是操作数据层ODL),这是一种将孤岛化企业数据集中整合和组织的架构模式,作为现有数据源和消费应用之间的中介。在这种情况下,ODL 通过乘客记录、替代航班、天气数据和重新预订历史中的上下文信息丰富信号。

持续学习和丰富反馈循环确保每一次交互结果,无论是接受重新预订还是用户偏好,都能回流以改善未来的推荐。文档模型允许持续增强而不需要系统重构,创建一个随着每位乘客交互而变得更聪明的系统,同时提供对现代人工智能应用至关重要的实时、上下文感知的响应。

关键的是,反馈循环确保持续改进,确保每一次交互结果丰富动作数据库系统,使未来的响应更加准确和具有上下文。这种循环流动体现了基于文档架构的关键优势:能够在没有约束传统关系系统的模式刚性下演变和改进的能力。结果是,系统随着每一次交互变得更聪明,提供现代人工智能应用所需的实时、上下文感知的响应。

可扩展性、可用性和性能

从历史上看,企业数据仓库代表了最大的数据库实现,具有为分析查询设计的去规范化、列导向的星型模式。这些系统在执行如“按地区显示酸奶销售”之类的查询时表现良好,其中大型数据集通过特定标准(地区、商店、价格)进行筛选以生成见解。多个来源的集成导致了提取转换加载ETL)过程和主数据管理系统的开发。虽然这些平台增加了机器学习功能,并声称支持生成人工智能能力,但它们仍然主要设计为面向后视的分析工具,不适合实时、代理和因果人工智能应用。

考虑对比。一个帮助错过航班的航空乘客的聊天机器人需要与回答“去年有多少乘客在法兰克福经历了全天延误?”的问题有根本不同的能力。聊天机器人和其背后的代理系统必须解决即时需求,找到可用座位,提供缓解服务,并对沮丧的乘客表示同情。所需的数据是实时、上下文敏感的,并且简单地无法从历史仓库中获得。

要在乘客请求中取得成功,系统需要实时座位信息访问(通过通常的预订系统 API 容易实现),以及更重要的关于乘客及其情况的详细上下文和信息。是家庭滞留,还是单身成人?存在哪些其他票务依赖?乘客能否通过不同的轨道重新路由,或者最好的选择是过夜?

这种场景要求所有乘客数据都驻留在最新的动作数据库系统中,因为没有当前信息,实时交互将失败。随着这些系统实现全球覆盖,非功能性需求不仅要求 24/7/365 的可用性,还要能够处理从平静时期到高峰旅游季节(如感恩节)的交易量波动。即使是微小的中断也变得不可接受,而仅仅解决数据可用性挑战的缓存解决方案,通过引入数据陈旧问题,在数据准确性上做出了妥协。

基于文档的架构,如 MongoDB 所提供的,在特定场景下为这种数据可用性和可扩展性提供了优势。与需要跨多个表进行复杂连接以重建用户上下文不同,文档模型可以在单个、高效可检索的记录中存储完整的上下文信息。这种方法减少了上下文重建的计算开销,同时使更复杂的缓存和优化策略成为可能。

人工智能工作负载的性能特征与传统分析模式也显著不同。虽然分析查询通常处理大量数据以生成汇总结果,但人工智能应用程序通常需要快速访问特定、上下文相关的信息。这种模式有利于优化为高并发、低延迟访问单个记录的架构,而不是大量数据集的批量处理。

治理、安全和合规

治理和合规要求源于保护个人免受缺乏足够自我调节的系统中的错误决策的基本需求。这些保障措施旨在防止真正的危害,从有偏见的贷款审批到不安全的产品推荐。

通用人工智能(GenAI)在准确性方面面临严格的审查,媒体对幻觉的报道将这一担忧推到了前台。因此,对于任何通用人工智能解决方案来说,数据来源、推理过程和结果解释的透明度变得至关重要。动作数据库系统中的文档模型能够跟踪与特定数据集相关的所有更改、转换和操作。与传统的关联数据库不同,文档在整个过程中提供了增强和丰富性的灵活性,而无需预先规划。

从治理的角度来看,这使精确和全面跟踪沟通和决策过程成为可能。当出现合规挑战时,它促进了决策审计和纠正措施,通常是由于决策标准逐渐变化需要调整。

安全性代表了一个额外的关键维度。MongoDB 的可查询加密确保数据绝对安全,不受未经授权的访问。虽然乘客数据可能具有适度的敏感性,但关于潜在疾病的医疗提供者咨询需要最高的安全级别。动作数据库系统使得透明安全实施成为可能,这在协调具有可能不兼容的安全和政策系统的多个数据源时更具挑战性[4]。

模型训练和微调

训练或微调模型需要大量干净、标记和多样化的数据。动作数据库系统确保了训练管道的高效数据整理、采样和预处理。数据丰富变得至关重要,因为像 MongoDB 的聚合管道这样的功能使得数据标注和持续分析诸如最小值、最大值和移动平均数等标准成为可能,以验证推理过程。

对于生成式 AI 的数据准备这一主题常常被误解,这源于早期支持机器学习系统(源自商业智能BI)架构的系统)的 AI 解决方案的演变。这有时会导致错误的假设,即所有用于 AI 使用和交互的数据都必须首先在湖、仓库或集市中准备或准备好,需要大量的转换和数据管道处理。结果数据对象通常以包含数百列和伴随的维度表的形式存储为星型模式,每个维度表都包含事实表。星型模式,这是一种最初设计用来解决针对关系数据库对象执行高效分析查询的数据建模格式,引入了需要复杂查询和连接操作来提取洞察的需求,这种架构仍然被 Snowflake 等平台采用。

Apache Spark 对象存储实现,例如 Databricks,通过分布式计算框架和内存处理提供更复杂的查询能力,这比传统的批量处理系统有显著进步。这两种方法,星型模式和 Spark 操作的对象存储文件,无论当代术语如数据湖湖屋如何,都基于向后看的数据仓库。

这些系统针对处理沿维度轴对齐的大量同质数据进行优化。对于操作处理,对单个数据集的实时访问超出了它们的设计参数。历史上,这曾是在线事务处理OLTP)系统的领域。虽然事务日志不是生成式 AI 数据结构的核心,但访问模式仍然相似。

通常,构建嵌入模型示例被引用为数据仓库必须成为 GenAI 数据来源的理由,但这是一种误导。首先,许多商业解决方案成功部署了标准嵌入模型用于 PDF、图像和音频,而不需要定制开发。其次,更重要的是,这种比较并不成立,因为分析季度销售的仓库与销售点和交易登记无关。

AI 数据设计的实际考虑

虽然动作数据库系统的理论基础为 AI 就绪的动作架构提供了概念框架,但成功的实施需要关注实际的设计原则和运营现实。本节探讨了决定现实世界 GenAI 实施成功与否的三个关键方面:结构良好和组织有序的数据的基本重要性、数据通过 AI 系统的流动模式,以及部署和维护这些架构所需的运营考虑。

一个好的数据结构至关重要

组织良好的数据,如文档、索引和嵌入,能够实现快速和相关的信息访问,这对于 RAG 至关重要。

相比之下,传统的关系型数据库存储模式与 GenAI 应用之间存在根本性的阻抗不匹配,这些应用需要统一、上下文丰富的数据对象,以保留语义关系和业务意义。当业务实体跨越多个规范化表中的参考数据、元数据和运营信息时,通常需要大量的连接操作和额外的应用层代码来将碎片化的数据重构为连贯的业务对象,以便 AI 处理。这种关系型碎片化不仅降低了查询性能和增加了系统复杂性,还掩盖了有效 AI 消费所必需的自然数据关系,创建了需要持续维护的相互依赖的架构关系的人工边界。因此,GenAI 应用需要能够原生地表示复杂、分层业务实体而不需要大量重构逻辑的数据架构,青睐与 AI 模型消费数据方式更自然对齐的文档型架构,即丰富、上下文化的对象,而不是分解、规范化的片段。

基于文档模型精心设计的动作数据库系统是解决上述所有挑战的同时,还能带来丰富的无形效益的解决方案,包括减轻开发者的认知负担和基础设施技术蔓延。

各种来源的结合增强了元数据理解,并提高了模型的准确性和相关性。从开发者的角度来看,文档结构使得提示构建更优越,因为去规范化文档对开发者和 LLM 来说都更容易处理,从而提高了提示的质量。此外,结构更简单、规范化减少的简化结构减少了生成适当上下文所需的数据对象数量。数据对象越少,就越容易确保数据质量,以减少幻觉并提高事实性。

在之前的航空公司例子中,多个模型可能贡献不同的推理方面:一个通用的 LLM 来处理聊天机器人通信,以及一个特定领域的微调模型来确定路由选项。次要的 LLM 可能专门从事总结与数据验证,这表明依赖于单个 LLM 可能无法在智能系统中实现合理质量。

文档模型通过迭代丰富来提升输出质量,它随着用例的发展而进化,而不是需要重新架构或重构以适应新的或变化的需求(这是关系系统中不可避免的痛点)。最终,丰富的文档提高了基于推理的智能系统的流畅性、连贯性和创造力。

由于数据检索设计不佳,源于组织松散的来源,导致性能缓慢、结果不相关或不准确的信息。相反,对齐良好的架构确保了快速、上下文相关的检索,支持有意义的模型输出。

简而言之,当数据结构和模型设计被深思熟虑地对齐时,结果是更准确、响应更快、可扩展性更强的 GenAI 解决方案。

数据流

GenAI 解决方案的数据流通常从机器、过程或人类交互中捕获的交易数据开始。然后,它可以与相关的非结构化工件向量编码或现有参考数据进行丰富,以便在智能系统工作流中使其可操作。在 MongoDB 中,这种实时业务对象丰富导致一个包含所有相关信息、丰富到最大程度的单一文档。相比之下,在传统的架构设计中,数据只会从其来源进行引用,最好需要调用 API,最坏的情况可能是直接访问数据库。

基于文档的方法进行数据流,允许在一个对象和格式中传递所有上下文信息,从而促进多个智能系统之间在单一流程或工作流中的协作工作。在我们的例子中,航班中断被编译成一个单独的文档,管理案件的所有不同方面,包括乘客互动、航班信息、合同数据,甚至包括天气条件等情境因素。

这使得多个代理系统能够在相同业务对象或事务交互的不同方面进行协作。例如,当聊天机器人与乘客沟通并提供实时状态更新时,另一个系统组件会主动处理根本问题,这是由事务系统检测到航班延误并计算乘客错过转机航班的概率触发的。这意味着在乘客甚至开始联系之前,案例就已经开始处理。

在此案例创建过程中,系统通过特定的嵌入生成多个向量,并对类似的历史案例进行语义搜索。这允许 LLM 在尽可能早的时刻准备自然语言响应,例如“我们识别出多个航班选择……”。在最佳情况下,代理系统可以主动生成多个解决方案,并通过类似“我们很抱歉您错过了航班。我们有三个可选方案继续您的旅程……”的消息与乘客沟通。

一旦案例成功解决,文档将丰富全面的成果数据,例如“乘客接受了 345 航班一小时后的重新预订,对主动沟通表示满意,并拒绝了餐券优惠”。然后可以解释与乘客的互动,并对整体结果进行分类。这允许进行关键的质量保证,帮助识别新兴趋势,并验证和测试新的模型及其建议的结果。

实施行动数据库系统

从架构原则到生产部署的转变需要解决区分 AI 数据系统与传统数据库的操作复杂性。GenAI 工作负载的独特特性,包括实时向量搜索、持续模型演变和动态模式要求,需要专门的部署、监控和维护方法,这些方法远远超出了传统的数据库管理实践。

部署模式

实施行动数据库系统需要围绕部署架构进行仔细规划。组织通常遵循三种主要模式之一:为新的 AI 项目进行绿色 field 实施、逐步迁移策略,逐渐从旧系统过渡,或者混合方法,在保持现有系统的同时,构建新的 AI 能力。

云原生部署提供了最大的灵活性和可扩展性,例如 MongoDB Atlas 等托管服务提供了自动扩展、备份和安全功能。对于有严格数据主权要求的组织,本地部署可能是必要的,而混合云方法可以平衡安全需求与运营效率。

性能监控和优化

实时人工智能应用需要在多个维度上持续监控性能。查询性能指标不仅要跟踪响应时间,还要跟踪向量搜索的相关性分数以及人工智能生成输出的准确性指标。基于文档的系统需要监控集合大小、索引有效性和聚合管道的性能。

关键性能指标应包括数据摄入的吞吐量指标、检索操作的延迟测量以及高峰人工智能处理负载期间的资源利用率模式。当性能低于可接受阈值时,自动警报系统应触发,尤其是在实时应用中,延迟会直接影响用户体验。

成本管理和资源分配

人工智能数据基础设施的经济效益与传统数据库系统大不相同。向量存储和相似性搜索消耗的资源模式与关系查询不同,需要新的容量规划和成本优化方法。

存储成本随着文档大小和嵌入维度成比例增长,而计算成本则根据模型复杂性和查询频率变化。组织应实施分层存储策略,将较旧或访问频率较低的数据移动到访问频率较低、成本较低的存储层,同时将频繁访问或热数据保留在高性能系统中以实现实时访问。

维护工作流程和数据生命周期管理

基于文档的人工智能系统需要专门的维护程序,这些程序考虑到模式演变、嵌入模型更新以及随时间推移的数据质量漂移。与传统数据库不同,其中模式更改需要仔细的迁移规划,文档存储允许更灵活的演变,但这种灵活性并不否定需要治理框架来确保数据一致性的需求。

随着更新、更有效的模型的出现,定期重新处理嵌入变得可取。应利用自动化管道来管理嵌入更新,同时保持高系统可用性,可能利用蓝绿部署策略在主要模型转换期间最小化系统中断。

从旧系统迁移的策略

组织在实施行动数据存储系统时很少从一张白纸开始。从现有的关系系统、数据仓库和不同的运营系统迁移数据需要分阶段的方法,以最小化业务中断并最大化统一数据访问的好处。

来自众多行业广泛客户的经验表明,最成功的迁移始于能够快速展示价值的试点项目,然后逐步扩大范围。数据同步策略应在过渡期间保持新旧系统之间的业务数据一致性,通过自动化验证确保整个迁移过程中的数据完整性。

团队培训和采用考虑因素

成功实施行动数据库系统需要投资于团队能力。传统的数据库管理员可能需要接受文档建模原则的培训,而应用程序开发者可能需要学习针对人工智能工作负载的新查询模式和优化技术。

数据科学家和机器学习工程师需要了解文档结构如何影响模型训练和推理性能,而 DevOps 团队需要熟悉人工智能特定的监控和扩展要求。在行动系统架构中,数据工程、人工智能开发和运营之间的界限变得模糊时,跨职能协作变得至关重要。

摘要

本章探讨了行动数据库系统在构建有效通用人工智能(GenAI)解决方案中的关键作用。我们分析了传统数据管理方法的局限性,并提出了以文档模型为中心的替代范式。讨论的关键方面包括对多样化数据源的统一访问、改进数据质量和一致性、为 RAG 提供实时上下文、可扩展性、安全性和治理,以及将数据结构与模型设计对齐以实现最佳性能和准确性的重要性。

基于文档模型精心设计的行动数据库的主要优势是能够提供实时、上下文相关和全面访问多样化的数据,这对于推理、因果分析和生成准确、相关的输出至关重要。这种方法与传统数据仓库不同,它提供了一个统一视图,优化了 RAG、模型训练和微调的数据。这导致通用人工智能解决方案更安全、更准确、响应更快、可扩展且更安全。

在下一章中,我们将探讨可信赖人工智能的关键基础,探讨组织如何导航复杂的伦理框架、法规遵从性和数据治理要求。随着人工智能系统在关键决策过程中的日益嵌入,确保它们在伦理、法律和社会界限内运行变得至关重要。我们将讨论适当的数据治理,即我们通过行动数据库系统建立的基础,如何使组织能够构建透明、公平、负责任且符合不同行业和司法管辖区不断变化的法规的人工智能系统。

参考文献

  1. MongoDB 的文档模型方法: www.mongodb.com/docs/manual/data-modeling/

  2. 数据建模全面指南: www.mongodb.com/resources/basics/databases/data-modeling

  3. 实施有效的数据质量模式: www.mongodb.com/developer/products/mongodb/modernizing-rdbms-schemas-mongodb-document/

  4. MongoDB 的高级安全功能: www.mongodb.com/docs/manual/core/queryable-encryption/

第四章:可信赖人工智能、合规性和数据治理

随着人工智能改变行业,组织必须平衡其力量与道德、法律和社会责任。

本章探讨了可信赖人工智能、合规框架和数据治理如何作为负责任人工智能的基础协同工作。您将学习如何在构建通过透明度、公平性和问责制赢得(并维持)信任的系统的同时,导航监管复杂性。

到本章结束时,您将理解以下内容:

  • 可信赖人工智能的核心原则及其重要性

  • 如何将道德框架转化为实际实施策略

  • 行业和地区间的关键监管转变

  • 人工智能系统所需的基本数据保护和隐私要求

  • 风险评估和管理的方法

  • 实现人工智能透明度和可解释性的技术

  • 在您的组织中实施可信赖人工智能的策略

为什么道德人工智能很重要

为了应对人工智能采用的增长挑战并构建能够经得起审查同时提供价值的系统,组织需要清楚地了解在实践中可信赖人工智能的含义。良好的意图是不够的。构建可信赖的人工智能需要明确的原则、深思熟虑的执行和结构化的治理框架。

人工智能实施的日益增加的风险

随着人工智能越来越多地嵌入关键系统,如医疗诊断、金融决策和自动驾驶交通,失败后果的严重性日益增加。信任不仅仅是一个哲学问题,它是一个战略上的必要条件。当人工智能系统塑造人们的生活和权利时,它们必须以道德的方式运行。

扩大的威胁领域带来了重大挑战。平均而言,识别一个漏洞需要近 200 天,整个生命周期可能延长到 300 天,这使得组织比他们可能意识到的暴露时间更长 [1]。与此同时,法规正在收紧。例如,美国的健康保险可携带性和责任法案HIPAA)和美国证券交易委员会SEC)引入的网络安全法规现在对保护敏感数据的安全要求更加严格。确保人工智能系统在考虑到这些风险的情况下构建和管理是至关重要的。

定义核心概念

为了打下理解可信赖人工智能的坚实基础,让我们明确三个相互关联的概念:

  • 可信 AI 指的是设计和运营以具有可解释性、公平性、安全性和安全性的系统。它代表了一个框架,用于降低与 AI 部署相关的各种风险,旨在建立信心并在道德边界内运行。随着组织越来越多地依赖 AI 进行高风险决策,可信 AI 确保与人类价值观和社会期望保持一致。这种一致性对于道德原因和长期业务可持续性至关重要,因为不可信的系统往往面临用户的拒绝、监管审查和法律风险。

  • AI 合规性 包括确保 AI 系统按照适用的法律、法规、道德指南、数据隐私要求、安全协议、公平原则和问责机制运行的决策、实践、流程、标准和框架。组织还必须跟上不断变化的法规,并持续调整其 AI 系统,以保持合规性和负责任。

  • AI 数据治理 是对 AI 系统中数据收集、管理和使用的结构化监督。它确保数据准确、安全且符合道德标准,同时解决算法透明度、可追溯性和偏差放大等挑战。强有力的治理为 AI 合规性和可信性奠定了基础。没有它,组织可能会损害其 AI 系统的完整性和问责制。

图 4.1

图 4.1:AI 数据治理作为合规性和可信 AI 的基础

图 4.1 展示了这三个概念如何形成一个相互关联的框架,以支持负责任的 AI 实施。稳健的 AI 数据治理是可信 AI 和 AI 合规性的基本基础,确保了为 AI 系统提供动力的数据的品质、完整性、安全性和道德处理。理解这些核心概念为应用道德框架奠定了基础,这些框架将原则转化为实施 AI 的可操作指南。

道德框架:从原则到实践

道德框架为组织提供指导原则,以帮助他们负责任地开发和部署 AI 系统。最常被引用的是欧盟(EU)的 可信 AI 道德指南,它概述了七个关键要求,已成为全球基准:

  • 人类代理和监督:AI 系统应支持人类决策并受监督。在实践中,这意味着为关键决策(如贷款审批或医疗诊断)建立 人机交互 流程,其中人类可以审查并按需干预。

  • 技术稳健性和安全性:AI 必须是安全的、有弹性的和安全的,具有缓解漏洞或对抗性攻击的回退机制。这包括严格的测试协议、安全架构和持续监控,以防止滥用。

  • 隐私和数据治理:AI 系统必须尊重个人隐私,并在整个生命周期中维护数据质量、完整性和安全性。技术包括数据最小化、匿名化和从收集到删除的安全处理。

  • 透明度:AI 能力、局限性和决策过程应该是可理解和可追溯的。文档应解释 AI 如何影响结果,并提供决策的易于理解的解释。

  • 多样性、非歧视和公平性:AI 必须设计和测试以防止不公平的偏见并促进跨人口群体的公平待遇。这包括使用多样化的训练数据,并开展审计以检测和解决招聘、贷款或医疗保健等结果中的歧视性模式。

  • 社会和环境福祉:AI 应支持社会进步并减少负面环境影响。这包括评估就业替代风险、跟踪环境成本以及使系统与更广泛的可持续目标保持一致。

  • 问责制:应明确 AI 决策和结果的所有权。组织需要审计机制、缓解协议以及当发生损害时应对的方式。

在这里了解更多关于这些指南的信息:digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai

伦理差距会带来真正的运营和声誉风险。监管处罚正在增加,一旦信任破裂,恢复起来可能很困难。一些主要科技公司已经因为偏见或监管失误而退役了 AI 产品。在一个问责制至关重要的竞争环境中,忽视负责任 AI 实践的组织可能会落后。

IntellectAI 的 Purple Fabric 和金融领域的可信 AI

在高风险环境中,IntellectAI 是 AI 解决方案在银行、金融服务和保险BFSI)领域的先驱。该公司创建了Purple Fabric,这是一个开放业务影响 AI平台,旨在帮助企业满足复杂的监管和合规要求。

其中最引人注目的用户之一是一家管理着超过 1000 亿美元资产的主权财富基金。该基金依靠 Purple Fabric 对 AI 代理的编排,由先进的 RAG 技术和 MongoDB Atlas Vector Search 提供动力,从其 9000 家投资组合公司中的数百万非结构化文档中提取关键情报。这使投资组合管理更加差异化,并支持一个超越标准框架的定制可持续性矩阵,加强内部报告和战略举措。

Purple Fabric 通过其企业知识花园EKG),由 MongoDB Atlas Vector Search 提供动力,处理非结构化的企业数据,并使用企业数字专家EDE),一个多代理系统,在企业的流程中编排人工智能,来激活这种智能。

Purple Fabric 展示了可信赖人工智能的原则在行动中的体现:

  • 隐私和数据治理:建立在 MongoDB Atlas 之上,该平台安全地管理大规模的非结构化数据,特别是从上述检索用例中描述的使用案例。细粒度的访问控制限制数据和人工智能代理仅对授权用户暴露。平台上的 EKG 处理多样化的内容,同时保持对企业敏感信息的企业级治理。

  • 技术稳健性和安全性:Purple Fabric 符合行业合规要求,包括 SOC 2、ISO 27001、ISO 27017、ISO 27018 和 AWS 架构审查。其基础设施持续监控代理行为和数据管道,以支持大规模可靠、安全的人工智能部署。

  • 透明度和问责制:Purple Fabric 的治理套件提供完整的数据源溯源和人工智能输出的可追溯性,确保人工智能代理基于可信的数据源。TRACES 确保多代理操作的可解释性,具有清晰的审计轨迹。"模型优化中心"允许团队在速度、成本和准确性方面对 LLMs 进行基准测试,并支持从多个提供商或自定义模型中选择模型。这使用户能够对大规模的人工智能决策有清晰的可见性和控制权。

通过结合安全的数据基础、强大的监控、可解释性和用户控制,IntellectAI 在 Purple Fabric 中构建了一个强大的 AI 平台,帮助企业负责任地采用人工智能,同时产生真正的商业影响 [2]。

将原则与实施相结合

全球各地的组织正在开发将伦理人工智能付诸实践的实际方法。例如,IBM 在其人工智能治理实践中强调同理心和利益相关者的参与,确保与更广泛的社会价值观保持一致 [3]。

在实践中,组织通过以下努力将伦理付诸实践:

  • 偏见审计:定期测试人工智能系统在不同人口群体中的不公平偏见

  • 伦理审查委员会:创建多元化的委员会来评估人工智能应用是否符合伦理标准

  • 透明文档:维护开发决策、数据源和模型限制的清晰记录

  • 利益相关者参与:在人工智能的设计、部署和治理决策中涉及受影响的社区

这些实践中的每一项都有助于将高级伦理原则转化为可重复的行动,这些行动可以促进信任、降低风险并支持人工智能的长期可持续性。

偏见审计

偏见审计系统地评估人工智能系统,特别是 LLM,以识别和减轻偏见行为。这些评估通常测试模型在不同的人口统计属性或敏感环境中的表现。

斯坦福大学领导的一项研究将这种方法应用于招聘中使用的 LLM。研究人员收集了 801 份针对 K-12 教学职位的真实工作申请,然后生成了仅通过种族和性别相关线索(如姓名和代词)不同的合成版本[4]。当提交给八个独立模型时,结果显示评分存在一致差异:女性申请者被评分为中等高于男性申请者,而黑人、西班牙裔和亚洲申请者通常被评分为中等高于他们的白人同行。即使在简历被删除、提示重新措辞或地理背景改变的情况下,这些差距仍然存在。

这个实验突显了一个关键挑战:即使是对齐良好的模型也可能表现出影响现实世界决策的人口统计偏好。因此,在招聘等高风险领域,如招聘,这些偏见审计是必不可少的,在这些领域,公平性、透明度和问责制必须积极验证,而不是假设。

伦理审查委员会

伦理审查委员会在人工智能的负责任发展中扮演着至关重要的角色。它们提供结构化的监督,揭示风险,例如偏见或隐私问题,并确保系统与组织价值观和社会期望保持一致。当这些委员会有效整合时,它们帮助团队在早期做出更好的决策,增加透明度,并赢得用户和利益相关者的信任。

IBM 提供了一个领先的例子。其内部人工智能伦理委员会包括来自公司各个部门的多元化领导者,并拥有正式的权力来监督人工智能的发展。委员会审查用例,制定政策,并通过可重复的治理流程对产品团队负责。

IBM 的方法在四个关键领域运作:

  • 以原则为导向:委员会将 IBM 的人工智能原则转化为具体的要求和检查点。例如,原则“人工智能增强人类智能”导致对所有系统,特别是具有现实世界后果的系统,都需要有意义的有人监督的命令。“数据属于其创作者”通过严格的治理协议体现出来,这些协议保护客户数据并执行同意。透明度通过要求在整个开发生命周期中遵守可解释性标准和文档来解决。

  • 用例评估:董事会审查具有高度伦理考虑的人工智能项目。每个项目都通过一个结构化的评估流程,包括风险评估、利益相关者影响分析和合规性检查。根据发现,团队可能会获得批准,被要求做出更改,或者在某些情况下,被要求完全停止工作。例如,影响招聘决策的人工智能应用进行了增强的偏差测试,而医疗保健项目需要额外的隐私保护措施,包括领域验证。

  • 工作流和教育:董事会支持公司范围内的人工智能伦理教育,包括培训计划和政策指导。这些努力有助于将负责任的设计实践嵌入到工程和产品开发团队中。

  • 问责制:董事会通过确保伦理审查受到认真对待并融入决策中,帮助维护 IBM 对伦理 AI 的公开承诺。它作为治理功能的同时,也在塑造公司的文化 [5]。

为了有效,伦理审查委员会需要的不仅仅是良好的意图。他们需要多元化的代表、明确的过程,以及影响产品开发和公司规范的能力。没有这个基础,即使是强大的伦理原则在实施过程中也可能会被忽视。

透明文档

透明的文档让利益相关者能够清晰地了解人工智能系统的设计、训练和治理方式。这种可见性通过揭示复杂的 AI 模型并使决策和结果可问责,从而促进了信任。通过仔细记录数据来源、模型架构、评估方法和潜在偏差,组织可以识别和减轻风险,支持合规性,并确保负责任的 AI 部署。

尽管透明文档很重要,但它往往被低估。技术团队可能会优先考虑速度而将其置于次要位置,当系统进入生产阶段时,这会在关键信息中造成空白。各部门之间标准的不一致使得难以编制连贯的治理记录。AI 发展的快速步伐可能会超过文档更新,而且对知识产权的担忧有时会限制记录的内容。

成功的组织采取不同的方法。文档从一开始就被纳入到开发工作流程中。自动化工具在开发过程中捕获模型元数据、训练数据和性能指标。模板确保一致性,版本控制保持记录最新,常规审查会标记缺失或过时的信息。跨团队审计在合规风险出现之前关闭循环。

强有力的文档将团队联系起来。当数据来源和模型行为被清晰地记录时,法律部门可以评估风险。当系统限制被记录下来时,业务领导者可以做出明智的决策。当他们对训练数据、评估程序和已知偏差有深入了解时,风险管理者可以迅速采取行动。

当利益相关者有共同的观点时,协作得到改善,AI 系统更有可能满足技术、法律和伦理期望。结果是不仅合规性更好,而且 AI 系统更可靠、更可持续。

利益相关者参与

在人工智能治理中让利益相关者参与,确保系统与受其影响的人们的需求、价值观和期望相一致。这包括用户、社区、专家和监管者,他们在部署前帮助识别风险、提供反馈和建立信任。如果做得好,这种协作方法将导致更强大且更广泛支持的 AI 解决方案[6]。

许多组织在有效执行这一任务方面遇到困难。确定正确的利益相关者并不总是直接的,尤其是当 AI 系统有深远影响时。竞争利益需要时间、协调和权衡决策。开发时间表和资源限制可能会限制实际发生的参与程度。即使收集到反馈,团队也可能缺乏将其转化为可操作变化的架构。

利益相关者参与不足的后果越来越明显。例如,微软的 Copilot 工具在早期版本中提出了有偏见或不安全的代码建议时,遭到了批评。专家后来将问题与与受影响的开发者社区缺乏参与联系起来。谷歌的 Gemini 图像生成工具在生成冒犯性和历史不准确的形象后暂停使用,揭示了在培训和评估期间缺乏来自不同观点的输入。

这些案例证明了忽视利益相关者声音的风险。声誉损害、产品暂停和监管审查可能会随之而来,但更重要的是,可能会出现未能服务于它们所构建的人的系统。

成功的组织将参与嵌入到 AI 的生命周期中。咨询小组将用户领域专家倡导组织受影响的社区聚集在一起。反馈循环从早期开始,并持续到部署。试点项目和公开咨询在问题成为危机之前就提出。清晰的持续沟通建立信任,并确保对话比营销声明更深入。

关键的是,利益相关者的意见必须影响系统的构建方式,而不仅仅是它们的表现方式。当组织将这种意见整合到设计和开发中时,AI 系统将更有能力满足现实世界的需求。它们更快地赢得信任,表现更有效,并且随着时间的推移,更好地应对监管和社会审查。

漫游监管环境

由于风险、成熟度和最终用户影响的不同,人工智能法规在行业和司法管辖区之间有所不同。然而,区域间正在出现一些共同主题。EY 确定了六个全球趋势,这些趋势塑造了人工智能治理的演变格局[7]:

  • 核心原则:框架通常从普遍承诺开始,如尊重人权、可持续性、透明度和稳健的风险管理。这些原则反映在经济合作与发展组织OECD)和 G20 的指南中。

  • 基于风险的方法:法规越来越关注潜在伤害的严重性。对可能影响公共安全、公民权利或健康结果的高风险用例,适用更严格的要求。

  • 行业无关和行业特定规则:一些标准适用于各个行业,而其他标准则针对医疗保健和金融等特定行业。

  • 政策一致性:人工智能法规正在融入更广泛的数字政策领域,包括网络安全、数据隐私和数字权利。

  • 私营部门合作:监管沙盒、创新中心和公私合作伙伴关系允许在定义的监督下进行安全的实验。

  • 国际合作:随着人工智能系统跨越国界,监管机构正在就共同标准和执法进行协调,特别是对于前沿模型,它们带来了未知的风险。

虽然这些趋势提供了方向上的清晰,但它们并不能取代本地合规和监管的需求。每个司法管辖区都实施自己的要求、时间表和执法机制。

为了保持敏捷性,组织应采用结合长期监管意识和适应性架构的合规策略。灵活的治理能力使系统能够在不干扰运营的情况下满足不断变化的要求。

在接下来的部分中,我们将探讨两个高度监管的行业:医疗保健和金融服务。我们将研究这些全球趋势如何具体体现为合规挑战。

医疗保健

医疗保健人工智能由于对病人安全和隐私的直接影响,受到加强的监管审查。截至本文撰写时,全球监管格局正在迅速演变,但已经出现了一些关键主题,有助于制定合规策略。

世界卫生组织WHO)概述了医疗保健中人工智能监管的四个基本考虑因素:

  • 透明度和文档:保持人工智能开发和生命周期管理的清晰记录,以建立信任并使监管评估成为可能。这包括追踪开发过程,防止偏见和数据操纵。医疗保健提供者必须能够证明人工智能系统是如何开发、验证和部署的,以确保安全和合规。

  • 风险管理:在整个产品生命周期中解决预期用途、持续学习能力和网络安全风险。预期用途指的是预先指定并记录 AI 系统设计的确切医疗目的和临床背景,确保它不会在其验证范围之外被误用。持续学习解决 AI 系统可以根据新数据更新其算法的独特挑战,需要持续监控以确保它们不会偏离其原始的安全和有效性标准。这些因素加上网络安全威胁,必须在整个产品生命周期中得到管理。

  • 数据质量:进行严格的预发布评估,以防止偏差放大并确保人群代表性。不充分的训练数据可能导致系统性错误,特别是对于代表性不足的群体,应通过更全面的培训来减轻。

  • 合作:与患者、医疗保健专业人员、监管机构和行业利益相关者合作,以改善 AI 技术的安全和质量。多边协调加强监管,加速创新,并在产品生命周期内支持监管对齐。

在美国,HIPAA 规范了患者数据的保护,而新的立法提案针对特定的用例,例如在利用管理决策中使用 AI [8]。在欧盟,AI 法案将大多数医疗 AI 应用归类为高风险,引发更严格的合规义务,包括一致性评估、数据治理审计和上市后监测 [9]。

为了满足这些需求,医疗保健机构正在采用支持安全和适应性的技术。具有字段级加密和细粒度访问控制的文档数据库可以执行患者隐私保护,而不会限制 AI 创新。例如,MongoDB 允许敏感的健康数据在静止和运行时进行加密,确保只有授权用户可以访问指定的属性。结合基于角色的访问和全面的审计,这种架构有助于满足 HIPAA 和其他监管要求 [10]。

随着医疗 AI 的持续扩展,这些监管护栏将变得越来越重要。它们不仅支持合规性,还支持公众信心和临床有效性。将技术实践与新兴监管标准对齐的组织将更有利于安全且可持续地扩展。

金融服务业

金融机构面临着碎片化和快速变化的 AI 监管环境。虽然尚未建立全球标准,但各国政府和监管机构正在积极制定政策,在创新和风险管理之间寻求平衡。本节概述了截至写作时的关键发展,并概述了可能塑造未来监管的主题。

监管讨论中的新兴主题包括消费者保护、公平性、可解释性、责任和网络安全。主要进展包括:

  • 美国 AI 行政命令:行政命令在管理风险的同时促进创新。它们指导联邦机构评估 AI 在各个行业的影响,包括金融服务,并制定安全、可靠和值得信赖的 AI 的最佳实践。这些命令还强调需要能够管理多样化数据源的系统,以进行全面的模型培训和验证,同时解决网络安全和潜在的系统性金融不稳定问题[11]。

  • 欧盟 AI 法案:这一里程碑式的法规采用基于风险的方法。被认为高风险的金融 AI 系统,如信用评分和支付结算系统,面临严格的要求,包括一致性评估、稳健的数据和元数据治理、透明度和人类监督要求[9]。

  • 英国方法:英国(UK)采用了更具行业针对性的策略。监管机构,如金融行为监管局FCA)和审慎监管局PRA),正在将 AI 考虑因素整合到现有的监管方法中。这些方法强调公司需要保持对 AI 系统强有力的控制,并将公平性、透明度和责任原则应用于金融服务,具体见[12]。

  • 亚太地区 AI 监管:亚太地区遵循多种、通常是行业特定的方法。新加坡的新加坡金融管理局MAS)以其公平性伦理责任透明度FEAT)原则为领导。虽然不具有约束力,但为金融机构提供了明确的指导。中国已在算法推荐和深度伪造等领域采用了更具体的规则。印度正在塑造其监管框架,强调数据隐私和道德使用。日本和韩国正在推进以行业为主导的指南,优先考虑道德发展。亚太地区这一碎片化的格局反映了不同的 AI 采用率和监管优先级,要求企业加强内部治理并维持特定地区的合规策略[13]。

为了导航这个不断演变的环境,并将合规性转化为竞争优势,金融机构可以建立在现代数据基础之上,该基础旨在实现灵活性和可扩展性。这些平台允许无缝集成复杂和不断演变的数据结构。它们支持 AI 模型的快速开发和迭代,并能高效扩展以处理大量数据和 AI 的处理需求。这种全面的方法对于满足合规要求同时实现负责任的 AI 创新至关重要。

构建值得信赖和负责任的 AI

在确立了伦理原则和监管框架之后,下一步是将它们付诸实践。这需要在一个涵盖四个相互关联领域的全面方法中实施:保护数据、管理风险、确保透明度,以及嵌入治理。这些元素共同构成了负责任的人工智能实施的基石,在提供商业价值的同时维护利益相关者的信任。

保护数据

数据保护是可信人工智能的基础。它包括监管合规和运营纪律。随着人工智能系统以越来越大的规模处理敏感个人信息,组织必须在遵守隐私要求的同时,构建保护数据质量、完整性和道德使用的治理结构。

本节探讨了组织如何满足现代隐私期望并建立支持创新而不牺牲监督的治理框架。

保护与隐私要求

人工智能系统通常处理大量个人数据,使数据保护成为可信人工智能的一个基本支柱。风险很高:虽然人工智能的有效性取决于对数据的广泛访问,但这种同样的需求也引入了严重的隐私风险。与可能依赖于有限数据集的传统软件不同,人工智能系统持续地摄取、分析和从个人信息中学习,这为同意、数据最小化和用户权利带来了复杂挑战。许多人工智能模型的不透明性质进一步加剧了问题,尤其是在组织必须解释个人数据如何影响结果以满足现代透明度要求时。

为了调和这些紧张关系,组织必须实施技术和组织保障措施,以保护个人权利的同时促进创新。本书后面将讨论的技术,如差分隐私和因果建模,可以帮助弥合这一差距。

关键法规包括:

  • 通用数据保护条例GDPR):要求对处理欧盟居民数据的 AI 系统进行透明度、数据最小化和解释权 [14]。这对于通常被称为黑盒的机器学习模型尤为重要。组织必须解释自动化决策是如何做出的,并确保用户了解他们的权利。

  • 加州消费者隐私法案CCPA):赋予消费者访问、删除和退出数据收集的权利 [15]。依赖于持续数据收集进行训练和个性化的 AI 系统现在必须提供删除用户数据的机制,这可能需要模型重新训练或调整。

  • 健康保险可携带性和责任法案HIPAA):在美国医疗保健人工智能应用中保护患者健康信息 [16]。分析病历、诊断图像或患者数据的 AI 系统必须使用加密和严格的访问控制。违规可能导致重大罚款并损害患者信任。

  • 中国个人信息保护法(PIPL):对数据处理和跨境传输施加严格的规则[17]。全球人工智能提供商必须遵守 PIPL 的本地化要求,并在使用中国用户数据之前获得明确同意,这可能会影响人工智能模型在国际上的训练和部署。

为了遵守规定,组织采用隐私设计原则,应用匿名化和差分隐私技术,并实施强大的加密和访问控制。例如,用于疾病诊断的人工智能模型必须加密患者数据以满足 HIPAA 标准,并确保只有授权用户可以访问敏感属性。

构建稳健的人工智能数据治理

人工智能数据治理通过确保驱动人工智能系统的数据的质量、完整性、安全性和道德处理,为可信和合规的人工智能提供基础设施。关键实践包括:

  • 数据质量管理:确保数据准确、完整,并代表其服务的群体

  • 数据安全:在静态状态下应用可查询的字段级加密,在传输过程中使用强加密,并对数据访问进行全面审计,以保护敏感信息

  • 数据隐私:使用匿名化(移除标识符)、假名化(用假名替换标识符)、差分隐私(添加统计噪声)和数据最小化(仅收集必要信息)

  • 数据血缘追踪:维护数据来源、转换和下游使用的清晰记录

  • 访问控制:执行基于角色的权限和身份验证机制

  • 数据保留和删除:定义数据存储时长和何时应删除的政策

这些实践作为一个系统运作。任何一个领域的弱点都可能危及整个治理框架,并损害人工智能系统的可信度。

图片

图 4.2:人工智能数据治理框架的关键组件

图 4.2展示了有效的治理需要整体方法。数据质量依赖于可靠的血缘追踪。隐私通过弹性的安全控制得到加强。访问策略允许保留协议按预期运行。这些组件共同构成了一个基础,支持人工智能生命周期中从数据摄取到模型部署的道德结果和法规遵守。

当人工智能堆栈碎片化时,治理变得更加困难。每个组件执行自己的安全模型,这可能导致不一致。这一挑战凸显了统一数据平台(如 MongoDB Atlas)的价值,它可以简化整个堆栈的安全性和访问控制。

成功取决于将治理视为一个综合框架,而不是一系列孤立的任务。采用这种心态的组织可以降低合规风险,提高数据质量,并加强利益相关者的信任。随着 AI 系统规模扩大和法规演变,治理成为创新的战略推动者。它支持负责任的 AI 的所有其他维度,包括风险管理、透明度和问责制。

管理风险:评估和缓解策略

虽然强大的数据治理为可信 AI 奠定了基础,但组织还必须解决 AI 系统引入的独特风险。与传统的软件不同,AI 可以放大偏见,创造新的隐私威胁,并产生不可预测的结果,这些结果会影响关键的商业和社会决策。

积极的风险管理涉及两个互补的努力:早期评估风险并实施缓解策略。这些步骤共同帮助组织在问题升级为失败之前预见挑战。

风险评估

风险评估系统地识别和评估 AI 特有的威胁,如偏见、安全漏洞或道德失误。一个结构化的流程通常包括:

  • 风险识别:在技术、伦理、法律和商业领域编制风险清单

  • 风险评估:估计每个风险的可能性和影响

  • 风险优先级:将资源集中在最关键的问题上

  • 控制实施:制定安全措施以防止或减少风险

  • 监控和审查:持续评估控制措施的有效性

例如,医疗 AI 可能需要进行人口统计审计,以确保诊断公平性。一个金融模型可能需要测试其对抗攻击的鲁棒性。

实际的风险管理方法

为了在实践中缓解风险,组织可以采用技术、程序和文化策略的组合:

  • 持续监控:定期进行性能和合规性测试,并使用自动警报来检测漂移或退化

  • 事件响应计划:针对 AI 故障或违规预定义的协议,以减少停机时间和恢复时间。拥有预定义的响应程序可以最小化损害

  • 利益相关者参与:在 AI 设计和测试中涉及不同的社区,以揭示技术团队可能错过的风险

  • 对抗性测试:故意尝试操纵 AI 系统,在恶意行为者之前揭露其漏洞

  • 冗余和故障安全:在 AI 系统意外失败时,备份系统和人工监督以保持运营连续性

安永建议将法规素养与强大的治理和积极的监管机构参与相结合[18]。IBM 发现,80%的企业领导者认为可解释性和伦理是 AI 采用的障碍(这是一个提醒,强大的风险管理不仅关乎合规问题,也是一个战略差异化因素)[19]。

现代数据平台通过诸如审计日志(跟踪所有数据交互)和资源策略(自动化访问控制和执行合规规则)等功能来支持这些策略。

了解更多:www.mongodb.com/blog/post/simplify-security-at-scale-resource-policies-mongodb-atlas

在道德原则和监管合规的坚实基础上,下一个关键方面是确保 AI 系统的透明度和可解释性。

透明度在行动:可解释性机制

可解释性和透明度通过使 AI 决策可理解并使系统操作清晰来建立信任。虽然透明度提供了对 AI 系统整体工作方式的高级洞察,但可解释性深入到特定情况下为何做出特定选择的具体原因。两者对于构建负责任和值得信赖的 AI 系统都至关重要。

AI 透明度

AI 透明度指的是提供有意义洞察的能力,了解系统是如何设计的,它使用什么数据,以及它在系统层面的功能(与专注于单个输出的可解释性相对)。它包括披露使用的数据类型、模型的结构以及它采用的决策方法。

组织将数据隐私和安全列为 AI 实施的最高优先级,其次是性能和可扩展性[20]。从合规官员或审计员的角度来看,透明度对于证明对风险的掌控至关重要。

组织需要透明度来使 AI 倡议与业务目标保持一致并确保系统按预期运行:

  • 数据使用:对数据来源、格式和处理方法的清晰记录使风险评估、可审计性和合规性成为可能。

  • 一般模式:了解 AI 模型如何做出决策(尤其是在高风险用例中)使组织能够确保系统遵循定义的业务规则、公平阈值和监管义务。

  • 模型结构:了解一个系统是否使用基于规则的逻辑、传统机器学习或深度神经网络,可以提供关于维护性、监管和故障风险的预期信息。

透明度也加强了利益相关者的沟通。当 AI 系统驱动客户决策时,商业领导者需要清晰度。法律和风险团队需要文档化的证据来回应询问或捍卫结果。内部开发者需要共享对模型创建方式和其局限性的理解。

当持续实施时,透明度可以减少制度盲点并支持 AI 系统的负责任扩展。它成为治理、合规和创新的结构性输入(而非最后一英里输出)。

AI 可解释性

可解释性专注于回答 AI 系统为何做出特定决策的原因。虽然实现可解释性的方法正在进步,但由于现代 AI 模型固有的复杂性,许多方法在技术上仍然具有挑战性。在模型准确性和可解释性之间的权衡,以及使输出对人类可理解的需求,导致了现在在各个行业中广泛使用的几种方法:

  • 局部可解释模型无关解释(LIME):构建更简单、可解释的替代模型,显示输入特征的变化如何影响输出。LIME 可能被用来解释为什么特定的客户被拒绝贷款,通过隔离最影响决策的输入值。

  • SHapley Additive exPlanations(SHAP):使用合作博弈论为每个输入特征分配一个代表其对特定预测贡献的Shapley值。在一个预测 70%批准率的贷款模型中,SHAP 可能会显示高信用评分增加+20%,稳定收入增加+15%,逾期付款减少-5%,高收入负债比减少-10%,阐明模型如何得出最终预测。

  • 注意力机制:通常用于自然语言处理和计算机视觉,注意力机制突出模型关注的输入部分。在医学成像中,注意力层可以显示哪些 X 射线区域影响了诊断,使临床医生更容易验证 AI 决策。

  • 内在可解释模型:如决策树或基于规则的系统等更简单的模型提供完全透明度(尽管可能不如复杂神经网络和 LLM 准确)。例如,一个决策树可能这样读:“如果信用评分 > 700 AND 收入 > $50,000 AND 收入负债比 < 30%,则批准贷款。”

可解释性服务于多个业务关键功能。它通过揭示 AI 系统因错误原因做出决策的情况,使模型调试和改进成为可能,通过透明的决策建立利益相关者的信心,并通过提供 AI 推理的清晰文档支持监管审计。实施可解释 AI 的组织通常发现,从理解模型行为中获得的见解可以导致模型性能的改进、数据质量的提高,以及来自内部团队和利益相关者的信任增强。这种技术和商业效益的结合使可解释性成为一种战略能力,而不仅仅是合规要求。

可解释 AI 的商业案例

可解释性和透明度超越了技术准确性。它们塑造了组织如何管理风险、赢得信任以及满足责任标准。

  • 建立信任:当用户了解决策是如何以及为什么做出时,他们更有可能信任 AI 系统

  • 责任归属:可解释性在出现问题时明确了责任

  • 公平性评估:透明的系统使检测和解决偏见或歧视变得更容易

  • 合规性监管:许多行业需要可解释的人工智能,尤其是在高风险或面向消费者的用例中

  • 持续改进:理解模型行为有助于团队识别失败点、完善逻辑并随着时间的推移提高性能

可解释性应从设计阶段开始优先考虑。团队可以根据系统的预期用途、风险水平和适用法规选择适当的技术。

表 4.1:人工智能可解释性技术的比较:优势、劣势和用例

表 4.1 总结了四种常见的可解释性技术,并从优势、局限性和典型用例等方面进行了比较。这些并排的见解有助于团队根据监管要求、模型复杂性和运营需求选择正确的方法。

通过治理实现可信赖的人工智能

将原则转化为实践需要有效的治理结构,以确保人工智能系统得到负责任地开发、部署和监控。组织可以根据其规模、结构和监管环境从几种模型中进行选择:

  • 集中式治理:一个团队或部门监督所有的人工智能项目。这确保了组织内部的一致标准和问责制,但可能会引入瓶颈或减缓决策过程。

  • 分散式治理:各个业务单元管理自己的人工智能治理。这提供了灵活性和速度,但增加了不一致性和与公司标准不匹配的风险。

  • 混合治理:结合集中标准和分散实施。这种方法在平衡一致性和敏捷性方面表现良好,非常适合拥有多样化用例的大型或全球组织。

无论采用哪种模式,人工智能治理都应与组织的更广泛的公司治理结构保持一致。这包括将法律、技术、运营和道德责任整合到一个协调系统中,该系统既支持合规性,也支持创新。

前方的道路:新兴趋势和未来方向

随着组织实施本章概述的可信赖人工智能框架,同样重要的是要意识到该领域的发展方向。人工智能治理正在经历快速转型,由新技术、监管的变动以及来自客户、员工和公众对确保开发道德和负责任系统的日益增长的压力所驱动。

本节前瞻性地探讨了两个维度:将在未来几年塑造人工智能治理的趋势以及组织必须克服的持续挑战,以在规模上维持信任和合规性。

人工智能治理的演变

几个关键趋势正在重新定义组织如何处理人工智能治理:

  • 人工智能审计:对人工智能系统进行独立第三方评估,以验证其是否符合道德和监管标准

  • 全球监管协调一致:国际社会努力在不同司法管辖区协调与人工智能相关的法律和标准

  • 自动化合规工具:基于人工智能的解决方案,用于实时跟踪、监控和记录合规性

  • 标准化文档:如模型卡片和数据表等工具,提供对人工智能模型的一致、透明的报告

  • 协作治理:行业、监管机构、学术界和民间社会参与制定治理框架

这些趋势共同承诺将使人工智能系统更加可信、透明,并更容易审计。它们还通过标准化和自动化减少了合规负担。

持续的挑战和机遇

尽管取得了进展,但仍然存在几个挑战:

  • 扩展道德实践:在大型、分布式组织中一致地应用负责任的人工智能原则

  • 平衡创新和监管:确保合规性的同时保持灵活性和创造力

  • 技术复杂性:使高级系统透明、可解释和可审计

  • 演进中的威胁:应对新兴人工智能能力引入的新安全和隐私风险

  • 跟上人工智能的发展步伐:调整治理框架以适应像通用人工智能(GenAI)这样的技术,这些技术的演变速度超过了法规

这些挑战也为在可信人工智能方面领先的组织提供了机会,使他们能够将治理转化为差异化优势。

具有灵活治理能力的现代数据平台有助于为值得信赖的大规模人工智能奠定基础。

在这里了解更多:www.mongodb.com/resources/basics/data-management-strategy

摘要

可信人工智能不能仅通过意图来实现。本章探讨了道德框架、监管转变和数据治理实践必须积极实施,以确保人工智能系统中的透明度、公平性和问责制。

我们探讨了可信人工智能的实用概念,包括偏差审计、可解释性技术、伦理审查委员会、利益相关者参与和透明的文档。这些方法帮助组织在应对法律和社会期望的同时实现信任。

在这些基础之上,下一章将转向执行。我们探讨人工智能如何推动复杂系统的规模化现代化,从改造遗留应用程序到设计下一代平台。

参考文献

  1. IBM 数据泄露成本报告www.ibm.com/reports/data-breach

  2. IntellectAI 借助 MongoDB 大规模释放人工智能www.mongodb.com/company/blog/innovation/intellect-ai-unleashes-ai-at-scale-with-mongodb

  3. 什么是人工智能治理? www.ibm.com/topics/ai-governance

  4. 招聘过程中 LLM 的偏见审计arxiv.org/html/2404.03086v1

  5. 人工智能伦理www.ibm.com/artificial-intelligence/ai-ethics

  6. 数据管理策略www.mongodb.com/resources/basics/data-management-strategy

  7. 如何应对人工智能监管的全球趋势www.ey.com/en_gl/insights/ai/how-to-navigate-global-trends-in-artificial-intelligence-regulation

  8. 医疗保健利用管理中人工智能的监管www.hklaw.com/en/insights/publications/2024/10/regulation-of-ai-in-healthcare-utilization-management

  9. 欧盟人工智能法案:首部人工智能法规www.europarl.europa.eu/topics/en/article/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence

  10. 世界卫生组织对人工智能健康监管的考虑pmc.ncbi.nlm.nih.gov/articles/PMC12076083/

  11. 消除美国在人工智能领导力方面的障碍www.whitehouse.gov/presidential-actions/2025/01/removing-barriers-to-american-leadership-in-artificial-intelligence/

  12. 人工智能监管:创新推动的方法www.gov.uk/government/publications/ai-regulation-a-pro-innovation-approach

  13. 亚太地区人工智能监管格局lawtech.asia/the-landscape-of-ai-regulation-in-the-asia-pacific/

  14. 数据保护:commission.europa.eu/law/law-topic/data-protection_en

  15. 加州消费者隐私法案(CCPA)oag.ca.gov/privacy/ccpa

  16. HIPAA 合规性:MongoDB Atlas:www.mongodb.com/products/platform/trust/hipaa

  17. 在监管行业导航人工智能:监管考量指南www.sodalessolutions.com/navigating-ai-in-regulated-industries-a-guide-to-regulatory-considerations/

  18. 如何导航全球人工智能监管趋势www.ey.com/en_pk/insights/ai/how-to-navigate-global-trends-in-artificial-intelligence-regulation

  19. 人工智能治理:www.ibm.com/think/topics/ai-governance

  20. 拥抱内部审计中的人工智能www.bakertilly.com/insights/embracing-ai-in-internal-audit

第五章:使用人工智能进行现代化

在今天快速发展的数字环境中,企业面临着关键的转折点,这是一个他们可以维持现状或重新定义可能性的时刻。对于全球的组织来说,这个转折点集中在现代化那些已经成为运营关键且越来越难以维护的遗留系统上。根据最近的研究,80-90%的应用现代化项目失败,突显了组织在尝试更新其关键系统时所面临的巨大挑战 [1,2]。

本章探讨了人工智能如何改变现代化格局,提供了新的方法来克服传统障碍并加速通往现代、灵活和可扩展系统的旅程。

到本章结束时,你将了解以下内容:

  • 导致大多数现代化项目失败的根本挑战

  • 为什么传统的现代化方法越来越不可持续

  • 人工智能如何加速现代化进程的特定方面

  • 人工智能的限制以及人类专业知识仍然至关重要的地方

  • 现代数据平台(如 MongoDB)在成功现代化中的作用

  • 使用人工智能实施可重复现代化方法的实用方法

  • 如何通过人工智能增强测试策略以降低现代化风险

  • 来自领先私人银行成功转型的实际成果

现代化挑战

全球企业都在努力现代化其过时的软件。他们面临着削减运营成本、加速新功能的交付、集成人工智能以及满足安全和合规标准的压力。人工智能(尤其是生成式人工智能)的出现,为解决这些现代化挑战重新激发了热情。

然而,达到这一目标并不容易。应用现代化过程中的一些关键障碍包括以下内容:

  • 延长的时间表和成本超支:大规模应用程序的重写通常难以准确估计。它们往往将项目的时间表和预算延长到不可持续的水平,造成财务压力并削弱组织支持。最初 18 个月的项目经常延长到三年或更长时间,成本远超初始预期。

  • 领导层更迭和动力的丧失:现代化项目的长期性质可能会受到领导层变化的影响,最初的改革倡导者可能会离开。这导致新的管理层继承一个昂贵、持续进行且通常理解不足的项目,这可能会削弱信心并导致项目放弃。

  • 移动目标现象:当新系统正在构建时,旧系统仍在不断进化。在旧代码中添加新功能和修复错误。重写团队必须不断追赶,试图与移动目标实现功能对等。这种并行开发实际上将他们的工作量翻倍,使得新系统真正取代旧系统变得几乎不可能。

  • 未记录的复杂性和第二系统效应:旧系统通常包含多年的累积业务逻辑、未记录的边缘情况和最初是错误的功能。完全重写可能会丢失这种关键的组织知识。此外,开发者可能会成为第二系统效应的受害者,过度设计新系统,添加过多的功能和过于通用的架构,增加不必要的复杂性并延迟完成。正如一项关于大型机应用程序重写的研究发现,“10 个重写项目中只有 1 个在初次尝试中成功”,原因包括复杂的集成和工具不足 [3]。

图 5.1展示了许多组织在尝试现代化旧系统时面临的恶性循环。它显示了延长的时间表如何导致领导层变化,进而导致需求变化和范围蔓延,最终导致项目延迟或失败。这个循环突出了为什么传统的现代化方法往往不足,以及为什么需要新的 AI 辅助方法来打破这种模式。最终,这些综合因素为大规模重写创造了很高的失败概率,导致重大经济损失,并使组织在未来不愿进行类似的现代化努力。

图 5.1:尝试旧系统现代化时的恶性循环

MongoDB 已经开发了一种全面的现代化方法,包括熟练的工程师、全面的 AI 工具,以及从与世界各地许多客户合作的经验中提炼出的流程。许多客户谈论了一个理想的场景,即涉及一个 AI 系统自主管理整个现代化生命周期,从环境创建和代码重构到测试和生产迁移。然而,这种自动化程度仍然是一个遥远的愿望。

现代化的动机

尽管存在挑战,但组织仍然继续追求现代化倡议,因为不采取行动的成本超过了改变的风险。了解这些动机为 AI 如何帮助解决潜在需求提供了重要背景。大多数组织现代化背后的两个主要动机是:由于脆弱、不灵活的旧系统导致的缺乏敏捷性而落后于竞争的恐惧,以及保持旧业务关键系统的运行所面临的日益增长的压力和投资。

商业必要性:竞争压力和创新

组织不是简单地因为技术老化而进行技术栈的现代化;他们这样做是因为传统系统越来越多地限制了业务目标。现代数字基础设施使公司能够快速适应市场变化和客户期望的变化。当竞争对手可以在几天内而不是几个月内推出新功能时,现代化成为战略上的必要,而不是技术上的偏好。

在激烈的竞争背景下,传统应用程序对大多数组织来说是一个生存威胁,常常创造无形的技术创新障碍。开发团队的大部分时间都花在维护这些脆弱的系统上,而不是投资于他们需要以有效竞争的新能力。通过解决这些限制,现代化释放了人力和计算资源,以便专注于创新和竞争优势,包括 AI 集成、实时服务和高级分析。

技术限制:传统架构日益增长的压力

在大多数现代化倡议的背后,都存在几个共同的技术挑战,最终变得无法忽视:

  • 架构僵化:单体传统应用程序由于其本质而抵制变化。在现代模块化系统中可能只是一个简单的功能添加,在较老的架构中通常需要跨紧密耦合组件进行级联修改。这种僵化性大大增加了即使是微小变更的成本和风险,导致需要改进的待办事项不断积压,一次又一次地因为担心服务中断而推迟。

  • 性能限制:传统系统通常不是为了云部署或处理当今的交易量和数据增长而设计的。随着需求的增加,这些系统会遇到无法通过根本性重新设计克服的性能瓶颈。当组织试图实施需要实时数据处理和分析的 AI 能力时,这些限制变得尤为突出。

  • 安全风险:过时的框架和未修补的组件创造了不断增长的安全漏洞。虽然许多供应商愿意为这些传统系统提供扩展支持,但这种支持的成本通常令人震惊,远远超过即使是复杂的现代化项目。这种无法更新的能力增加了合规风险,尤其是在 GDPR、HIPAA 和 PCI-DSS 等法规继续随着更严格的要求而演变的情况下,正如在第四章**,可信 AI、合规性和数据治理*中更详细讨论的那样。

现代化的动机是明确的;今天没有哪家规模较大的公司没有某种现代化计划在运行,且效果各不相同。事实上,许多公司已经开始质疑这个承诺如此之多的 GenAI 新世界,是否正是他们摆脱遗留链束缚所需要的良方。

为什么 AI 单独不是答案

虽然 AI 工具提供了令人印象深刻的性能,但任何有哪怕一点使用经验的开发者都会很快意识到,由于以下几个原因,它们作为完整的现代化解决方案存在不足:

  • 可靠性问题:GenAI 模型产生非确定性输出,这意味着你不能保证用相同的输入得到相同的结果。这种不可预测性带来了重大风险,因为 AI 生成的代码可能包含微妙的逻辑错误、安全漏洞或合规性问题,这些问题只有在生产环境中才会显现。

  • 上下文限制:LLMs 在处理企业应用程序的广度和复杂性方面存在困难。大多数现代化工作涉及数十或数百个组件的互联系统。LLMs 缺乏在如此广泛的代码中保持上下文的能力,这使得它们容易在系统边界处引入错误,而依赖性在这里最为关键。

  • 工程判断:AI 系统无法复制经验丰富的架构师和工程师在现代化项目中带来的积累的智慧以及细微的决策能力。在评估遗留代码时,资深工程师会基于业务影响、风险评估和未来可扩展性需求,做出关于哪些组件需要重构、替换或保留的关键判断。虽然 AI 可以分析代码,但它无法有效地平衡短期迁移需求与长期战略目标,也不能根据业务价值与技术努力来优先考虑现代化工作。

编码助手通过自动化常规任务,标志着开发者生产力的转型时期。然而,这些助手面临着与 GenAI 相似的固有局限性,因为它们的基础依赖于这些技术。但这并没有阻止许多负责现代化应用程序的开发者拿起这些编码工具,思考他们能将这些工具推进到现代化目标的何种程度。很快就会变得明显,你给编码助手的工作越复杂,你花费在寻找和修复 LLM 引入的 bug 上的时间就越多。显然,存在一个收益递减定律,到了没有经验、流程和工具支持的情况下,仅仅使用传统的软件开发实践进行现代化更为容易和安全。

图 5.2:从传统软件开发到软件工厂的演变

图 5.2 展示了软件开发演化的三个阶段:传统软件开发(使用既定方法进行手动编码,对大型变更较慢,成本更高且风险更大)、AI 赋能的软件开发(LLM 辅助的开发提高了个人生产力并增强了传统编码流程,但难以处理复杂性),以及软件工厂(为速度和规模而设计的工业化、自动化流程,能够高效地转换遗留系统)。每个阶段都显示了自动化和能力的不断提高,展示了 AI 集成如何从个人辅助发展到全面的自动化开发工厂。

利用 AI 赋能的现代化释放创新

MongoDB 对现代化的结构化、经过验证的方法帮助组织利用 AI 将遗留应用程序转换为现代、可扩展和性能卓越的解决方案。该方法的开发是为了应对近 80%的企业应用程序仍在使用过时技术的现实,它结合了 AI 工具、专门的自动化和人类软件开发专业知识,以降低现代化风险并加速结果 [2]。

MongoDB 的现代化方法的核心是一个软件驱动的流程,它加速了现代化旅程的各个步骤。它从应用程序发现开始,其中 AI 工具分析现有的代码库和数据库结构,映射系统依赖关系,并生成早期文档。与客户紧密合作,MongoDB 团队随后生成测试用例,这对于缺乏正式测试框架的应用程序尤其有价值,并迭代地将遗留代码转换为现代代码,根据测试结果进行优化,直到系统通过所有质量检查。虽然目前还不是完全自动化的装配线过程,但该方法随着每次迭代正朝着更高的效率和自动化方向发展。

在企业规模和复杂性方面实现现代化需要一套强大的工具集,利用 AI自动化现代数据平台。目前没有任何单一工具能够提供针对复杂代码重构、依赖分析、SQL 转换和大规模数据迁移的完整端到端解决方案。这就是为什么 MongoDB 在其现代化努力中采用工具链方法,整合了超过 25(且仍在增长)个针对不同任务的专用工具。

本节剩余部分将分解该工厂方法的基本组件,从其数据基础和编排模式到其 GenAI 加速步骤、测试原则和现实世界的性能基准。

从正确的数据基础开始

关系型数据库已经作为企业工作马超过 40 年,但它们的设计对现代应用程序开发施加了基本限制。开发者必须在多个表中分割数据,实现复杂的连接,并维护抗拒变化的刚性模式。随着应用程序需求的发展,这种架构不匹配减缓了速度,增加了认知负荷,并考验了创新。

今天的负载,包括实时分析和人工智能驱动的功能,需要一个能够处理多种数据类型、水平扩展并能快速适应变化需求的数据平台。像 MongoDB 这样的高级文档数据库平台提供了这个基础。通过将数据存储与开发者已经在应用程序中结构化信息的方式对齐,文档模型消除了减缓交付和复杂系统设计的阻抗不匹配。

MongoDB 提供了一个统一的数据平台,它原生支持广泛的使用案例:操作事务、时间序列数据、文本和向量搜索、物联网遥测等,所有这些都可以通过单个文档模型和查询接口实现。这消除了对特定工作负载数据库的需求,降低了复杂性、安全风险和运营成本,同时加速了创新。

图 5.3:MongoDB 的统一数据平台架构

图 5.3:MongoDB 的统一数据平台架构

图 5.3展示了 MongoDB 如何通过单一核心数据集实现多样化的工作负载。所有工作负载都运行在相同的底层架构上,该架构针对性能、可扩展性、弹性和安全性进行了优化,适用于全球、多云和本地环境。

除了运营效率之外,MongoDB 的文档模型使开发者能够以传统关系型系统无法比拟的速度构建现代人工智能驱动的应用程序。因为大多数现代应用程序已经使用 JSON 格式的数据用于内部对象、API、事件和集成,将数据以相同的形式存储可以解锁有意义的优势:

  • 自然数据映射:文档直接映射到 Java 等语言中的对象,减少了样板代码并简化了现代框架和开发库的使用

  • 敏捷性和开发者生产力:灵活的模式与敏捷开发实践和现代语言中常见的快速迭代相一致,无需复杂 SQL 模式迁移的摩擦

  • 可读性和降低认知负荷:开发者可以与完整的、自包含的对象(如用户资料或产品 SKU)交互,而无需在多个表中拼接数据

  • 性能和基础设施效率:非规范化 JSON(BSON)文档减少了查询复杂性,加快了结果,并在规模上提高了基础设施效率

当关系型和基于文档的模型并排放置时,这种对比变得尤为清晰。

图 5.4:关系型和文档数据模型的对比

图 5.4:对比关系型和文档数据模型

图 5.4比较了规范化的关系模式与基于文档的模型。在左侧,相关数据分散在多个表中,需要连接才能重新组装完整的记录。在右侧,MongoDB 将整个对象存储在单个 JSON 文档中,反映了它在应用程序中的使用方式。

一起,文档模型和统一数据平台构成了软件开发的一个强大基础。MongoDB 已经在现代应用程序中得到验证,现在也被视为人工智能应用程序的理想解决方案。越来越多的组织发现,这些相同的属性对于可扩展的现代化也是必不可少的。当与经验丰富的工程团队和可重复的框架结合时,这种方法打开了以前行业未曾见过的规模化应用程序转型的门户。

自动化现代化工厂流程

任何传统工厂都依赖于可重复的过程来提供一致和可靠的结果。MongoDB 对企业应用程序的现代化方法遵循相同的原则:使用自动化以受控和高效的方式扩展对遗留系统的转换。无论工具如何,现代化方法都遵循一个共同的模式。在这个模式中,每个项目都有其独特的细微差别,需要人类根据客户的独特环境、架构和优先级调整工具和流程。

工厂的每次迭代都包括以下内容:

  1. 分析:了解遗留系统的结构、依赖关系和业务逻辑。

  2. 测试生成:构建全面的测试以验证系统行为。

  3. 代码转换和测试:将遗留代码和数据转换为现代格式,同时保持功能等效性。

  4. 部署和迁移:以最小的干扰将转换后的应用程序迁移到新平台。

  5. 重复:对每个现代化阶段迭代应用这些步骤。

每次迭代的规模和范围取决于客户部署策略和工具等因素。一般来说,较小且更频繁的迭代可以降低风险并提供更早的反馈。

本节探讨了人工智能如何增强和加速这些过程,同时保持必要的人类监督。首先,我们将考察工厂本身的协调方式以及人工智能如何优化现代化过程。

编排:工厂的自动化方式

以人工智能为重点的工作流程正在引领编排工具的新时代。MongoDB 由于其与 LLMs 的紧密集成以及创建和更新代理流程的速度,使用 LangFlow 作为其现代化工厂自动化的基础。这个编排层的一个关键能力是 LLMs 不仅能够生成代码或脚本,还能够诊断和修复它们产生的错误。这些自我纠正的工作流程是使用 LangFlow 的视觉界面设计的,如图图 5.5所示。

图 5.5:用于 AI 代理开发的 LangFlow 编排工作流

图 5.5 展示了 MongoDB 在创建和管理 AI 编排工作流时使用的 LangFlow 可视化工作流界面。该界面显示了一个基于能力的流程设计,包含各种连接的组件,展示了 LangFlow 如何实现与 LLMs 的紧密集成,并提供了一种创建和更新代理工作流的视觉方法,通过其拖放工作流构建器简化了 AI 驱动的自动化流程的开发。

当然,编排只有在与自动化工具结合使用时才能产生价值。在下一节中,我们不会关注特定的工具,而是关注 AI 在现代生命周期中产生最大影响的战略领域。鉴于工具领域的发展速度如此之快,关注 AI 的使用“哪里”和“如何”将比分析单个工具提供更持久的价值。

AI 加速流程的地方

如前所述,MongoDB 的现代化方法并不将 GenAI 视为魔杖。任何尝试使用 LLMs 完全自动化现代化的人都知道其中的陷阱:脆弱的输出、隐藏的错误,以及耗时且无效的重工作,这些都违背了初衷。相反,MongoDB 工程师将 AI 视为精心组装的工具包的一部分,以加速关键任务,同时保持控制、精确和问责制。

本节探讨了 AI 在分析中实现的最大性能和生产率提升。

分析

任何现代化工作的第一步是明确了解遗留系统,它的构建方式,它做什么,以及它真正有多复杂。在一个案例中,MongoDB 的分析显示,代码库的规模几乎是客户最初认为的四倍。这一早期洞察有助于合理调整项目范围,避免后续的昂贵意外。

下面是 AI 如何帮助加速和增强分析过程的方法:

  • 系统分析和文档:许多大型系统缺乏最新的文档。LLMs 通过分析代码来生成应用程序功能核心能力的摘要,帮助填补这一空白。它们可以有效地提供一个应用程序的概述,并识别核心领域、编程语言、框架和业务流程。结合静态代码解析器和特定数据库的工具,它们还可以扩展到存储过程、触发器和数据库模式。然而,系统分析通常会导致一个缺口,即下游影响。虽然 LLMs 可以帮助记录直接集成,但它们通常缺乏整个生态系统的背景。这就是一个组织的架构或集成模型库变得有价值的地方,因为 LLMs 可以使用它们来突出集成关注的关键区域。

  • 依赖关系映射:AI 辅助的依赖关系图的一个关键成果是帮助团队可视化代码库中的深层依赖关系。从叶节点开始,即具有少量或没有依赖关系的组件,可以更快、更低风险地取得进展。这种有针对性的方法有助于避免尝试一次性解决整个大型、相互关联的代码库的低效性。现代化努力通常涉及迁移到微服务架构。依赖关系图提供了有价值的见解,有助于识别潜在的边界上下文和服务依赖关系。虽然 LLM 提供了合理的建议,但仍然需要主题专家来确保服务是适当的。

  • 模式转换:分析的一个主要领域涉及理解数据库模式并确定适当的文档集合和结构。首先,MongoDB 的关系迁移器RM)工具在幕后利用 AI 来完成这项工作。除了提供推荐外,RM 还允许用户调整文档结构。其次,利用大型语言模型(LLM)评估应用程序实体,如普通 Java 对象(POJOs)或企业 JavaBeans(EJBs),可以提供对应用程序结构的额外见解。通常,存在 LLM 无法考虑的细微差别或情境性考虑,需要人工介入。一个需要记住的关键点是,MongoDB 的灵活性意味着在进展过程中很容易更改文档结构。不花费无数小时争论文档的每一个细节,可以让团队开始转换代码,节省宝贵的时间和金钱。当团队发现文档中需要更改的内容时,更改的成本非常低。

  • 知识增强:使用 MongoDB Atlas Vector Search,团队可以创建 RAG 系统来存储和语义搜索项目文档、代码和最佳实践。利用 RAG 对于创建内部聊天机器人或搜索工具非常有用,这些工具使开发者能够查询大量的项目文档、代码、分析报告和现代化最佳实践。拥有易于访问的、最新的知识库是 AI 带来的另一个节省时间的功能。

对于领导者来说,所有这些都增加了信心。现代化可以在安全、规模化的情况下进行,而不会干扰核心运营。正如我们将在下一节中看到的,这个分析基础使得测试优先策略不仅成为可能,而且是必要的。

测试生成

早期现代化阶段关注测试对于确保业务功能保持完整至关重要。许多努力因担心破坏多年来一直有效的解决方案而停滞不前、失败或从未开始。积极应对这种风险对于最小化问题和在整个现代化过程中建立信心至关重要。

端到端测试

许多大型应用程序缺乏足够的端到端测试,迫使领域专家手动验证每个更改。虽然单元测试是必不可少的(并在下一节中介绍),但早期现代化工作从端到端行为测试中获益最大,尤其是当使用真实的应用活动生成而不是仅使用代码提示时。

图 5.6 展示了一个更可靠的策略:在运行时捕获输入、输出和数据库状态变化,以准确反映现实世界的业务工作流程。有了这个上下文,包括 API 流量(HTTP、JSON、HTML)、数据库状态变化和底层架构,LLMs 可以生成准确、有意义的测试用例。

图片

图 5.6:使用应用程序行为捕获进行端到端测试生成

此方法优于仅代码提示,后者往往由于缺少业务逻辑和应用状态而失败。一旦捕获了行为上下文,LLMs 可以在 Cucumber、Karate 或其他框架中生成测试,从而加速以与现有 QA 管道集成的格式进行覆盖。此外,将这些生成的测试矢量化并存储在知识库中增加了长期价值:开发者可以以语义方式查询系统的业务逻辑并跨领域重用关键模式。

基于纸张的测试

旧应用程序通常依赖于静态的、可读的测试计划,以文档形式存储但从未自动执行。LLMs 在这里提供了一个快速实现自动化的途径。如果可以访问数字测试文档,它们可以解析并转换成可执行的场景。如果文档太长或不一致,团队可以手动拆分它们或将它们矢量化以支持通过 RAG 进行语义搜索和测试生成。

LLM 解析文档并生成测试场景是一件简单的事情。然而,LLMs 的上下文限制可能存在问题。有几种方法可以解决这个挑战。一种是将测试手动拆分,另一种是将文档矢量化。文档矢量化使人们能够对数据进行测试特定的提问并生成测试。

除了缺乏自动化测试外,许多应用程序还缺乏测试数据或测试环境。本书的范围不包括构建测试环境或定义您的测试数据管理策略,因为这些项目对每个组织及其测试成熟度都是独特的。在关闭最关键的测试差距之后,下一步是开始实际的代码转换。

代码转换和测试

应用程序现代化有多种不同的形式和规模。现代化努力可能包括以下一个或多个领域:将逻辑从存储过程迁移出来并迁移到 MongoDB,替换应用程序服务器/运行时(如 JBoss 和 WebLogic),现代化较旧的框架(包括 Oracle Forms 和 WCF),以及迁移到不同的语言(如 Kotlin、Scala 等)。

现代化的通用方法并不独特,遵循一个常见的模式:

  • 测试生成

  • 代码转换和测试

  • 比较测试

  • 代码清理和优化

一旦所有问题都得到解决,代码在功能上等效,优化所需的努力就会大大减少。一些团队可能会选择在转换阶段进行优化,但这会引入更多的复杂性,并可能使调试更加困难。本章重点介绍核心转换过程,并不深入探讨转换后的优化过程,因为这些情况对每个现代化努力都非常独特。让我们深入了解整个过程。

通过采用测试驱动的方法,MongoDB 的现代化策略旨在安全地交付复杂的现代化。因此,第一步是关闭任何低级测试差距。无论使用哪种测试技术,LLMs 都可以显著减少生成或改进测试所需的时间。

  • 单元测试:存在许多生成单元测试的现有解决方案,因此本章不会深入探讨该主题。市场上出现了新的、基于代理的工具,如 Qodo Cover [5],旨在利用 LLMs 识别和关闭单元测试差距。MongoDB 现代化解决方案中的一个巧妙方法是通过依赖报告确保为所有依赖类生成单元测试。这种方法使迭代交付方法成为可能,同时确保所有依赖类都是可测试的。通过自动化测试生成并利用依赖图,组织可以实现一致且安全的迁移策略。

  • 集成测试:首先,让我们就“集成测试”这个术语达成一致,在这个书的背景下,集成测试是指测试代码和其他基础设施组件,例如数据库。由于测试应用更广泛范围的复杂性增加,需要不同的方法来进行集成测试。一种有效策略是遵循与端到端测试相似的模式。执行代码块(Java、存储过程等),并捕获输入、输出和状态变化。然后,将此信息、相关源代码和测试策略(边界测试、模糊测试、猴子测试等)输入 LLM 以生成自动化测试。为了减少验证生成结果是否有效所需的工作量,利用 LLM 对输出测试进行评分。这是通过将原始提示、输入和生成的测试用例输入 LLM,并提示它评分测试来完成的。然后,人类可以检查评分较低的测试用例以验证其有效性。集成测试必须解决当前解决方案和新解决方案。在现代化过程的每个步骤中,都应针对当前解决方案和新解决方案运行等效测试,以确保等效性。这将在“比较测试”部分中更详细地讨论。

  • 端到端测试:随着识别出更多的测试场景,它们将遵循前面的方法。一旦团队专注于转换特定的业务能力,识别边缘情况并不罕见。

AI 驱动的代码转换

代码现代化复杂度差异很大,但以下方法在加速交付方面,无论复杂度如何都已被证明是成功的:

  • 推荐:大型语言模型(LLM)在推荐代码转换方法的能力上有了显著提升。通过向 LLM 提供依赖报告和迁移目标,例如将 Java 转换为 Kotlin,来提供代码转换的策略。您必须在提示中包含关于您如何进行转换的基本细节,例如从没有任何依赖的能力开始,或者专注于一个业务能力,例如添加新客户。为了获得最佳结果,请审查 LLM 的响应,识别任何差距或关注点,并要求它根据这些细节改进提示。经过几次迭代后,您将获得一个针对您的现代化目标的定制提示,从而产生一个周密的现代化方法。这不能取代那些对 LLM 处理范围之外的上下文有深入了解的主题专家,但它提供了一个坚实的基础来开始。

  • 转换/编译/修复/测试:基于工厂的 MongoDB 方法使用代理式、闭环策略来自动化转换并消除大量繁琐的工作。人类参与整个过程,以指导应用程序迁移的各个方面。他们还参与其中,当自动转换、构建、测试和修复循环陷入停滞且 LLM 无法正确解决问题时介入。图 5.7展示了自动化的闭环代码转换工作流程。当测试通过时,过程成功完成。当测试失败时,系统自动回退到 LLM 修复阶段,分析失败原因并尝试在重新进入转换周期之前修复问题,创建一个具有人类监督的自我纠正自动化现代化管道,仅在自动循环无法解决问题时才需要人类介入。

除了解决过程中的问题外,还需要人类来审查代码并完善代码转换提示。在过程的早期,你需要尝试各种提示以确定哪种方法能产生最佳结果。LLM 在生成和改进提示方面变得越来越熟练。向 LLM 提供原始提示和期望的改进。为应用程序的每个独特方面重复此过程。例如,将 EJB 转换为 POJOs 以及针对数据库的存储库的提示需要为异步通信进行修改。

图 5.7:闭环构建过程

翻译挑战

MongoDB 对现代化的方法采用 AI 驱动的工具和工作流程,针对特定的代码转换进行定制,包括 SQL 到 Java、Java 到 Kotlin、SQL 到MongoDB 查询语言MQL)等。大型语言模型需要特定的上下文才能有效地执行这些翻译。例如,将 PL/SQL 转换为 Java 需要相关的数据库模式和 PL/SQL 代码。

为了克服 LLM 在大型或复杂代码翻译中的挑战,采用了多种策略,并根据具体情况进行了定制。在许多情况下,代码首先被分解成逻辑单元或代码块。然后,LLM 转换每个代码块,并使用先前转换的代码作为提示的输入。因此,转换后的代码是逐层迭代构建的。

然而,在极端情况下,由于代码的大小,这种迭代、复利的做法不起作用。为了克服这些情况,我们开发了一种专利待批技术,采用不同的方法。这种替代方法通过非常小的增量构建和测试来避免复利代码挑战。每个增量被翻译成目标语言并随后进行测试。虽然增量是相互依赖的,但每个翻译都是独立的,确保 LLM 不会面对过大的代码文件。通过一次测试一个增量,任何错误都能迅速被发现。

随着每个逻辑单元的现代化,测试新旧解决方案产生相同结果至关重要。下一节将讨论在比较测试中,AI 已经证明具有令人难以置信的加速水平。

比较测试

现代化过程中最关键的步骤之一是对比旧系统和新系统,以确保业务逻辑保持完整,流程按预期运行,数据得到保留。MongoDB 的现代化方法在早期阶段采用类似转换策略,以最小化比较结果时的挑战。在此阶段,新系统的性能和规模可能不是最优的,但可以接受,因为初始目标是现代化而不破坏业务逻辑。一旦新代码被确认正确,就开始针对非功能性需求进行优化,从而释放现代化系统的真正灵活性和性能。

虽然 LLMs 在直接比较大型或复杂的数据结果方面尚未证明有效,但它们在生成验证数据等价性的实用工具和测试脚本方面表现出色。

图 5.8 展示了一个简化的关系模式(左侧)和现代文档结构(右侧)。在关系模型中,字段使用如 FIRST_NAME 这样的名称,而文档模型使用 firstName 并嵌入相关数据,如职位和部门详情。LLMs 可以识别这些结构模式并生成执行并行比较所需的代码。

图 5.8:数据库结构

采用这种迭代和测试驱动的方法,集成错误通常很容易捕捉,尤其是在数据被隔离的情况下。更有趣的挑战出现在下游系统在数据编写后开始与数据交互时。

一旦代码经过验证并被证明是准确的,我们就可以开始对其进行优化。

代码清理和优化

一旦转换后的代码通过了初始测试,就有机会利用 LLMs 进行代码改进和系统优化。因为在整个过程中已经构建了足够的测试,这些更改可以迭代、快速且安全地进行:

  • 代码注释:LLMs 在注释代码方面证明非常有效,甚至可以推断出晦涩的变量名称或缩写的含义。这些注释还可以作为其他工件(如 Swagger API 文档或入职指南)的源材料。

  • 代码可读性:另一个常见的做法是让大型语言模型(LLMs)提高代码的可读性。常见的用例包括以下:

    • 改进变量和函数名称以提高可读性

    • 将大型方法重构为更小、可测试的单元

    • 重写复杂的条件逻辑以提高可维护性

    • 强制代码格式以符合组织的编码标准

    • 删除重复或不可达的代码

  • 代码优化:LLMs 可以帮助识别瓶颈,但这个过程可能很棘手,并可能产生一些意外的结果。在开始代码优化之前,始终要建立一个清晰的性能基线。当负责任地使用时,LLMs 可以帮助做到以下几点:

    • 减少内存使用

    • 提高执行速度

    • 优化线程或并发处理

部署和迁移

组织在部署代码方面有独特的方法,包括环境传播、门控检查、使用功能开关、CI/CD 管道工具等。AI 可以协助这些领域,但由于每个管道的定制性质,加速收益通常很小。然而,大多数成熟组织已经自动化了这些工作流程,使它们非常适合工厂型模型。

在整个过程中生成的额外测试提供了进一步优化管道以提高效率和自动化的机会。AI 可以推荐持续的变化来提高部署速度、减少人工干预并提高可靠性。

每个应用程序现代化工作都将有其迁移到新解决方案的独特要求。一些团队可能会选择并行运行遗留和现代系统,并缓慢迁移,而其他团队可能会选择分割出单个功能并逐个迁移。

对于对迁移策略的更深入探讨,我们推荐阅读 Martin Fowler 的《遗留系统替换模式》[4]。

建立可重复的现代化过程

采用软件工厂方法进行现代化改造的关键成果,尤其是通过 AI 增强的,是能够建立可重复的过程。一旦确定了针对特定类型的遗留系统或应用程序组件的测试生成、代码转换、部署和迁移的成功模式,并且对这些模式进行了识别和优化,这些模式就可以在类似的现代化工作中重复使用。这种可重复性并不仅仅是简单地重复做同样的事情,而是关于创建一个定义明确、高效且持续改进的工作流程。

持续改进周期是由每个现代化迭代中的反馈驱动的。随着团队完成转换和部署,他们可以收集有关 AI 工具的有效性、生成的测试的准确性、转换工作流程的效率以及迁移过程中遇到的挑战的见解。这些反馈被用于:

  • 精炼 AI 提示和模型:改进 LLMs 在代码推荐、转换和测试生成等任务中给出的指令,以在未来的迭代中获得更好的结果。

  • 优化工作流程:简化自动转换、构建、测试和修复循环,以减少人工干预并加快流程。

  • 增强测试策略:根据在之前的现代化工作中发现的问题类型,调整和改进测试方法。

  • 更新文档和最佳实践:在文档中捕捉到已学到的经验和成功的技术,这些可以用来指导后续的现代化项目。

通过积极采用这些改进,可重复的现代化过程随着时间的推移变得更加高效和有效。这使组织能够以更高的速度和更低的风险处理更大数量的遗留现代化,更接近完全现代化的数字景观。目标是创造一个自我维持的循环,其中每个完成的现代化项目都有助于使下一个项目更加顺畅和成功。

为了说明这些原则及其现实世界的影响,可以考虑以下案例研究。

AI 驱动的现代化转型改变了核心银行系统

一家历史悠久的私人银行面临着现代化数百个遗留应用程序的挑战,这些应用程序已成为创新的障碍。作为一项多年转型计划的一部分,该银行与 MongoDB 合作,利用 GenAI 驱动的工具和方法加速其现代化。

该工作始于银行最关键的两大系统:其投资组合管理平台和其在线银行界面。MongoDB 为银行的架构开发了定制的 AI 工具,结合了脚本、提示和适应其技术堆栈的迁移逻辑。GenAI 被应用于多个现代化任务中,包括:

  • 遗留代码分析和翻译

  • 从关系型模型到 MongoDB 的架构迁移

  • 数据移动和转换

  • 中间件迁移(从 Java 堆栈到云原生运行时)

  • 功能测试生成和自动化

与 MongoDB 的专家协同工作,银行采用了一种以测试为先、迭代的策略。这保留了业务逻辑,降低了风险,并使项目在整个过程中持续交付价值。

结果是显著的:

  • 代码迁移比之前的手动工作快 60 倍

  • 应用迁移速度提高了 20 倍

  • 回归测试从几天缩短到几小时

  • 自动化重复性任务,释放专家资源并压缩时间表

几个核心原则有助于银行的成功:

  • 基于文档的数据模型与应用设计自然对齐

  • 自动化测试脚手架保留了业务逻辑并减少了人为错误

  • 人机协作使交付速度更快,同时不牺牲控制

  • 增量交付支持早期成功和更广泛的采用突出图标

这个案例强调了 GenAI 与合适的数据平台、技术专长和交付方法相结合时的变革潜力。曾经被认为风险太大或过于复杂的事情,现在在企业规模上变得可行。

这个成功案例表明,当人工智能与合适的数据模型、专家监督和迭代方法相结合时,可以大规模实现现代化。虽然遗留系统转型项目历史上失败率高达 80-90%,但这些结果证明,通过人工智能能力、经过验证的方法、强大的数据基础和专家指导的组合,可以扭转这一趋势。此示例已被匿名化以增强编辑清晰度。了解更多信息,请参阅:mdb.link/private-bank-modernizes-legacy-banking-technology

摘要

现代化遗留系统是组织可以采取的最具挑战性但也是最有回报的举措之一。虽然风险很大,因为 80-90%的现代化项目因延长的时间表、领导层变动、移动的目标和未记录的复杂性而失败,但采取不行动的成本持续增长,因为遗留系统限制了商业敏捷性和创新。

人工智能为加速和降低现代化旅程的风险提供了强大的新能力,但它不是万能的。人工智能的非确定性、其上下文限制以及持续需要人为工程判断意味着人工智能最好作为综合现代化方法的一部分,该方法结合了自动化工具和人类专业知识。

MongoDB 对现代化的方法体现了这种混合策略,利用人工智能进行系统分析、测试生成和代码转换,同时保持对架构决策和业务逻辑验证的人为监督。该方法强调迭代、测试优先的方法,通过小步骤和持续验证来降低风险。通过在转换前生成全面的测试,并使用闭环自动化进行构建-测试-修复周期,组织可以更有信心和速度地实现现代化。

从正确的数据基础开始,并超越关系型数据库的限制,转向文档模型的灵活性和强大功能,组织不仅能够现代化其遗留系统,还能为未来的创新和增长定位自己。文档模型与现代化应用开发模式的自然对齐消除了阻抗不匹配,并满足了由人工智能驱动的应用程序所需求的各种工作负载。

在第一部分“人工智能和关键概念”中,我们探讨了使人工智能驱动的现代化成为可能的基本概念、技术和方法。在第二部分“现实世界的案例研究和实施”中,我们将研究人工智能如何被应用于各个行业垂直领域,下一章将重点关注制造和运动。这些案例研究将展示所讨论的原则和方法如何转化为可衡量的商业成果和竞争优势。

参考文献

  1. 为什么技术现代化项目/计划会失败!www.linkedin.com/pulse/why-technology-modernization-projectsprograms-fail-root-phil-harman/

  2. 为什么 84%的公司在数字化转型中失败www.forbes.com/sites/brucerogers/2016/01/07/why-84-of-companies-fail-at-digital-transformation/

  3. 大多数主机应用重写第一次都失败了www.ciodive.com/news/mainframe-application-modernization-hybrid-cloud/727958/

  4. 遗产位移模式martinfowler.com/articles/patterns-legacy-displacement/

  5. Qodo Covergithub.com/qodo-ai/qodo-cover

第二部分:

真实案例研究和实施

这套章节展示了不同行业的组织如何将生成式和代理式 AI 付诸实践,将战略转化为架构,架构转化为成果。每个案例研究都探讨了如何通过使用真实数据模型、可扩展的基础设施和智能编排来解决特定领域的商业挑战。

本书本部分包括以下章节:

  • 第六章, 代理式和生成式 AI 在制造业的实际应用 – 第一部分

  • 第七章, 代理式和生成式 AI 在制造业的实际应用 – 第二部分

  • 第八章, 媒体和电信行业的人工智能驱动策略

  • 第九章, 在代理式 AI 时代,Cognigy 的语音和聊天机器人

  • 第十章, 利用 AI 改造零售行业

  • 第十一章, 金融服务和 AI 的下一波浪潮

  • 第十二章, RegData、MongoDB 和 Voyage AI:金融服务业的语义数据保护

  • 第十三章, 利用生成式 AI 协作者在银行业推动客户成功

  • 第十四章, 在保险业利用 AI 创造商业价值

  • 第十五章, 使用 Fireworks AI 和 MongoDB 自动化保险承保

  • 第十六章, AI 推动医疗保健和生命科学领域的变革

第六章:代理和 GenAI 在制造业中的实际应用 – 第一部分

随着我们从本书的第二部分的基础概念过渡到现实世界的应用,我们开始按行业逐一探索组织如何将人工智能付诸实践。每个行业都面临着独特的挑战、数据环境和成功指标,从医疗保健的患者隐私要求和生命攸关的决策,到金融服务行业的合规性和实时欺诈检测,再到零售业的季节性需求模式和客户体验优化。这些不同的特征塑造了人工智能实施的方式、成功的样子以及哪些技术最为有效。

让我们从制造业开始,因为它提供了一个理想的试验场:从传感器和系统中流出的丰富运营数据、复杂的多元优化问题,以及可衡量的成本节约和效率提升。鉴于该领域人工智能应用的广泛性,我们将用两章来探讨制造业。在本章中,我们将关注人工智能如何成为现代制造业转型的基石,即供应链优化和库存管理,这是智能系统产生最直接成果的关键战场。我们将探讨生成式人工智能GenAI)和代理系统如何革命性地改变这些操作,将传统的库存管理从反应式、基于规则的途径转变为智能、预测性的系统,这些系统利用了结构化数据以及之前未被充分利用的非结构化信息来源。

到本章结束时,你将了解以下内容:

  • 人工智能如何推动制造业供应链转型的下一波浪潮

  • 从传统的 ABC 分析到 AI 增强的多标准库存分类的演变

  • 实施基于 GenAI 的库存分类的四步方法论,该方法论结合了非结构化数据

  • 如何使用自然语言处理NLP)将定性业务洞察转化为可衡量的库存指标

  • 代理人工智能在自主原材料管理和采购优化中的实际应用

  • MongoDB Atlas 如何使结构化和非结构化数据的无缝集成成为智能库存决策

  • AI 驱动的库存优化在现实世界中的应用实例和交互式演示,以及可衡量的业务成果

  • 利用 AI 预测现有和新产品需求的先进需求预测技术

制造业人工智能成功之路

虽然 AI 在制造业中的变革潜力得到了广泛认可,但现实是许多组织难以从试点项目过渡到生产规模实施。研究表明,大多数公司仍处于 AI 采用的早期阶段,大多数制造商仍然依赖传统方法和过时的设备。从成功的概念验证到实际部署之间的差距是行业面临的最重大挑战之一,许多有希望的 AI 项目未能实现重复使用和融入运营业务。

成功大规模部署 AI 的组织与那些努力不懈的组织之间的区别不在于技术访问权限,而在于它们如何协调技术基础设施、组织准备和人为因素之间的复杂互动。值得注意的是,研究表明,公司规模、技术密集度和供应链角色并不能显著预测 AI 采用的成功。相反,组织的数字准备和基础能力最为关键。

了解这些模式后,那些从试点项目过渡到全面 AI 部署的成功组织在五个关键领域表现出共同特征:

  • 确定高影响价值驱动因素和 AI 用例: 应将努力集中在 AI 产生最大效用领域,而不是随意使用。根据凯捷咨询公司的一项研究,以下三个用例对于启动制造商的 AI 之旅至关重要:需求计划、智能维护和产品质量控制 [1]。这些用例提供了明确的企业价值、相对容易的实施和可用数据的最优组合。

  • 将 AI 战略与数据战略对齐: 组织必须建立强大的数据基础,并制定直接支持其 AI 目标的数据战略。这种对齐确保了收集、处理和提供正确的数据,以有效推动 AI 应用。

  • 持续数据丰富和可访问性: 高质量的数据,易于在组织内部获取和使用,对于 AI 项目的成功至关重要。制造环境从传感器、设备和流程中产生大量数据,必须被正确捕获和结构化。

  • 赋权人才和促进发展: 通过为员工提供培训和资源,组织可以赋予他们有效利用 AI 的能力。这种以人为本的方法确保 AI 增强人类能力,而不是取代它们。

  • 实现可扩展的 AI 采用: 建立强大且可扩展的基础设施是释放 AI 全部潜力、实现其在组织内部顺畅且持续集成的关键。该基础设施必须支持部署日益复杂的 AI 代理和多代理系统。

当应用于制造业最数据丰富和优化密集的领域之一:供应链管理时,这些基础原则变得尤为明显。在这里,庞大的运营数据集、清晰的回报率(ROI)指标和立即的业务影响创造了一个展示人工智能实际价值的理想环境。

由通用人工智能(GenAI)驱动的供应链优化

现代制造业供应链代表了当今商业中最复杂的系统之一,其相互连接的网络遍布全球。这些错综复杂的运营的核心挑战是库存优化和管理。每个组织都面临着同样的关键权衡:保持较高的库存水平可以提供缓冲,以应对意外的需求波动,但这也伴随着增加的持有成本,最终影响盈利能力和竞争地位。

在考虑牛鞭效应时,这种平衡行为变得更加具有挑战性,需求突然变化可以通过供应链级联,影响采购和采购、制造和生产、分销、物流和零售运营的成本和绩效。供应链中的每个参与者都必须在这些复杂性中导航,同时努力控制运营成本并确保按时向客户交付。

技术进步的变革潜力应运而生。物联网和人工智能,尤其是通用人工智能(GenAI),正在改变组织对待供应链管理的方式。这些技术通过实时监控、预测分析和增强决策能力,实现了前所未有的透明度、效率和适应性,将曾经被动的平衡行为转变为主动、智能的优化系统。

汽车行业体现了这种复杂性,其多层供应商网络、即时需求要求和全球相互依赖性使其成为理解现代供应链挑战的理想案例研究。

图片

图 6.1:供应链管理组件和数据流

图 6.1 强调了汽车供应链紧密互联的本质。它强调了在设计、制造和销售等上游、中游和下游功能之间进行协调决策对于信息流和零部件高效流动的重要性。这些互动的复杂性表明,汽车行业需要智能、灵活和有弹性的供应链管理解决方案。

这个汽车行业的例子说明了所有制造业面临的更广泛挑战:传统的、手动的方法已不足以管理如此复杂的网络。每个连接点都代表着潜在的瓶颈、风险和优化机会,需要实时可见性和智能决策能力。

库存管理成为实现高效供应链、控制成本和以最小延迟向客户交付的关键。它包括关键的业务流程,如在不同供应链点估计物料需求、确定必要的物料数量、订购频率和安全库存水平。从需求预测和提前期优化到在复杂网络中维护实时库存可见性,这些相互关联的挑战需要复杂的协调,以确保正确的库存在正确的时间出现在正确的位置,同时最小化系统成本并满足客户需求。

多层次规划方法

现代供应链中所示出的复杂性要求同等复杂的规划方法,这些方法可以同时解决不同的时间范围和组织范围。战略规划和战术规划对于成功的供应链管理至关重要,帕累托原则表明,战略和战术规划中的 20%的努力可以产生 80%的总效果 [2]。然而,这些过程面临着重大的挑战,尤其是在预测长期需求、市场趋势和经济条件方面,因为延长的时间范围增加了市场条件、消费者偏好和技术进步的不确定性。为了系统地解决这些挑战,组织必须在多个决策层面上构建其规划流程。

公司通常在三个不同的层面上进行供应链规划:

  1. 战略层面:影响整个组织的高层次决策,包括情景规划,该规划检查内部和外部数据,例如全球新闻、政治发展和科学文献,以识别战略关注点和趋势,这些趋势将指导未来的情景。

  2. 战术层面:中期规划,专注于资源分配和在定义的时间框架和运营限制内实施战略决策。

  3. 操作层面:短期规划,解决日常运营、即时需求和实时调整,以维持供应链的顺畅流动。

这种多层次的方法为更复杂的库存管理策略提供了基础,其中每个规划层面都为优化过程提供必要的输入,这些输入将通过人工智能驱动的分类和分析技术得到增强。

库存分类和优化方法

有效的库存管理始于对库存项目的适当分类,以确定适当的控制政策。传统方法已从仅按美元价值分类的经典 ABC 分析发展到多标准库存分类MCIC),它结合了多个定量和定性因素以实现更精确的分类。最近,生成式 AI 解锁了将非结构化数据源(如客户评论和供应商沟通)转化为可操作的库存见解的潜力,创造了远远超出传统方法的全新智能分类可能性。

ABC 分析及其局限性

ABC 分析是一种广泛使用的方法,根据库存项目的相对重要性将其分类。

图片

图 6.2:库存分类的 ABC 分析框架

图 6.2 展示了 ABC 分析法的应用,该方法根据销售价值将库存分为三类:类别 A包括产生 80%总销售额的 20%的商品,类别 B覆盖产生 15%销售额的 30%的商品,而类别 C则由仅占 5%销售额的 50%的商品组成。这种分类有助于通过优先考虑高价值商品(A类)、平衡中等价值商品的可用性和成本(B类)以及最小化低价值商品的成本(C类)来优化库存。尽管 ABC 分析法因其简单性而受到重视,但它因过于关注美元使用而受到批评。这导致了更复杂方法的开发。

MCIC 和生成式 AI 的需求

MCIC 超越了美元价值,纳入了影响库存决策的额外标准。这些标准包括定量特征(可测量的数值数据)和定性信息(描述性、主观评估)。MCIC 使用的标准既包括定量因素也包括定性因素的一些例子。

通常考虑的定量特征是由实现即时库存交付的关键目标驱动的,这要求精确测量和优化以下因素:

  • 预期交货时间(天数)

  • 库存持有成本(项目价值的百分比)

  • 订单大小要求(单位)

  • 历史缺货频率(每年发生次数)

可能影响分类决策的定性因素代表了数十年来供应链演变的经验教训。汽车零部件供应商和汽车制造商在供应链全球化的早期就遇到了这些问题,并通过大量的试错痛苦地将这些担忧纳入其订单和库存管理系统:

  • 共同性(一个项目在产品中的使用范围)

  • 过时风险(变得过时的可能性)

  • 耐用性(预期使用寿命和可靠性)

  • 供应商可靠性(交付和质量的一致性)

  • 战略重要性(与业务优先级一致)

库存分类的基本挑战在于有效地结合这些多样化的信息类型。虽然定量特征可以直接纳入分类模型,但定性信息必须首先转换成可测量的值,以便对系统库存分类有用。

传统上,这种转换过程面临几个关键限制:

  • 手动评估负担:将定性信息转换为定量特征通常需要领域专家针对每个标准手动评估每个库存项目,对于大量库存来说这是一个极其繁琐的过程

  • 一致性问题:对定性因素的人类评估不可避免地会在不同的评估者之间引入主观性和不一致性

  • 未开发的数据来源:有价值的定性信息通常存在于非结构化数据源(如客户评价、维护记录和供应商沟通)中,这些数据源对传统的分类方法来说仍然难以接触

  • 可扩展性限制:随着库存目录的增长,手动转换定性信息变得越来越不可持续

通过统计聚类和其他无监督机器学习技术的高级实现可以应用这种方法,从而对库存重要性和适当的管理策略有更细致的理解,尤其是在定量特征和转换后的定性信息都可用于分析时。

AI 和 MongoDB 用于库存优化

人工智能和现代数据库技术的结合为解决库存分类中的传统限制创造了前所未有的机会。AI 驱动的解决方案现在可以自动处理大量结构化和非结构化数据,将定性洞察转化为定量特征,同时保持手动流程无法实现的可扩展性和一致性。现代平台如 MongoDB Atlas 为这些高级 AI 应用提供了统一的数据基础,使组织能够在单一灵活的架构中存储、处理和分析来自传统库存指标到客户评价和供应商沟通的多种数据类型。这一技术基础使得以前无法大规模实施的复杂库存优化方法成为可能。

GenAI 驱动的库存分类

GenAI 通过纳入关于需求和库存消耗模式的有价值信息的非结构化数据,显著增强了传统的 MCIC。非结构化数据可以转换成结构化数据,作为库存分类模型的特征输入。将非结构化数据作为特征添加可以提高分类结果。

产品评论可用于提取定性指标,例如推荐产品的概率、再次购买的概率以及期望与现实之间的差距。除了评分分数外,通过分析文本和附带的图像,我们可以提取有关客户对特定产品的主观观点的详细信息,这可能会影响未来的需求。

图片

图 6.3:用于库存分类的非结构化数据的 GenAI 转换

图 6.3展示了 GenAI 将非结构化数据转换为库存分类的宝贵特征的核心理过程。在左侧,我们看到多样化的非结构化数据来源(客户文本评论、音频/视频评论和社交媒体提及),这些数据在传统的库存分类系统中之前未被充分利用。中间的大型语言模型LLM)作为一个强大的转换引擎,处理这些多样化的输入,提取有意义的模式、情感和见解。然后,这些被结构化为定量特征,可以直接输入到库存分类模型中,与传统指标一起使用。

实施基于 GenAI 的库存分类的方法论

虽然图 6.3 中展示的概念性转换展示了 GenAI 在库存分类中的潜力,但将这一愿景转化为实践需要一种系统性的方法。组织需要一个清晰的路线图,以解决处理不同数据类型的复杂技术问题、创建有意义的评估标准的挑战以及现有库存系统的集成需求。

实施基于 GenAI 的库存分类的方法论遵循四个步骤的过程:

  1. 从非结构化数据创建和存储向量嵌入。

  2. 设计和存储评估标准。

  3. 创建一个代理应用程序,根据标准执行转换。

  4. 重新运行具有增强特征的库存分类模型。

图片

图 6.4:基于 GenAI 的库存分类的四个步骤方法论

此流程图展示了实施 AI 增强库存分类的四个步骤的顺序过程。

这种非结构化数据的集成在传统的库存分类方法上取得了重大进步,使组织能够考虑客户的意见、市场情绪以及其他定性信号,这些信号通常包含需求模式变化或产品性能问题的早期指标。

这个方法论中的每一步都建立在之前的基础上,创建了一个全面的框架,改变了组织处理库存分类的方式。让我们详细检查每一步,以了解这种转换在实际中是如何展开的。

第 1 步:从非结构化数据创建和存储向量嵌入

在这个初始步骤中,非结构化数据源,如客户评价、社交媒体提及和音频/视频反馈,通过嵌入模型处理以创建向量表示。这些向量嵌入捕捉了非结构化内容中的语义意义和细微信息。

图片

图 6.5:非结构化数据的向量嵌入过程

此图展示了产品评价和图像如何通过嵌入器处理以创建存储在向量化评价集合中的向量表示。嵌入过程将文本、图像或其他非结构化数据转换为数值向量数组,这些数组可以高效地存储和查询。例如,一个产品评价如“优秀的产品...”被转换为多维向量(例如,[0.3, 0.6, ..., 11.2]),它保留了其语义意义。

这些嵌入使用类似以下结构的存储在 MongoDB 中:

{
  "_id": ObjectId('64d39175e65'),
  "review": "Excellent product...",
  "score": 5,
  "product": {...},
  "user": {...},
  "embedding": [0.3, 0.6, ..., 11.2]
} 

向量化过程使以前无法量化的信息变得机器可读和分析,为考虑客户情感和反馈的更复杂的库存分类奠定了基础。

第 2 步:设计和存储评估标准

在实施通用人工智能进行库存分类的过程中,一个关键步骤是开发评估标准。评估标准是将定性信息转化为定量分数的明确规则和指南。这些标准作为非结构化数据与库存分类模型所需的数值特征之间的转换层

此过程涉及多个输入和利益相关者,以确保人工智能系统评估库存项目是否符合相关业务目标。

图片

图 6.6:人工智能系统生成业务评估标准

此图说明了人工智能代理如何使用 LLMs、工具和嵌入器自动生成评估标准,综合多个输入,例如业务目标、专家领域知识、结构化数据(库存周转率和销售历史)以及非结构化数据(客户评价和合规政策)。

这些评估标准旨在反映组织的战略重点及其特定领域的专业知识。输入可以大致分为以下几类:

  • 业务目标:这些包括成本降低目标、缺货最小化目标和客户体验要求。业务领导者根据公司战略和市场需求定义这些目标。

  • 专家领域知识:领域专家提供关于影响库存决策的行业特定因素的见解,确保分类系统考虑到特定行业考虑因素。

  • 结构化数据:这是如库存周转率、交货时间、销售历史和采购订单模式之类的定量信息。

  • 非结构化数据:这是来自客户评价、质量和合规政策以及供应商审计报告的定性信息。

人工智能代理将这些输入结合以生成评估标准,然后以结构化格式存储。虽然以下示例为了说明目的而简化,但在实践中,这些标准将显著更复杂,通常包括多个条件评估、加权方案和置信度阈值:

{
  _id: ObjectId('64d39175e65'),
  name: "Product durability",
  definition: "Analyze product durability and assign a score from 1 (lowest) to 5 (highest).",
  dataSources: ["reviews"],
  embedding: [0.3, 0.6, … , 11.2]
} 

人工智能代理主动建议相关的数据源(在这种情况下,"reviews"),其中包含与特定标准相关的信息。通过确定哪些集合或数据存储库包含有关每个标准的有价值信号,人工智能系统在不同的信息源和可操作的库存洞察之间创建了一个智能桥梁。

这些标准随后被矢量化,以实现与产品信息和评价的语义匹配。这使得人工智能能够不仅基于传统指标评估库存项目,还能基于可能影响未来需求或战略重要性的定性因素。

MongoDB 的文档模型和向量搜索功能为这种方法提供了一种端到端解决方案,允许组织在同一个数据库中存储结构化库存数据和未结构化信息的向量嵌入。这种统一架构消除了数据孤岛,并提供了对库存相关因素的全面视图。

第 3 步:创建一个基于标准的代理应用程序以执行转换

在这一步,开发了一个人工智能代理,以系统性地将库存中的每个产品与在步骤 2中建立的评估标准进行对比。这个代理作为操作引擎,将定性数据转化为可量化的指标。

图片

图 6.7:基于标准的转换的人工智能代理工作流程

此图显示了人工智能代理如何通过结合传统的定量特征和人工智能提取的定性洞察来系统地处理库存产品。代理遍历每个产品,应用评估标准,对客户评价进行向量搜索,并输出增强的产品数据,包括标准指标(SKU、价格和交货期)以及新的基于人工智能的特征(耐用性评分和关键性评级),以改善库存分类。

代理应用程序遵循一个定义良好的工作流程:

  1. 产品处理循环:系统遍历库存目录中的每个产品。

  2. 标准匹配:对于每个产品,代理识别相关的评估标准。

  3. 向量搜索集成:代理使用向量搜索功能,根据标准嵌入找到与每个产品最相关的客户评价和其他非结构化数据。

  4. 语义分析:使用如product_ID和语义搜索查询等过滤器,代理定位并分析包含有关正在评估的特定标准(如耐用性、可靠性或用户满意度)信息的相关评论。

  5. 特征提取:代理处理这些非结构化数据,为每个标准提取可量化的分数,将定性评估转换为数值。

此过程的输出是一个增强的产品数据结构,它将传统的量化指标与新的 AI 提取的定性特征相结合。

例如,仅用定量数据表示的产品可能看起来像这样:

{
  "sku": 1,
  "average_unit_cost": 49.92,
  "annual_dollar_usage": 5,840,
  "lead_time": 2
} 

当增强为 GenAI 提取的定性特征时,相同的产品数据结构扩展到包括耐用性和关键性等属性:

{
  "sku": 1,
  "average_unit_cost": 49.92,
  "annual_dollar_usage": 5,840,
  "lead_time": 2,
  "durability": 1,
  "criticality": 0.5
} 

此转换过程为每个库存项目构建了一个全面的档案,它捕捉了来自客户反馈和其他非结构化来源的显式量化属性和隐式定性特征。

第 4 步:使用增强特征重新运行库存分类模型

最后一步涉及利用增强特征集以更高的准确性和业务相关性重新分类库存项目。此过程结合了传统的量化指标和从非结构化数据中生成的新定性特征。

图片

图 6.8:具有增强特征的库存重新分类过程

此图显示了最终步骤,其中通过特征选择、权重平衡和分类方法将 AI 提取的定性特征与传统的定量数据相结合。重新分类过程包括几个关键组件:

  1. 特征选择:在领域专家和业务目标的指导下,确定分类中最相关的特征。这可能包括传统的指标,如年度美元使用量adu)和交货时间,以及新的基于 GenAI 的特征,如耐用性或客户满意度。

  2. 权重平衡:根据业务优先级和专家意见,为每个选定的特征分配适当的权重,确保分类反映了组织的战略目标。

  3. 分类方法实现:选择一种方法来组合这些加权特征,这可能涉及基于规则的模型、机器学习算法或混合方法,具体取决于库存的复杂性和业务需求。

  4. 模型执行:使用增强特征集执行分类模型,生成反映每个项目重要性的更细微理解的更新库存分类。

此过程的输出是一个新分类的库存,其分类(例如,A、B、C)考虑了传统的财务指标和更深入的定性方面:

{
  "sku": 1,
  "annual_dollar_usage": 5,840,
  "lead_time": 2,
  "durability": 1,
  "class": "A"
} 

这种重新分类提供了对库存重要性的更准确和全面的视角,使企业能够做出关于库存水平、订购频率和供应商管理策略的更明智的决策。

Atlas:统一的 AI 基础设施

MongoDB Atlas 作为现代库存解决方案的全面基础,帮助企业提升服务质量和工作效率,通过实现库存的单视图、事件驱动架构和实时分析来优化库存管理。该解决方案为高级场景奠定了基础,例如集成物联网和 RFID 标签、深入 AI/ML 预测以实现精确的需求预测和分布式物流。该平台的灵活性不仅使其从仓库到销售点得到应用,还贯穿整个供应链,包括制造、运输、零售和逆向物流,使其成为不同商业领域的宝贵资产。MongoDB 的集成产品套件支持 AI 驱动的库存分类过程的每个步骤:

  1. 向量嵌入:MongoDB Atlas Vector Search 存储和索引从非结构化数据(客户评论、社交媒体等)生成的嵌入,使高效的语义搜索成为可能。

  2. 评估标准:MongoDB 的灵活文档模型将复杂的评估标准存储为 JSON 文档,包括定义、数据源映射和语义匹配的向量表示。

  3. 代理应用:MongoDB 的查询能力与 Atlas Vector Search 相结合,使 AI 代理能够高效地过滤库存项目,并找到语义上相似的评论或文档来评估定性标准。

  4. 分类模型:对于简单的分类方法,MongoDB 的聚合框架可以用来处理增强的特征集,重新计算库存分类,并将结果以与现有库存系统无缝集成的格式存储。对于更高级的方法,MongoDB 与行业领先的 AI 框架和平台无缝集成,以运行分类模型。

下图提供了 MongoDB Atlas 如何支持 AI 驱动的库存分类工作流程每个阶段的概览,将 AI 能力与数据基础设施需求相结合。

图片

图 6.9:MongoDB Atlas AI 驱动的库存分类流程

此图展示了人工智能能力和数据基础设施之间的无缝集成,这使得大规模实现复杂的库存分类成为可能。该流程演示了 MongoDB Atlas 如何作为连接原始数据源和可操作库存洞察的统一基础。通过支持向量嵌入、灵活的文档存储和单一平台内的原生人工智能集成,Atlas 消除了与多系统架构通常相关的复杂性和技术债务,使组织能够专注于优化其库存策略,而不是管理不同的技术。

GenAI 库存分类演示:视觉流程

让我们探索一个真实世界的演示,看看通用人工智能如何在实际中改变库存分类。这个流程展示了 MongoDB Atlas 如何超越传统指标,创建一个真正智能的库存管理系统,该系统捕捉了定量和定性因素。

第 1 步:从基本分类开始

MongoDB 的库存优化界面最初呈现库存项目的简单视图。第一个屏幕显示具有传统属性的产品,例如产品代码年度美元使用量,以及初步的加权分数类别分配。

在这个阶段,分类仅限于基本的定量指标。如图所示,只有年度美元使用量被积极考虑,并使用默认权重,导致分类系统有些单维。注意产品是如何根据美元价值(ABC类别)进行排序的,忽略了可能影响库存决策的许多细微因素。

这个起点代表了传统的库存分类:功能性强,但在复杂供应链中实现真正优化库存管理所需的深度不足。屏幕上可见的加权分数是我们比较通过通用人工智能(GenAI)实现的改进的基准。

图片

图 6.10:初始 MongoDB 库存优化演示界面,具有基本分类

在这个基础上,我们现在可以展示人工智能如何将这种基本方法转变为更加复杂且与业务相关的方案。

第 2 步:生成新的 AI 驱动标准

变革始于用户点击生成标准按钮,打开如图 6.11 所示的直观通用人工智能驱动标准生成器对话框。该界面通过允许商业用户用自然语言描述重要因素,在人类专业知识和人工智能能力之间架起桥梁。

在这个例子中,用户输入了以下内容:"考虑客户对产品的满意度,以考虑潜在的未来价值"。系统处理这个自然语言描述,并自动填充以下内容:

  • 标准名称客户满意度

  • 标准定义:一个全面的定义,解释如何衡量客户满意度,包括对重复购买概率的分析、从星级评分中提取的情感,以及相对于期望的价值感知的整体感知

  • 数据来源:界面允许选择相关的数据存储库,如 REVIEWSPRODUCTS,AI 将分析这些数据以量化先前主观的标准

这一步代表了一个关键创新,使用 NLP 将定性业务知识转化为可衡量的指标。系统不需要用户具备技术专长;它将业务意图转化为技术实现。

图 6.11:GenAI-Powered Criteria Generator 演示对话框

这种转换的简便性展示了 AI 如何使高级分析民主化,使复杂的分类对具有技术背景的领域专家来说变得可访问。

第 3 步:将新标准整合到分类中

生成后,新创建的 AI 生成的 customerSatisfaction 标准出现在界面左侧的 Select Criteria 面板中,现在与传统指标并列。当激活(如切换开关所示)时,系统无缝地将这一新维度整合到库存优化模型中。

注意界面如何更新以显示此新指标作为产品列表中的附加列。现在每个产品都显示一个 customerSatisfaction 的数值评分,有效地将之前未衡量的定性因素转化为可以影响库存决策的定量值。

特别有价值的是,系统如何保持一致的框架;新的 AI 生成的标准成为分类系统的一个完整组件,与传统指标同等考虑。在传统分析中可能看似相同的产品,在考虑客户满意度时现在显示出重要的差异。

图 6.12:AI 创建的客户满意度集成后的库存管理演示界面

这种整合展示了 AI 增强分类的真正力量:将先前无法衡量的业务因素纳入系统决策过程的能力。

第 4 步:加权并运行分析

最后一步展示了这一增强分类系统的灵活性和强大功能。如图 6.13 所示,用户可以通过直观的加权控制为每个标准分配相对重要性:

  • 0.5 用于 annualDollarUsage(保持财务指标的重要性)

  • 0.3 用于 leadTime(承认供应链的现实)

  • 0.2 用于 customerSatisfaction(纳入新量化的客户视角)

点击运行分析按钮后,系统根据这一套全面的准则重新计算所有库存项目的加权分数。结果产生的分类分配(ABC)现在反映了一种更复杂的分析,它平衡了多个业务优先级。

通过比较分类前后的情况,真正的业务影响变得明显。之前仅根据美元价值获得较低分类的产品,现在可能因高客户满意度评分而被认为是战略上重要,这表明有未来增长的潜力。相反,价值高但客户满意度差的项目可能被标记为需要更仔细的评估。

图片

图 6.13:加权控制和分析结果

本演示中显示的迭代过程使得库存管理策略能够持续优化。采用这种方法,客户领域的专家可以自由地专注于策略和业务影响,而系统则处理技术负担。组织可以通过生成更多标准,如可持续性合规性、供应链风险或市场趋势一致性,来逐步提高其分类系统,所有这些都在一个地方完成。这种方法将库存分类从静态的回顾性分析转变为动态的前瞻性系统,通过 GenAI 充分利用结构化和非结构化数据的全部潜力,使团队能够花更多时间在推动积极商业价值和成果的客户特定活动上。

虽然由 GenAI 驱动的分类增强了我们对库存的分类和理解,但下一个前沿领域在于自动化这些洞察产生的行动。从决策支持迈向自主决策,代理型 AI 系统可以独立管理采购流程、供应商关系和库存补充,基于我们已建立的智能分类。

通过代理型 AI 进行原材料管理

现在我们来探讨供应链管理中 AI 的另一个尖端应用:用于原材料管理的代理型 AI。虽然上一节展示了 GenAI 如何通过改进分类来增强决策,但这种方法通过部署能够主动监控、分析和采取行动以优化原材料库存的自主 AI 代理,将自动化推进了一步。这代表了从 AI 辅助决策到完全自主供应链操作的演变。

图片

图 6.14:原材料 AI 采购代理的编排和决策过程

此图揭示了使自主供应链管理成为可能的复杂推理能力。与遵循预定逻辑路径的传统基于规则的系统不同,这个 AI 代理通过其循环思维过程展示了动态问题解决能力。代理能够同时评估多个供应商;权衡竞争因素,如成本与可靠性;并做出细微的决定,如拆分订单,这代表了从被动到主动供应链管理的根本转变。这种认知方法使系统能够处理通常需要人类判断的复杂场景,例如在即时成本节约与长期供应商关系风险之间取得平衡。

原材料管理代理持续监控关键事件触发器,并主动采取行动以优化库存水平、采购、供应商选择和物流。它确保及时物料可用性,同时最小化成本和存储成本。使这种方法特别强大的是代理从每个决策周期中学习的能力,随着时间的推移改进其推理,并适应不断变化的供应链条件,而无需人为干预。

图片

图 6.15:原材料管理的 AI 代理编排架构

此架构展示了事件驱动设计如何实现真正响应的供应链自动化。中央编排服务作为智能协调器,处理来自库存系统、生产计划和市场需求的各种触发器,然后确定最佳行动顺序。与 MongoDB Atlas 作为中央数据平台的集成确保了从库存数据库到供应商绩效指标的所有组件保持数据一致性,同时实现实时决策。这种统一方法消除了传统上困扰供应链系统的数据孤岛,其中库存、采购和供应商信息存在于不同的系统中。该架构的模块化设计允许更新或替换单个组件,而不会影响整个系统,提供了适应不断变化的业务需求和新的 AI 能力的灵活性。

需求预测和库存优化

在确立了 AI 如何增强库存分类并实现自主物料管理之后,我们现在更详细地考察需求预测。这一能力在我们讨论中一直作为一个智能供应链运营的基础元素出现。

人工智能驱动的需求预测代表了驱动分类决策和自主采购行动的预测引擎。人工智能算法分析复杂的数据集以预测未来的产品和部件需求。预测准确性的提高直接转化为更优的库存水平。一旦预测了需求,人工智能系统可以通过分析历史销售数据、市场趋势、季节性模式、供应链中断和生产计划来确定最有效的库存水平。

人工智能系统还可以根据预测需求和目标库存水平自动订购,减少人为错误和管理开销。此外,人工智能可以通过分析性能数据来协助供应商选择和关系管理,以识别最能满足质量、交付和成本要求的合作伙伴。

图 6.16:人工智能驱动的需求预测和库存优化架构

此图展示了 MongoDB Atlas 如何通过集成新产品数据和当前产品数据,通过向量嵌入和相似性搜索实现全面的预测性需求预测。系统处理自然语言用户输入,利用基础 LLM 进行上下文分析,通过聚合框架结合多个数据源(需求数据、单价和消费者指数),并将结果输入到驱动库存库存优化决策的需求预测模型中,Atlas 触发器启用自动扩展和多区域功能。

对于没有历史销售数据的新产品,通用人工智能(GenAI)模型可以通过从类似现有产品中学习模式来创建合成数据。MongoDB Atlas Vector Search 通过寻找具有相似属性的产品并将该上下文输入到通用人工智能(GenAI)模型中,增强了这一功能,确保合成数据反映了现实的市场条件和客户行为。

MongoDB 对库存管理的益处

我们所探讨的复杂人工智能应用,从由通用人工智能(GenAI)驱动的分类到自主代理系统,都依赖于一个强大、灵活的数据基础,能够处理现代制造供应链的复杂性和规模。MongoDB Atlas 通过几个关键功能提供这一基础,这些功能直接支持本章讨论的先进库存管理方法。

MongoDB Atlas 为人工智能驱动的库存管理系统提供了显著优势:

  • 文档数据模型:处理多个工厂和供应商之间的复杂库存结构和层次

  • 向量搜索:启用基于多个标准的语义搜索能力,用于查找类似的产品或供应商

  • 细粒度安全和访问控制:确保供应链中不同利益相关者适当的数据访问

  • 时间序列集合:高效存储和分析时间序列数据,用于趋势检测和预测

这些能力协同工作,创建了一个统一的平台,支持从基本的库存跟踪到复杂的 AI 驱动优化的一切。通过消除在结构化数据、向量嵌入和实时分析之间进行复杂集成的需求,MongoDB Atlas 使组织能够专注于开发智能库存策略,而不是管理技术基础设施。这种集成方法加速了 AI 驱动解决方案的实施,同时提供了对关键供应链运营所需的可扩展性和可靠性。

为第五代工业重新构想库存管理

库存管理和优化是高效制造运营的关键组成部分。通过利用先进的 AI 能力,特别是用于非结构化数据分析的通用人工智能(GenAI)和用于自主决策的代理人工智能(agentic AI),组织可以在平衡成本、可用性和响应能力的同时,实现新的效率水平。

这些技术与灵活、可扩展的数据平台(如 MongoDB Atlas)的集成,使制造商能够做到以下几方面:

  • 提高预测准确性

  • 优化库存水平

  • 提升供应商选择和管理

  • 积极应对供应链中断

  • 在不牺牲服务水平的情况下降低持有成本

随着制造业继续向第五代工业(Industry 5.0)发展,这些 AI 驱动的库存优化方法将越来越成为在全球化市场中保持竞争优势的关键。从被动库存管理到预测性、智能系统的转变只是 AI 对制造运营影响的开始。

摘要

本章探讨了 AI 如何改变制造运营中的供应链和库存管理。我们考察了从传统的 ABC 分析等库存分类方法到由 GenAI 增强的复杂 MCIC 的演变,现在它可以结合来自客户评价、供应商沟通和市场信号的非结构化数据,以创建更细致和有效的库存分类。

实施通用人工智能(GenAI)驱动的库存分类的四步方法论,即创建向量嵌入、设计评估标准、开发代理应用程序和增强分类模型,展示了现代数据平台如何弥合定性业务洞察和定量决策之间的差距。我们已经看到了从将客户反馈转化为库存洞察的 AI 分类系统到能够独立管理原材料采购并在实时优化供应链决策的自主代理系统等实际应用。

通过详细的演示和现实世界的例子,我们已经展示了 MongoDB Atlas 如何作为统一的基础设施,使这些复杂的 AI 应用成为可能,提供在单一平台上处理结构化库存数据和未结构化市场情报的灵活性。这种集成方法允许组织从静态的、回顾性的库存分析转变为动态的、前瞻性的优化系统,这些系统能够持续适应不断变化的市场条件。

下一章将继续我们探索制造 AI 的旅程,通过考察这些相同的原则如何超越库存管理,从而改变更广泛的制造运营,包括预测性维护、质量保证以及整个制造价值链的生产优化。

参考文献

  1. 欧洲在制造运营中采用 AI 的领先地位www.capgemini.com/us-en/news/europe-is-leading-ai-in-manufacturing-operations-adoption/

  2. 供应链规划与建模以支持智能决策www.anylogistix.com/resources/blog/supply-chain-strategic-planning-and-modeling-for-decision-support/

第七章:智能体和通用人工智能在制造业中的实际应用 – 第二部分

在前一章建立的供应链基础上,我们将现在进入制造业人工智能的下一个前沿:智能运营系统,它不仅自动化任务,而且能够实时协作、学习和适应。虽然供应链优化展示了人工智能将反应性过程转变为预测性过程的能力,但我们将在本章探讨的应用代表了向真正自主制造生态系统的根本转变,其中多个 AI 代理共同优化复杂的、相互关联的运营。

本章探讨了四个关键领域,在这些领域中,协作人工智能正在重新定义制造业的卓越。我们首先从预测性维护开始,多智能体系统在机器优先级、故障预测、维修计划和维修指导方面进行协调,将设备管理从计划停机时间转变为智能的、即时干预。然后我们考察了人工智能如何保存和实施数十年的机构知识,确保退休专家的见解通过语义搜索和智能知识管理系统仍然可访问。超越工厂车间,我们研究了通用人工智能如何通过理解上下文、访问技术文档和提供个性化指导的复杂语音助手来革新车载体验。最后,我们探讨了车队管理优化,其中智能体 AI 系统自主协调复杂的物流决策,实时平衡路线、时间表、维护和资源分配。

每个应用都展示了现代数据平台如何使这些智能系统能够无缝集成结构化运营数据与非结构化知识源,为这些 AI 代理提供他们需要以自主方式做出复杂决策的全面上下文。

到本章结束时,您将了解以下内容:

  • 如何使用多智能体协作和 RAG 架构实现四阶段预测性维护策略

  • 机构知识保存的关键作用以及人工智能如何将部落知识转化为可搜索的、可操作的见解

  • 通用人工智能如何通过混合云边缘架构为下一代汽车语音助手提供动力

  • 用于车辆手册和技术文档的高级分块策略,以保留关键上下文和关系

  • 使用 ReaAct 框架实现智能体 AI 用于自主车队调度和优化的实施

  • 灵活文档模型、向量搜索和时间序列功能如何使复杂的智能体系统变得复杂

  • 用于连接车队事件管理和诊断系统的实际架构和数据模型

  • 集成制造系统在运营卓越和竞争优势方面的战略优势

预测性维护和多智能体协作

在确立了人工智能如何通过智能数据集成改变供应链决策之后,我们现在将转向另一个关键领域,协作人工智能系统正在该领域革命化制造:预测性维护。虽然供应链优化关注材料流动和库存管理,但预测性维护解决制造运营的骨干问题:通过智能、主动的干预,保持生产设备在最佳性能水平运行。

一个定义良好的维护策略可以成为任何组织的转折点,推动显著的收入和成本节约。以下是它是如何工作的:

  • 首先,确定对您的运营至关重要的设备。该设备的停机可能导致瓶颈,阻碍生产。

  • 第二,为这些关键资产配备传感器,以实现状态监控。这允许您实时监控设备的健康状况,在问题升级为灾难性故障之前识别潜在问题。

  • 第三,基于预测,系统可以生成工作订单,安排维护活动,甚至为维护人员提供指导。这确保了只有在必要时才进行维护,从而优化资源分配。

这一系列活动带来了可衡量的好处。通过节省劳动力和延长机器使用寿命来降低成本。此外,随着机器在最佳性能水平下运行,收入也会增加。

图片

图 7.1:最优维护策略所需的步骤

图 7.1 展示了实施预测性维护的三步过程。从确定关键设备和识别潜在停机后果开始,接着进行传感器化和实时健康跟踪的状态监控,最终在分析收集的数据、生成工作订单、安排维护并提供人员指导的数据驱动维护策略中达到高潮,最终实现降低成本和增加收入的最佳维护策略。

最优维护策略

最优维护策略不是一刀切解决方案。它关乎根据您的具体设备和运营需求选择合适的方案组合。这些方案从一端的高度复杂和昂贵到另一端更简单、更经济的选择:

  • 反应性维护:这是最基本的方法,即在机器故障后进行维护。虽然简单,但它可能导致意外的停机时间和更高的维修成本。

  • 预防性维护:这是一种主动方法,涉及根据预定的时间间隔或使用指标安排维护任务。这有助于防止故障,但可能效率低下,因为机器条件可能变化。由于设备老化、工艺变化或使用不同材料等因素,这些任务的阈值可能需要调整。

  • 基于状态的维护CBM):这种方法通过传感器和数据分析持续监控机器的健康状况。然后根据设备的实际状况而不是固定的时间表来触发维护。与预防性维护相比,这种方法更有效率,因为它避免了不必要的维护。基于阈值的警报系统通常与 CBM 一起使用。

  • 预测性维护:这是最先进的方法,使用数据分析来预测潜在设备故障,在故障发生之前进行主动维护,从而最小化停机时间。预测性维护需要在传感器和数据分析工具上进行大量的前期投资。

预测性维护使用数据分析来识别机器在故障之前的问题。这允许组织在最佳时间安排维护,最大化机器可靠性和效率。

根据德勤[1]的说法,以下是预测性维护如何使制造运营受益:

  • 3–5% 新设备成本降低

  • 5–20% 劳动生产率提升

  • 15–20% 设施停机时间减少

  • 10–30% 库存水平降低

  • 5–20% 降低持有成本

预测性维护不断进化。我们已经超越了基于阈值的监控基础,转向了更高级的技术,如机器学习模型。这些模型不仅预测故障,还能诊断根本原因和促成因素,从而进行有针对性的维修。

预测性维护的最新趋势是自动策略创建。这涉及使用 AI 根据定量和定性因素的组合来预测设备故障,同时生成维修计划,确保在正确的时间进行正确的修复。自动策略创建需要大量投资于研发,以及深入的行业知识、访问相关数据和实际操作经验。问题是,生成式 AI 能帮忙吗?

当前状态和挑战

答案是肯定的,生成式 AI 能帮忙。但在实施的每个阶段都存在挑战,组织必须考虑。每个阶段都提出了一个关键问题和独特的挑战,展示了组织在预测性维护部署中面临的技术和运营障碍。

图片

图 7.2:预测性维护部署各阶段遇到的不同挑战

图 7.2概述了四个阶段的预测性维护实施过程,展示了每个阶段的关键问题和相关挑战。特别值得注意的是,复杂性和数据需求是如何随着阶段的变化而演变的,从第一阶段的手动、耗时的机器优先级确定过程,到第二阶段缺乏训练数据和不断演变的故障模式的技術挑战,再到第三和第四阶段的集成复杂性和技能差距。这一进展揭示了为什么许多组织在预测性维护实施上遇到困难:每个阶段都提出了独特的技术和运营障碍,必须系统地解决。该图还说明了为什么整体、以 AI 驱动的方法变得至关重要;传统方法无法有效地处理这些相互关联挑战的多面性。

现在,让我们设想一个包含自动化和手动机器的工厂。我们可以称它为齿轮传动系统有限公司,其主要产品是变速箱。在这个工厂内,我们有一系列设备:切割机、铣床、测量设备等等。作为总经理,你被委以管理维护流程预算和改进策略的任务。你必须解决的一个紧迫问题是:“哪些机器应该优先考虑预测性维护项目,原因是什么?”这涉及到与维护经理和领导层进行咨询,并进行定量分析,这是一个相当手动的过程。

一旦你确定了机器,下一步就是安装传感器并训练机器学习模型。然而,出现了两个主要挑战。首先,你缺乏足够的运行到故障数据来有效地训练模型。其次,机器的健康状况会随着时间的推移而恶化,导致随着机器年龄的增长而演变的故障模式。

假设你设法克服了这些障碍,下一阶段将涉及维护调度和执行。你面临众多数据孤岛,包括库存数据和资源可用性数据,这些数据需要整合以制定全面的维修计划。此外,确保操作员能够熟练处理轻微的机器问题,以减少对外部专家的依赖并防止更严重的故障发生至关重要。虽然复杂问题可能仍然需要原始设备制造商(OEM)或系统集成商SI)的支持,但内部故障排除能力是无价的。因此,开发针对我们员工技能水平的易于遵循的文档非常重要。

图 7.3所示,解决所列挑战需要不同的数据:

  • 机器/关键性分析优先级:在这个阶段,我们需要结构化和非结构化数据。我们需要以前机器故障数据以及专家对哪些机器应优先考虑预测性维护及其原因的分析和意见。

  • 故障预测:这一阶段涉及结构化数据,如传感器数据和维护日志,以确定即将发生的故障的根本原因。

  • 维修计划和指导生成:在这两个阶段,我们处理结构化和非结构化数据。目标是结合这些数据以生成最佳的维修计划和操作指导。

图片

图 7.3:每个阶段的不同的数据需求

此图显示了预测性维护实施每个阶段的具体数据需求。第一阶段需要结构化数据(机器信息、生产数据)和非结构化数据(专家访谈、旧工作订单)以进行机器优先级排序。第二阶段使用结构化数据(传感器数据、维护日志)进行故障预测。第三和第四阶段将结构化数据(故障信息、库存数据)与非结构化数据(机器手册、旧工作订单、标准操作程序、服务说明)相结合,以生成维修计划和操作指导。

预测性维护生命周期中的这些不同的数据需求揭示了根本挑战:传统方法难以整合结构化传感器数据、历史记录和非结构化专家知识,这些数据对于有效决策至关重要。这种集成复杂性为探索如何通过 AI 和现代数据平台将这些传统孤岛过程转变为协作、智能系统奠定了基础。

AI 和 MongoDB 如何帮助

MongoDB Atlas 是一个多云开发者数据平台,旨在加速和简化开发者与数据的工作方式。通过使用 MongoDB Atlas,开发者可以使用 AI/ML、高级分析和实时数据处理来推动创新移动、边缘和物联网应用的端到端价值链优化。

为了解决我们已识别的数据集成挑战,我们将探讨 MongoDB Atlas 如何使预测性维护旅程的每个阶段得以实现:首先,将机器优先级从手动分析转变为 AI 驱动的洞察;其次,实施实时故障预测系统;第三,生成结合多个数据源的综合维修计划;最后,创建适应现实世界条件和多语言输入的智能维护指导。

第一阶段:机器优先级

当前预测性维护的机器优先级高度依赖手动分析。工厂人员收集由于故障造成的损失的历史和当前机器数据。然后,这些数据将与维护经理和领导的经验一起进行审查。基于这种综合分析,建议预测性维护项目的路线图,突出应优先考虑哪些机器。

然而,这种方法有其局限性。依赖手动分析可能耗时且可能无法完全捕捉到维护项目的全貌,因为定量数据源的使用有限。此外,解释的不一致性可能导致过度依赖制度知识,这反过来又可能导致可能错误或不准确的分析,从而影响项目的投资回报率ROI)。

随着 GenAI 的到来,事情发生了变化。可以创建一个基于 GenAI 的机器优先级工具,以减少制造专家在手动分析上花费的时间,并降低不良投资的风险。为了利用 AI,专家需要一个能够保存和操作结构化和非结构化数据的数据存储库。这个数据存储库使他们能够执行语义搜索,并为 LLM 提供正确的上下文,确保它根据工厂数据生成响应,而不会产生幻觉。这样的系统可以带来积极的企业成果。图 7.4 展示了以 MongoDB Atlas 作为 AI 数据存储库的系统外观。

图 7.4:GenAI 驱动的机器优先级

这种 AI 驱动的方案通过向量嵌入将结构化数据(总体设备效率OEE)、机器故障频率)与非结构化专家知识(访谈、报告)相结合。该系统使用 MongoDB Atlas Vector Search 查找相关上下文,并通过 检索增强生成RAG)方法将此信息传递给 LLM。当维护经理询问“我应该优先考虑哪台机器以及为什么?”时,系统可以根据关键性、维护成本和运营影响的综合分析推荐特定的机器,如 M001 或 M002。AI 应用程序,如 LangChain、LlamaIndex 或定制的维护管理界面,可以触发 Atlas Vector Search 以检索上下文信息并生成这些数据驱动的建议。

第二阶段:故障预测

现在我们已经讨论了优先考虑设备,接下来让我们转向故障预测。MongoDB Atlas 提供了实现故障预测所需的所有必要构建块和工具。通过提供操作数据的统一视图、实时处理能力、集成监控和警报,以及与机器学习工具的无缝兼容性,MongoDB Atlas 使组织能够优化机器性能并最小化停机时间。

图 7.5:智能铣床使用实时数据预测故障

图 7.5 展示了使用 MongoDB Atlas 的六步故障预测工作流程。它从优先级机器数据捕获开始,包括铣削规格和传感器读数,然后通过 Atlas Stream Processing 进行数据转换。转换后的数据以统一视图存储在 MongoDB Atlas 中。随后,变更流触发推理过程,并通过 Atlas Charts 进行可视化分析。最后,Atlas Triggers 使自动通知用户潜在故障成为可能,从而创建了一个全面的实时预测性维护系统。

如前图所示,我们有一个优先级的机器,它是一个带有传感器的外加工机床,这些传感器收集诸如空气温度、转速、扭矩和工具磨损等数据。这些数据通过 Atlas Stream Processing 进行处理,使得可以使用与 Atlas 数据库中相同的模型和查询 API 处理复杂的数据流。Atlas Stream Processing 使开发者能够构建聚合管道,以连续操作流数据,而无需批处理固有的延迟。结果可以持续发布到 MongoDB Atlas 或 Kafka 主题。这允许在数据甚至到达数据库之前进行数据转换和丰富。

一旦数据进入 MongoDB,另一个应用程序就可以对传感器值做出反应,并运行一个旨在预测故障的已训练模型。模型结果可以在推理和可视化阶段之间存储回 Atlas。然后可以使用 Atlas Charts 进行可视化。最后,可以使用 Atlas Triggers 和 Functions 向现场用户推送通知。这建立了一个端到端的故障预测系统。

实践中的海事船队预测性维护

Ceto 通过与 MongoDB 合作,将人工智能与来自客户船队的数千个传感器的实时数据集成,从而彻底改变了海上作业。这种实施允许 Ceto 预测和预防潜在的机械故障,简化操作,并主动管理风险。

Ceto 的核心论点是,船舶传感器数据可以揭示船舶距离机械故障有多近,以及由此产生的保险索赔。通过对船舶传感器读数进行高级过滤和实时分析,Ceto 在海上使船员更安全,同时提供更合适的保险政策和定价。

Ceto 现在每年处理超过三十亿个数据点。MongoDB 的架构为 Ceto 提供了几个关键特性,对于他们的运营至关重要,包括管理不断增加的数据量的可扩展性和用于高级数据压缩的时间序列集合。正如 Ceto 的首席技术官 Ben Harrison 所说:“MongoDB 的时间序列集合彻底改变了我们管理和利用船队数据的方式。实时处理和分析数据的能力显著增强了我们的预测性维护能力。”

了解更多请访问 mdb.link/leading-maritime-technology-company

Spotlight_Icon.png

第 3 阶段:维修计划生成器

在确定了设备故障的性质后,实施全面的维修策略变得至关重要。首先,我们必须生成一份维护工作订单。这份订单应包括维修说明、所需备件、时间表和资源可用信息。在这种情况下,既涉及结构化数据也涉及非结构化数据。维修说明将来自机器手册。在此过程中,MongoDB Atlas 作为操作数据层,无缝地整合了结构化和非结构化数据。

B34136_07_06.png

图 7.6:MongoDB Atlas 作为结构化和非结构化数据的操作数据层

MongoDB Atlas 作为维修计划生成的中心操作数据层,将机器手册和旧工作订单(通过 PDF 分块和嵌入处理)与结构化数据相结合,包括故障类型、库存信息和资源信息。一个工作订单生成器应用使用大型语言模型(LLMs)和聚合框架来生成包含正确模板、调度信息和维修计划的综合工作订单,利用向量搜索能力和结构化数据集成。

图 7.6 展示了使用生成式 AI 生成工作订单的过程。首先,我们从铣床手册和存储在 PDF 文件中的旧工作订单中提取信息块,并将它们转换为向量。这些嵌入随后存储在 MongoDB Atlas 中。MongoDB 的通用性使得可以在同一数据库中存储结构化和非结构化数据。利用 Atlas 向量搜索和聚合管道,我们可以将此数据集成到为工作订单生成器应用提供动力的 LLM 中。LLM 分析数据以生成适当的工作订单和模板,借鉴以往示例。它使用聚合技术填充库存和资源细节,并使用结构化数据。最后,它生成与旧工作订单相似的维修计划。此方法的特点是能够使用相同的 MongoDB 数据库来存储结构化数据,如故障类型、备件库存和资源信息。通过使用聚合框架从结构化数据中提取相关信息,以及使用向量搜索从向量中获取洞察,工作订单生成器应用中的 LLM 获得了上下文理解。

此应用无缝利用 LLM 生成带有正确模板的工作订单,通过聚合填充库存和资源细节,并最终根据机器手册创建维修计划。此应用可以运行在中央维护管理系统内。

第 4 阶段:维护指导生成

因此,我们来到了最后一步:我们如何利用 GenAI 来增强操作员或技术人员对机器的指导以维护机器?这里的挑战在于,维护场景通常涉及多语言文档、不断发展的服务说明,以及需要实时将新见解与现有维修程序整合。

图 7.7:使用 RAG 方法进行操作员工作指导

图 7.7展示了 MongoDB Atlas 如何通过 RAG 方法实现维护指导生成。多语言的服务说明通过 PDF-to-text 转换和翻译模型进行处理,然后与原始维修计划一起存储在 MongoDB Atlas 中。一个使用 LLM 的维修指令生成应用程序通过将翻译后的服务说明与现有的维修指令相结合来创建更新的维修计划,然后通过专用应用程序和 Atlas Triggers 触发实时更新,将这些计划发送给技术人员/操作员。

让我们通过一个示例场景来了解一下。在上一个步骤中生成了维修计划。现在,计算机化维护管理系统CMMS)发现其他技术人员上传到平台上的某些服务说明,但这些说明是用另一种语言(比如说西班牙语)编写的。我们可以再次使用 RAG 架构,智能地将这些服务说明与之前步骤中生成的维修指令合并。

我们首先需要从 PDF 中提取文本,将其翻译成英语,因为我们的其他数据是英文的,然后提供服务说明以及维修计划作为 LLM 的上下文。因此,我们有之前步骤中的原始计划,并且我们使用 LLM 将这一步骤中获得的服务说明完整地结合起来。

注意

我们在这里不执行向量搜索。一旦计划更新,我们可以通过 Atlas Triggers 和 Functions 将通知发布到技术人员的应用程序中。

总结来说,我们实际上是在整合 AI 和 GenAI 应用程序,以实施端到端的预测性维护策略。这种综合方法展示了四个阶段是如何协同工作的(从智能机器优先级到故障预测、维修计划,最后到自适应维护指导),创建了一个统一系统,将传统的反应性维护转变为主动的、数据驱动的操作。

图 7.8:模型链与统一数据存储

图 7.8展示了使用 MongoDB Atlas 作为统一数据平台,在四个阶段中实现端到端的预测性维护策略。每个阶段都通过 MongoDB Atlas 开发者平台(具有 Atlas Vector Search、流处理、数据库和聚合框架)处理结构化和非结构化数据输入,并结合 LLM 和基础/AI 框架,在每个阶段产生特定的输出:机器优先级、故障类型、维修计划和维修指令。

我们的输入包括结构化和非结构化数据的组合。我们利用 MongoDB Atlas 开发者数据平台提供的各种服务,包括 Atlas Vector Search、Atlas Stream Processing,当然还有 MongoDB 数据库和聚合框架。这些功能使我们能够为大型语言模型提供适当的环境上下文,并为人工智能模型提供适当的数据。最终,我们在每个阶段都获得了期望的输出,从机器优先级排序、故障类型识别和维修计划制定到指令生成。

您可以通过利用 MongoDB Atlas Vector Search 来驱动实时音频诊断的效率,了解更多关于人工智能在可再生能源中的应用:www.mongodb.com/solutions/solutions-library/real-time-audio-based-ai-diagnostics

多智能体协作系统

除了通过 RAG 架构推进预测性维护策略之外,智能体系统正在成为通用人工智能应用领域的下一个前沿。这些系统由一个或多个智能体组成,它们协作以提供价值,通常在相同或外部系统中相互交互。这些系统设计用于在执行步骤后与人类进行反馈和审查,根据其他智能体输出和人类输入提供的环境上下文调整其行为。

在预测性维护中,多智能体系统可以指派一个智能体分析机器数据以早期检测机械问题,同时另一个优化材料和劳动力的资源分配。更重要的是,不同的智能体可以使用特定任务的专业模型。例如,一个转录视频,而另一个使用自然语言处理来回答问题。

在此设置中,MongoDB 作为智能体系统的内存提供者。对话历史和向量嵌入使用 MongoDB 的灵活文档模型进行存储。Atlas Vector Search 允许对存储的嵌入进行语义搜索,而分片能力提供了水平扩展,同时不牺牲性能。接下来,我们将探讨如何开发一个三智能体协作系统以优化机器性能。

优化生产环境

在制造运营中,通过利用多智能体协作进行预测性维护可以显著提高运营效率。例如,考虑一个生产环境,其中三个不同的智能体(预测性维护、流程优化和质量保证)实时协作,以优化机器操作并保持工厂在最佳性能状态。

Screenshot 2025-04-03 at 4.59.10 p.m..png

图 7.9:用于生产优化的多智能体系统

图 7.9 展示了一个协作代理系统,其中三个专业 AI 代理协同工作以优化制造操作。质量保证代理接收质量反馈并与流程优化代理分享,该代理处理优化发现和维护发现。预测性维护代理监控机器的传感器数据,并与流程优化代理交换维护发现,通过预测性维护、流程优化和质量保证功能之间的实时协作,创建一种协调的方法来维持工厂性能的顶峰。

在这个设置中,预测性维护代理专注于设备维护。其主要任务是通过对机器产生的传感器数据进行分析来监控设备健康。它预测机器故障并建议维护操作,以尽可能延长设备寿命并减少停机时间。

补充这一角色,流程优化代理旨在通过分析和调整生产参数,如速度和振动,来消除瓶颈并保持产品质量,从而提高生产效率。该代理整合来自其他代理的反馈来决定调整哪些参数。例如,如果预测性维护代理检测到铣床温度上升,流程优化代理可以调整切削速度。

最后,质量保证代理通过分析优化后的生产参数并评估其对产品的影响来评估产品质量。它还向其他两个代理提供反馈。这三个代理持续相互分享反馈,将此信息作为短期记忆存储在 MongoDB Atlas 数据库中,而向量嵌入和传感器数据则作为长期记忆保留。

MongoDB 凭借其灵活的文档模型、强大的安全性、全面的数据治理功能和横向可扩展性,成为开发 AI 驱动代理系统的卓越内存提供商。

AI 工作流程自动化公司利用 MongoDB Atlas 转型业务运营

一家领先的流程自动化公司面临着构建个性化且动态的 AI 代理来处理战略业务角色中重复性任务的挑战。为了解决这个问题,他们利用了 MongoDB Atlas,该平台统一了他们的运营、分析和 GenAI 数据服务,从而简化了智能应用程序的开发。

通过 MongoDB Atlas,公司的 AI 代理实现了资源更少的新工作模式,使企业能够在保持人工监督和协作的同时自动化复杂的工作流程。他们的平台展示了如何使 AI 代理更加易于访问和具备持续学习能力,从而允许多个利益相关者协作修改和优化 AI 生成的内容,以改善业务成果。

为了编辑清晰,此示例已被匿名化。了解更多信息,请参阅:mdb.link/ai-workflow-company-agents

Spotlight_Icon1.png

知识管理和保存

工作流程自动化示例展示了 AI 代理如何改变业务运营,但它也揭示了一个基本依赖性:这些智能系统只有在其可以访问和利用的知识范围内才是有效的。虽然多智能体系统在协调实时决策和优化运营方面表现出色,但它们需要深厚的机构知识基础来做出真正明智的决策。这使我们想到了 AI 在制造中的另一个变革性应用:数十年来积累的专业知识的保存和实施。

传统的知识管理方法通常依赖于文档、培训计划和导师制。然而,这些方法面临着重大的局限性:

  • 文档往往不完整、过时或难以在需要时访问

  • 培训计划可能无法捕捉到通过多年经验发展而来的细微专业知识

  • 导师制依赖于经验丰富的人员的可用性,并且可能不一致

当制造劳动力老龄化,经验丰富的人员退休,带走他们可能增强我们所讨论的 AI 系统决策能力的宝贵知识时,这些局限性变得尤为突出。解决方案在于将这种部落知识转化为 AI 可访问的格式,可以直接输入我们已探讨的预测性维护和多智能体系统。

机构知识和 AI 解决方案的挑战

为了理解为什么知识保存如此关键,考虑一下一位与特定机器工作了数十年的资深维护技术人员突然退休会发生什么。制造组织往往严重依赖这种机构知识:经验丰富的工人知道但未正式记录的不成文信息、技能和实践。这种知识通常包括针对特定设备问题的故障排除技术、针对不同材料或条件的最佳机器设置、基于微妙视觉或听觉线索的质量检查见解,以及为了适应环境变量而进行的流程调整。

当经验丰富的工人退休或离开组织时,这些宝贵的知识可能会丢失,导致效率降低、质量问题以及新员工培训成本增加。更重要的是,这种知识差距限制了我们所讨论的 AI 系统的有效性。如果没有理解经验丰富的工人本能知道的微妙操作细节,预测性维护算法的准确性会降低,多智能体系统也无法优化他们不完全理解的过程。

通过捕获和索引宝贵的工人知识,包括文本和非结构化信息,AI 驱动的知识管理系统解决了这一挑战。通过从文档、手册和笔记中创建语义向量,制造商可以消除从数据孤岛中定位和转移知识的传统任务。这种方法使用户能够通过自然语言查询执行跨系统搜索,促进在不同平台之间无缝访问信息。

图 7.10:知识来源和存储架构

图 7.10展示了这种综合方法在实际中的应用。系统聚合了多样化的组织知识来源,从操作文档和历史记录到专家见解、监管信息和培训材料。该架构不仅简单地编目信息,还在不同类型的知识之间创建智能连接。例如,当维护技术人员遇到不寻常的设备行为时,系统可以立即将该观察结果与相关的故障排除程序、历史事件报告、记录访谈中的专家见解和监管要求相连接,所有这些都可以通过自然语言查询实现。所有内容都以向量、核心数据和元数据的形式流入 MongoDB Atlas,创建了一个统一的知识库,将孤立的信息片段转化为全面的知识网络,从而增强人类决策和 AI 系统性能。

实时知识应用

在确定了如何捕获和结构化机构知识之后,下一步关键步骤是使这种知识在需要时立即可用。知识管理架构通过智能管道处理车间请求,如图 7.11 所示。这种实时应用代表了我们的知识保存努力的成果,将静态信息转化为动态、可操作的指导,可以增强我们之前探讨的多代理系统和预测性维护工作流程。

图 7.11:知识管理架构

当操作员通过车间应用输入他们的观察和问题时,系统会执行以下操作:

  • 处理输入:用户请求通过嵌入创建管道发送

  • 语义搜索:MongoDB Atlas Vector Search 通过语义相似性识别相关知识

  • 上下文组装:提示工程系统将搜索结果与当前上下文相结合

  • 智能响应:基于组织知识,LLMs 生成可操作的指导

  • 持续学习:新交互增强了未来查询的知识库

这种架构使得无论操作员需要故障排除指导、流程优化建议还是合规性信息,都能即时访问机构知识。更重要的是,它创建了一个反馈循环,其中知识库持续增长和改进,确保今天产生的见解成为明天指导 AI 系统和人类操作员的机构知识。

主要欧洲能源公司利用 MongoDB Atlas 将数以 TB 计的地下非结构化数据变为可操作

位于意大利的这家全球能源公司,在 69 个国家拥有超过 30,000 名员工。其业务范围从勘探和钻探天然气和石油,到联合发电、可再生能源、生物精炼和化学生产。

该公司与 MongoDB 咨询合作进行培训,并支持工作负载迁移到 MongoDB Atlas。该组织希望迁移到一个具有无缝用户体验和易于使用的开发人员界面的托管服务。

使用 MongoDB Atlas,公司的用户可以快速找到跨越多年和地理区域的数据,以识别趋势和分析模型。MongoDB Atlas Search 还可以通过过滤掉无关文档来协助。团队还与平台集成了 AI 和机器学习模型,使其更容易识别模式。

为了编辑清晰,此示例已被匿名化。了解更多信息,请参阅:mdb.link/european-energy-company-insights

超个性化的车内体验

虽然知识管理关注的是制造组织如何保存和利用机构专业知识,但 AI 正在改变用户体验的另一个领域是汽车行业。我们从预测性维护到知识管理所探索的应用,展示了 AI 通过智能数据集成提高运营效率的能力。现在,我们将转向一个面向消费者的应用,展示这些相同的上下文理解和个性化辅助原则如何正在改变驾驶员与车辆互动的方式。

汽车行业正在经历快速转型,电动汽车、自动驾驶和高级安全功能推动了这一转型。这些进步创造了对更复杂和智能的车载系统的需求,这些系统能够为驾驶员和乘客提供个性化的体验。语音助手已成为现代车辆的标准功能,但今天的实现通常仅限于基本功能,如导航、车内控制和电话通话。

根据 SoundHound AI 最近的研究,83%计划在未来 12 个月内购买汽车的驾驶员会选择具有 AI 功能的汽车而不是没有 AI 功能的汽车。此外,79%的欧洲驾驶员表示他们会在他们的车辆中使用语音 GenAI 功能[2]。这些统计数据突显了下一代由先进 AI 技术驱动的车载体验的市场准备程度。

目前在车辆中发现的语音助手面临着几个限制。尽管大多数车辆都配备了这些系统,驾驶员也经常使用它们,但由于它们的功能有限,它们往往令人沮丧。许多这些系统只能以预定的方式响应特定的命令,创造出一个僵化的用户体验,无法适应个人偏好或情境背景。

车载语音助手的挑战和 AI 解决方案

车载语音助手的进步面临着来自驾驶员需求和汽车制造商限制的双重挑战。驾驶员对车载语音技术有明确的期望:个性化的体验能够理解他们的偏好并提供定制化的互动,以适应他们的特定需求;直观的使用方式不需要长时间的学习期;先进的功能在保持简洁的同时增强驾驶体验。

同时,汽车制造商和技术提供商也面临着他们自己的挑战。开发成本很高,因为构建智能车载系统需要 AI、自然语言处理和汽车集成方面的专业知识。上市时间压力迫使公司迅速推出可扩展的解决方案,以满足快速变化的客户期望,并保持与竞争对手的步伐。此外,汽车制造商寻求独特、品牌化的体验,以在日益同质化的市场中脱颖而出,同时应对监管限制。

图片

图 7.12:在语音助手开发中平衡驾驶员需求和汽车制造商挑战

此图展示了在开发高级语音助手时驾驶员期望和汽车行业限制之间的紧张关系。解决这种紧张关系的关键在于利用 GenAI 技术,这些技术可以同时满足驾驶员对复杂、个性化体验的需求,同时为汽车制造商提供可扩展、成本效益高的解决方案,以加速上市时间。

GenAI: 转变车载助手

GenAI 通过从根本上改变语音助手的运作方式,从基本的命令-响应模式转变为动态、互动的体验,满足驾驶员的期望和汽车制造商的要求。这些高级助手可以做到以下几方面:

  1. 理解自然语言和对话上下文

  2. 根据用户偏好和历史提供个性化响应

  3. 访问相关信息源,提供准确和有用的答案

  4. 适应不同的驾驶场景和环境条件

与需要特定的命令短语或遵循严格的脚本不同,由 GenAI 驱动的语音助手可以与用户进行更自然的对话。这使交互更加直观,并减轻了驾驶员的认知负担,使他们能够在获取所需信息和功能的同时,更多地专注于道路。

解决方案架构:MongoDB Atlas 和 Google Cloud 集成

在确立了 GenAI 在车载助手中的变革潜力之后,下一个关键问题成为:我们实际上如何实施这些功能?为了应对这些挑战和机遇,结合 Google Cloud Platform 和 MongoDB Atlas 的技术架构为下一代车载语音助手提供了基础。

注意

虽然此解决方案突出了云组件,但有效的车载助手需要混合架构。关键功能必须在车载上可用以进行离线操作,同时将云功能的轻量级版本嵌入到车辆中。随着汽车处理能力和连接性的提高,车载和云功能之间的这种平衡将越来越关键,对助手性能至关重要。

图 7.13 展示了下一代车载语音助手的混合云和车载解决方案。Google Cloud 端处理数据摄取(文档 AI、嵌入生成)、服务(语音到文本、文本到语音、Vertex AI)和 MongoDB Atlas 集成(向量搜索、变更流、用户数据)。车载系统通过 PowerSync SDK 管理前端/仪表板功能、后端助手工作流程、推理请求和车辆信号,从而实现云连接和离线语音助手功能,并实现无缝数据同步。

architecture.png

图 7.13:车载语音助手的 Google Cloud 和 MongoDB Atlas 集成

此解决方案集成了几个关键组件:

  1. 语音 API:Google Cloud 的综合语音技术处理驾驶员命令的语音到文本转录以及自然文本到语音的转换,即使在具有挑战性的声学环境(如移动车辆)中也能可靠地工作。

  2. 上下文检索的向量搜索:MongoDB Atlas Vector Search 根据语义理解而不是简单的关键词匹配,检索汽车手册和其他相关上下文信息。

  3. LLM 集成:检索到的上下文随后通过 Google 的 Vertex AI 输入到 LLM 中,使助手能够生成准确、上下文感知的响应,直接针对用户的查询。

  4. 车载集成:系统通过一个专门的后端无缝连接到车辆现有的界面系统,该后端管理助手的工作流程。这种集成提供了对实时车辆信号数据的访问,使助手能够理解汽车当前的状态(运行/停止)、速度、诊断信息以及其他遥测数据,从而实现基于车辆状况的更多上下文响应和主动协助。

该架构解决了在实现高级车载语音助手时遇到的几个关键挑战。系统通过多种数据访问方法实现上下文理解:向量搜索检索与车辆型号和查询相关的特定信息,而与车辆系统的直接集成则提供了对操作信号和诊断故障代码DTCs)的实时访问,从而使得响应能够基于文档和车辆的实际状态。此外,系统通过学习用户交互来提高相关性,随着时间的推移构建越来越个性化的体验,以适应个别驾驶员的偏好和使用模式。

高级代理架构:MongoDB Atlas 和 Google Cloud 集成

虽然初始实现侧重于通过改进上下文和准确性来增强语音交互,但图 7.14中展示的架构旨在支持更复杂的代理系统。

图 7.14

图 7.14:具有 AI 代理集成的 Google Cloud 和 MongoDB Atlas 架构

该架构通过添加 AI 代理能力和工具集成在先前的解决方案之上。代理方法将系统组织成四个核心组件:

  • 代理:协调整体交互流程并保持多个交流之间连贯性的中央协调器。

  • 大脑:生成响应和做出决策的语言模型能力和推理功能。

  • 工具:代理可以使用的各种能力,包括向量搜索、数据库访问和车辆系统控制。

  • 记忆:短期对话上下文和长期用户偏好,这些偏好保持交互之间的连续性。

该基础可以扩展到未来迭代中纳入额外的功能。对交通、天气和兴趣点信息的实时数据访问将使路线规划和旅行建议更加明智。基于驾驶员偏好和习惯的个性化建议将创造越来越定制化的体验,而针对复杂任务(如行程规划或车辆诊断)的多步骤推理将处理需要跨多个系统协调行动的复杂用户请求。与智能家居系统和其他连接设备的集成将扩展车辆作为更广泛连接生态系统一部分的角色,使家庭、车辆和工作场所环境之间的无缝过渡成为可能。

车辆手册的 RAG 实现挑战

尽管我们探索的架构为智能语音助手提供了技术基础,但其中最关键的部分之一涉及访问和处理特定车辆的文档,这带来了独特的实施挑战,这些挑战可能会决定系统的有效性。系统的一个关键方面是有效地管理为准确响应特定车辆所需的复杂技术文档。汽车手册对传统的 RAG(检索、摘要、生成)实现提出了独特的挑战。传统的分块方法通常会将技术文档分解成孤立的部分,在这个过程中丢失了关键上下文。这在汽车手册中尤其成问题,因为它们包含深度互联的信息,包括程序、警告、规格和图表。

图片

图 7.15:车辆手册的 RAG 实现挑战

此图说明了在汽车技术文档中实施 RAG 系统时的三个关键挑战:

  • 层次结构:汽车手册具有深层的层次组织,包括标题、标题、副标题和内容部分,这些部分在信息之间建立了自然的关系

  • 专业内容:这些手册包括安全警告、逐步程序、技术规格、零件编号和诊断代码,必须保持完整无损

  • 关系保持:许多部分引用了手册的其他部分或包含适用于多个程序的插图,从而形成了一个复杂的相互依赖网络

为了应对这些挑战,需要采用超越简单文本分段的先进分块策略。结构感知分块方法尊重文档结构边界,并保持相关内容在一起,防止关键信息的碎片化。内容识别技术使用模式识别来识别和标记特殊内容,如警告或程序步骤,以确保它们在分块过程中保持完整。最后,关系管理系统维护下一/前一分块引用,以实现顺序导航,同时相关分块识别保持具有相似上下文的内容的交叉引用,确保即使信息分布在多个分块中,互联信息仍然可访问。

图片

图 7.16:分块策略:传统分块与面包屑分块

此图比较了传统的块状方法(左侧),该方法将警告和程序分解成孤立的部分,丢失了关键的安全信息,与面包屑块状方法(右侧)相比,面包屑块状方法保持了文档结构和上下文。块状方法的面包屑通过维护层次路径(例如,引擎 > 换油 > 程序)并保持语义相关内容在一起来保留上下文。这确保了当驾驶员询问维护程序时,助手不仅可以访问具体步骤,还可以访问相关的警告、规范和相关信息。

Google Cloud 和 MongoDB:更佳的合作伙伴

该解决方案利用 Google Cloud 和 MongoDB Atlas 的互补优势,为车内语音助手提供强大、可扩展的平台。

Google Cloud 贡献以下内容:

  • AI 领导力:针对语音应用优化的 GenAI 和机器学习的尖端工具

  • 集成 AI 和云平台:语音识别、实时处理和云可扩展性的端到端集成

  • 可扩展的基础设施:可靠的云服务确保即使在数据量大的情况下也能保持平稳的性能

  • 开发者工具:用于 AI 功能集成和扩展的强大工具,加速开发进程

MongoDB 通过以下方式补充这些功能:

  • 面向文档的数据模型:灵活的架构设计,可以处理任何规模下的复杂需求

  • 大规模向量存储:高效存储操作数据、元数据和向量数据的能力

  • 汽车行业影响力:获得顶级汽车制造商的信任,拥有在扩展和优化数据解决方案方面的经验

  • 加速开发:完全管理的 MongoDB Atlas 平台简化了开发并减少了运营复杂性

此合作使汽车制造商能够快速部署复杂的车内体验,这些体验可以区分他们的车辆,同时保持汽车应用中预期的可靠性和性能。

AI 集成车内系统的战略优势

超个性化的车内体验不仅仅是一个技术升级;它们为汽车制造商在日益竞争的市场中提供了战略优势。通过利用先进的 AI 能力,特别是用于对话交互的 GenAI 和用于主动辅助的代理 AI,制造商可以创建独特的用户体验,从而建立品牌忠诚度和差异化。

这些技术与灵活、可扩展的数据平台的集成,使汽车公司能够开发出更直观、响应更快的界面,在驾驶时减少认知负荷,创建适应个别驾驶员偏好和习惯的个性化体验,在需要时提供上下文相关的信息以增强安全性,并通过在竞争市场中提供独特的 AI 驱动功能来区分车辆。

随着汽车行业继续向软件定义车辆的方向发展,这些 AI 驱动的车载体验平台将变得越来越成为重要的竞争优势,改变驾驶员和乘客与车辆互动的方式,并重新定义对驾驶体验的期望。

在以下链接中了解更多关于此用例的信息:

车队管理和优化

车队运营代表制造和物流企业的关键组成部分,直接影响运营效率、客户满意度和盈利能力。随着组织在全球供应链的复杂性中导航,以及客户对速度和可靠性的需求不断增加,传统的车队管理方法正在让位于能够实时动态优化路线、维护日程和资源分配的 AI 驱动系统。通过 AI 优化车队运营可以实现显著的效率提升和成本降低。通过利用先进技术,特别是用于自主决策的代理 AI,组织可以实现前所未有的车队性能水平,同时降低运营成本、提高驾驶员安全性和提升客户服务水平。

车队运营的调度代理

将代理 AI 集成到车队管理中代表了物流操作编排方式的范式转变。与依赖于静态规则和人工干预的传统系统不同,代理 AI 系统可以自主处理复杂输入,通过多个约束进行推理,并做出平衡竞争优先级的最佳决策。

图片

图 7.17:AI 车队调度代理:编排和决策过程

此图展示了用于车队运营的 AI 调度代理如何遵循思维→行动→观察→思维编排模式来管理复杂的物流决策。调度代理由用户请求驱动,并由短期上下文和存储在 MongoDB Atlas 中的长期数据指导。它编排与各种服务(如路线规划、维护调度和司机调度)的交互,以生成可行的配送任务时间表。

当一位车队经理输入一个请求,例如“我想安排下周的配送:周一至周五共 40 个需要取货的运输”时,代理会激活一个复杂的编排过程。系统首先检查可用资源(卡车和司机),识别约束(维护计划、司机工作时间),搜索历史数据以寻找类似的调度挑战,并应用最佳实践,如区域分组和错峰调度,以避免违规。然后,代理使用具有约束的路线优化引擎,生成优化的配送时间表,并通过调度 API 最终确定路线。整个过程展示了代理解决复杂物流问题的能力,基于多个数据源采取明智的行动,观察结果,并迭代优化其方法,直到达到最佳解决方案。这种代理方法将多个工具、数据源和目标整合到一个单一的协调决策框架中,使得调度比传统方法更加复杂。

逻辑和物理架构

在展示了代理 AI 系统如何做出智能调度决策之后,我们现在将检查使这种复杂编排成为可能的架构。车队调度代理的实施遵循模块化架构,该架构在分离关注点的同时,使组件之间的无缝集成成为可能。

图 7.18展示了车队调度系统的逻辑流程,显示了用户请求“下周安排 40 个运输”如何通过编排和推理逻辑流过,该逻辑使用 ReaAct 框架和 LLM 交互来解释请求。系统通过 API 调用执行任务,包括路线优化、司机调度和维护 API,同时通过 MongoDB 驱动连接到 MongoDB Atlas 进行数据库查询和向量搜索功能,最终将结果如“我们已安排下周在 18 辆可用卡车上的 40 个运输”返回到用户界面。

图片

图 7.18:逻辑架构

在逻辑层面,架构包括以下内容:

  1. 用户界面:为车队经理提供一个直观的界面,用于输入调度请求和查看结果。

  2. 编排和推理逻辑:解释用户请求并使用 ReAct 框架规划任务,然后通过 API 或函数调用到工具和数据库执行这些任务。ReAct 使 AI 能够循环思考、行动和观察结果。

  3. LLM:通过 API 提供迭代提示,以实现“思考→行动→观察→思考”模式。

  4. MongoDB 驱动程序:将编排服务连接到 MongoDB Atlas。

  5. 工具:包括数据库查询、向量搜索以及路线优化、司机调度和维护调度等专用 API。

  6. MongoDB Atlas:提供数据库查询和向量搜索功能。

物理实现建立在逻辑架构之上。图 7.19展示了在企业云网络内对车队调度系统的物理实现。用户通过连接到容器化微服务的 API 网关进行交互,包括车队调度代理(带有编排和推理逻辑)、路线优化微服务、司机调度微服务以及维护调度微服务。系统通过私有链接连接到一个 LLM 企业服务器和托管在公有云上的 MongoDB Atlas,这提供了数据库查询和向量搜索功能,确保了安全且可扩展的车队管理操作。

图 7.19

图 7.19:物理架构

此架构为实施高级车队管理功能提供了一个可扩展、可维护的基础,同时确保我们探索的复杂决策过程可以在企业环境中可靠部署。

车队调度器用 MongoDB

在为我们的代理车队管理系统建立技术架构之后,我们现在将转向一个关键的基础元素:系统如何存储和管理复杂的数据结构,这些数据结构使得智能决策成为可能。车队管理系统的一个关键方面是其数据模型,它必须适应有效决策所需的多种信息类型。MongoDB 的文档模型为表示车队运营中涉及的复杂、分层数据结构提供了一个理想的基础。

图 7.20

图 7.20:MongoDB 车队调度器

基于代理的舰队调度系统通过模块化架构运行,其中每个组件在决策过程中都服务于特定的目的。图 7.20展示了 MongoDB 的文档模型如何通过将代理数据组织成独立但相互连接的组件来支持这种架构。代理配置文件建立了核心身份和操作参数,而指令和目标提供了决策框架。记忆系统区分短期操作环境和长期历史知识,使代理能够在保持对当前条件的意识的同时,从过去的经验中学习。工具组件提供访问专用功能,如数据库查询和向量搜索,而模型组件管理驱动代理推理过程的 AI 能力。这种模块化方法允许独立管理每个组件,同时在整个系统中保持无缝集成。

代理配置文件和指令

代理配置文件定义了舰队调度器的核心身份和操作参数:

{
 "_id": "fleet_agent_1",
 "agentProfile": {
 "role": "fleet_scheduler",
 "permissions": ["readFleetDB","assignDrivers", "optimizeRoutes"]
 },
 "instruction": "Schedule upcoming truck deliveries and pickups",
 "goals": [
   "Minimize total transit cost", 
   "Meet delivery deadlines",
   "Optimize driver hours", 
   "Reduce empty miles"
 ],
 "createdAt": ISODate("2025-02-03T00:00:00.000Z"),
 "updatedAt": ISODate("2025-02-03T01:00:00.000Z")
} 

本文件封装了代理的操作指令,为其决策过程确立了明确的参数。

短期和长期记忆

代理的记忆架构区分了短暂的操作数据和持久的知识。图 7.21展示了 AI 代理如何通过在 MongoDB 文档中存储离散交互或短暂状态数据来管理短期记忆。代理架构将记忆作为一个独立的组件,与代理配置文件、指令和目标、工具和模型并列。每个短期记忆文档捕捉特定的操作数据,如行程 ID、驾驶员分配、路线状态和预计到达时间,使代理能够保持对当前车队运营的上下文,并区分临时操作数据和持久知识。

图片

图 7.21:代理的短期记忆

短期记忆捕捉离散交互或短暂状态:

{
 "_id": ObjectId("123456789abcdefghijklm"),
 "agentId": "fleet_agent_1",
 "timestamp": ISODate("2025-02-03T09:45:00Z"),
 "interaction": "dispatchUpdate",
 "data": {
   "tripId": "TRIP-123",
   "driverId": "DRV-01",
   "status": "En route",
   "estimatedArrivalTime": ISODate("2025-02-03T18:00:00Z")
 }
} 

长期记忆存储可以按日期范围等参数查询的路线规划信息。此图显示了 AI 代理如何将持久化的路线规划信息存储在长期记忆中,这些信息可以通过日期范围或路线计划 ID 等参数进行查询。长期记忆文档包含全面的舰队运营数据,包括路线计划标识符、日期范围、总运输量和遇到的历史问题(如天气延误和驾驶员小时要求),使代理能够从过去的经验中学习,并根据历史车队管理模式和结果做出明智的决策。

图片

图 7.22:代理的长期记忆

{
 "_id": ObjectId("123456789abcdefghijklm"),
 "agentId": "fleet_agent_1",
 "routePlanId": "ROUTEPLAN-1-2025-02-03",
 "dateRange": {
   "start": ISODate("2025-02-03T08:00:00Z"),
   "end": ISODate("2025-02-10T08:00:00Z")
 },
 "totalShipments": 40,
 "issuesEncountered": [
   "Weather delays on Route A",
   "Driver hours reset needed mid-week"
 ]
} 

代理利用 MongoDB 的工具,包括数据库查询 API、向量搜索和全文搜索,以高效地访问这些信息。图 7.23展示了这些代理如何利用 MongoDB 的综合工具包进行数据访问和推理。代理架构显示了工具组件作为代理配置文件指令和目标记忆模型的关键元素。代理可用的三个主要 MongoDB 工具是数据库查询 API 用于结构化数据检索、向量搜索用于语义相似度匹配和全文搜索用于基于文档的查询,为代理提供多种强大的方法,在决策过程中高效地访问和分析信息。

图 7.23:强大的代理推理工具

连接的车队事件顾问

在我们探索的基础代理架构之上,我们可以扩展这些概念以创建专门针对特定车队管理挑战的系统。连接的车队事件顾问代表了我们所讨论的代理原则的实际应用,展示了 AI 驱动的系统如何提供实时诊断支持和随着时间的推移构建组织知识。

图 7.24:连接的车队事件顾问

此图展示了使用 MongoDB Atlas、Voyage AI、OpenAI 和 LangGraph 构建的全面 AI 驱动的连接车队顾问系统。该系统处理驾驶员投诉或车队经理查询,通过 API 调用捕获遥测数据,并使用代理工作流引擎(LangGraph)来解释请求、规划任务、执行功能和准备响应。该架构与 MongoDB Atlas 集成,以实现记忆和向量搜索功能,存储代理会话、配置文件、警报、问题、检查点和遥测数据,同时利用 LLMs 和嵌入生成提供智能车队事件管理和诊断建议。

事件顾问架构

该系统使用 MongoDB Atlas、Voyage AI、OpenAI 和 LangGraph 构建,创建了一个集成的流程,处理驾驶员投诉或车队经理查询,分析车辆遥测数据,生成思维链推理过程,并交付诊断建议。

当驾驶员报告诸如“听到敲击声”等问题时,系统会执行以下操作:

  1. 通过用户界面接收投诉。

  2. 通过代理工作流引擎(LangGraph)处理请求。

  3. 生成思维链推理过程。

  4. 通过 API 调用捕获遥测数据。

  5. 在 MongoDB Atlas 中执行向量搜索以识别类似的历史事件。

  6. 根据分析结果制定建议。

物理架构按以下方式实现此工作流程:

图 7.25:车队顾问物理架构

此图显示了连接车队事件顾问工作流程的物理实现,说明了驾驶员投诉如何触发多步骤的诊断过程。

系统的组件组织如下:

  1. 前端: 驾驶员和车队经理的基于 Next.js 的界面

  2. 后端: 由 FastAPI 和 LangGraph 驱动的代理工作流程引擎提供的 REST API 端点

  3. AI 服务: OpenAI LLM 用于思维链推理和推荐,以及 Voyage AI 嵌入模型用于生成向量表示

  4. 数据存储: MongoDB Atlas 用于存储代理会话、配置文件、遥测数据、历史推荐、问题日志以及向量搜索功能

此架构使一系列操作详细化:

连接车队顾问代理工作流程的序列图

图 7.26:车队顾问序列图

此序列图显示了连接车队事件顾问系统详细的操作流程。

操作序列从驾驶员报告问题开始,经过多个处理阶段:

  1. 通过前端提交问题报告。

  2. API 处理和流程调用。

  3. 用于诊断推理的思维链生成。

  4. 车辆数据检索和分析。

  5. 为类似过去事件生成嵌入和向量搜索。

  6. 会话信息的数据持久化。

  7. 向驾驶员生成和交付推荐。

这种方法不仅为驾驶员提供即时帮助,而且随着时间的推移,还建立了一个问题和解决方案的知识库。

数据类型和存储

事件顾问系统管理多种数据类型,每种数据类型在诊断工作流程中都有特定的用途:

| 数据类型 | 描述 | MongoDB 中的示例 |

| --- | --- | --- |

| 代理配置文件 | 这包含代理的身份信息。它包括指令、目标和约束。 |

{
  "_id": "67c20cf886f35bcb8c71e53c",
  "agent_id": "default_agent",
  "profile": "Default Agent Profile",
  "instructions": "Follow diagnostic procedures meticulously.",
  "rules": "Ensure safety; validate sensor data; document all steps.",
  "goals": "Provide accurate diagnostics and actionable recommendations."
} 

|

| 短期记忆 | 这包含代理在实时使用中的临时、上下文信息,例如最近的数据输入或正在进行的交互。例如,短期记忆可以存储过去几小时车辆活动的传感器数据。在 LangGraph 等某些代理 AI 框架中,短期记忆通过检查点实现。检查点存储代理动作和/或推理的中间状态。这种记忆允许代理无缝暂停和恢复操作。 | 存储在时间序列集合中的遥测数据 |

{
  "_id": "67cb23ee370eb8f40c9bf677",
  "timestamp": "2025-02-19T13:00:00",
  "vin":"5TFUW5F13CX228552",
  "engine_temperature": "90",
  "oil_pressure": "35",
  "avg_fuel_consumption": "8.5",
  "thread_id": "thread_20250307_125027"
} 

|

| 长期记忆 | 这是代理存储随时间积累的知识的地方。这可能包括模式、趋势、日志和历史推荐以及决策。 | 与连接车辆相关的问题向量化和存储在 MongoDB 中

{
  "_id": "67ca173679c7c286f44f4a24",
  "issue": "Engine knocking when turning",
  "recommendation": "Inspect spark plugs and engine oil.",
  "embedding": [
    -0.021414414048194885,
    -0.0031116530299186707,
    0.014275052584707737,
    -0.030444633215665817,
    0.018614845350384712,
    0.06425976008176804,
    0.0060801152139902115,
    -0.012883528135716915,
    -0.007000760640949011,
    -0.04991862177848816,
...
  ]
} 

|

表 7.1:车队事件顾问的数据类型和存储结构

此表说明了事件顾问系统如何在 MongoDB 中管理不同类型的数据,展示了三个关键类别:代理配置文件(包含代理身份、指令、诊断程序的目标和约束)、短期记忆(存储临时上下文信息,如时间序列集合中的最近遥测数据,包括车辆指标,如发动机温度和燃油消耗)和长期记忆(积累历史知识,包括模式、趋势和带有嵌入向量表示的矢量化历史问题,如发动机敲击问题,用于相似性匹配的建议)。

代理配置文件包含代理的身份信息,包括指令、目标和约束:

{
 "_id": "67c20cf886f35bcb8c71e53c",
 "agent_id": "default_agent",
 "profile": "Default Agent Profile",
 "instructions": "Follow diagnostic procedures meticulously.",
 "rules": "Ensure safety; validate sensor data; document all steps.",
 "goals": "Provide accurate diagnostics and actionable recommendations."
} 

短期记忆存储临时、上下文信息,如遥测数据:

{
 "_id": "67cb23ee370eb8f40c9bf677",
 "timestamp": "2025-02-19T13:00:00",
 "vin":"5TFUW5F13CX228552", 
 "engine_temperature": "90",
 "oil_pressure": "35",
 "avg_fuel_consumption": "8.5",
 "thread_id": "thread_20250307_125027"
} 

长期记忆存储历史问题和建议的积累知识:

json
{
 "_id": "67ca173679c7c286f44f4a24",
 "issue": "Engine knocking when turning",
 "recommendation": "Inspect spark plugs and engine oil.",
 "embedding": [
   -0.021414414048194885,
   -0.0031116530299186707,
   0.014275052584707737,
   // Additional vector dimensions...
 ]
} 

这种统一的数据方法允许所有车队管理信息在单个数据库中建模,提供了智能、自适应车队运营所需的灵活基础。

MongoDB 在车队管理中的优势

在探讨了代理车队管理系统的技术架构和实现细节之后,了解为什么 MongoDB Atlas 是这些复杂应用的理想基础至关重要。该平台提供了一些关键优势,这些优势直接使我们能够在车队管理示例中展示高级功能。

MongoDB 的文档数据模型提供了处理复杂、分层数据结构(如车辆遥测、路线计划和驾驶员日程)所需的灵活性,同时其向量搜索功能实现了我们在事件诊断和路线优化中看到的语义搜索功能。时间序列集合有效地存储和处理支持预测分析的时间数据,细粒度的安全控制确保了车队生态系统中不同利益相关者的适当数据访问。对于事件顾问等专用应用,Voyage AI 提供的最佳嵌入模型为语义匹配和分析提供了高质量的向量表示。

这些技术能力直接转化为实施 AI 集成车队系统的组织的战略优势。通过利用先进的 AI 能力,特别是用于自主决策的智能体 AI 和用于诊断分析的生成式 AI,组织可以实现新的运营卓越水平,同时平衡成本、服务水平和社会可持续性目标。这种集成使得组织能够优化路线规划车辆利用率,减少燃料消耗和排放,提高驾驶员安全性和对法规的遵守,改善维护调度和车辆可用性,通过可靠的交付性能提供卓越的客户服务,并建立关于运营模式和事件解决的机构知识。

随着制造业和物流继续向第五代工业发展,这些 AI 驱动的车队管理方法将变得越来越重要,以保持在全球市场上的竞争优势,展示了如何复杂的数据平台能够实现从传统车队管理到智能、自适应系统的转型。

在以下链接中了解更多关于此用例的信息:

人工智能在制造业中的扩展作用

本章中我们探讨的应用仅仅代表了人工智能对制造业运营变革性影响的开始。人工智能通过创建智能、自适应的系统,优化整个生产生态系统的运营,正在改变制造业。从利用生成式 AI 改造供应链到通过多智能体协作实现预测性维护,这些技术正在带来效率、质量和成本降低的可衡量改进。一些例子展示了现代智能数据库如 MongoDB Atlas 如何提供灵活的数据平台,以大规模实施这些 AI 解决方案,连接生产设备、库存系统甚至联网车辆,以创建一个全面的数字制造环境。

制造业正在见证 AI 智能体部署的激增,这些智能体利用深度推理、上下文管理和类似人类的决策能力来解决复杂的运营挑战:

  • 供应链编排:AI 智能体能够实现多步骤的供应商协调,从下订单到跟踪运输和更新交货时间表,从而减少延迟并提高日常运营的效率。

  • 质量检查报告:人工智能代理编译、格式化和归档重复检查数据,标记异常,甚至建议纠正措施,从而解放人类操作员,同时确保通过计算机视觉技术精确满足产品标准。通过历史数据跟踪,他们还有助于识别重复出现的问题,并指导持续改进计划。

  • 生产再优化:当出现中断(机器故障、劳动力短缺或零部件供应延迟)时,人工智能代理通过分析安装在生产线上的传感器的时间序列数据和来自 ERP 和 MES 的上下文信息,动态地重新规划时间表。他们可以模拟多个重新路由场景,选择最有效的一个,并自主实施更改。这导致资产利用率提高,闲置时间减少,废品率降低,即使在波动条件下也能实现即时制造。

  • 连接车队事件经理:在产品或材料使用自主或半自主车队运输的环境中,人工智能代理管理整个事件响应的生命周期。他们从车辆收集遥测和诊断数据,交叉引用历史维护记录,并触发自动化的维修调度和零部件订购工作流程。此外,他们实时通知人类操作员和客户,提供透明度并最小化服务中断。

  • 维护优化:制造商可以利用人工智能驱动的预测分析来提供主动维护支持和个性化的人力资源协助,从而在生产环境中提高设备运行时间和运营效率。

如需更多信息及资源,请访问www.mongodb.com/solutions/industries/manufacturing上的“制造与移动性 MongoDB”页面。

摘要

正如我们在上一章和本章所看到的,人工智能正在通过创建智能、自适应的系统来革命化制造业,这些系统能够在整个生产生态系统中优化运营。从利用通用人工智能(GenAI)改造供应链到通过多智能体协作实现预测性维护,这些技术正在带来效率、质量和成本降低的可衡量改进。我们探讨的例子展示了现代智能数据平台如何提供灵活的基础设施,以大规模实施这些人工智能解决方案,将生产设备、库存系统甚至连接车辆的数据连接起来,创建一个全面的数字制造环境。

制造业正在见证人工智能代理部署的激增,这些代理利用深度推理、上下文管理和类似人类的决策能力来解决复杂的运营挑战。通过人工智能代理进行供应链编排可以实现多步骤的供应商协调,而质量检查系统会自动编译和格式化检查数据,标记异常并建议纠正措施。生产再优化代理在发生中断时动态重新规划日程,而连接的机队事件经理处理自主机队的整个事件响应生命周期。此外,我们还探讨了知识管理系统如何通过人工智能辅助来保存机构专业知识,以及如何通过复杂的语音助手和车辆手册的 RAG 实现来改变车内超个性化体验。

这些应用展示了制造商如何利用人工智能驱动的预测分析来提供主动维护支持和个性化辅助,从而提高生产环境中的设备运行时间和运营效率。将代理人工智能与灵活的数据平台集成,使组织能够实现前所未有的运营卓越水平,同时降低成本并提高安全性。在下一章中,我们将继续探讨人工智能如何改变电信和媒体行业。

参考文献

  1. 预测性维护;德勤的方法www.deloitte.com/content/dam/assets-zone3/us/en/docs/services/consulting/2024/us-predictive-maintenance.pdf

  2. 研究发现,79%的欧洲司机愿意在他们的车辆中使用语音生成人工智能功能www.soundhound.com/newsroom/press-releases/research-finds-79-of-drivers-across-europe-would-use-voice-generative-ai-capabilities-in-their-vehicles/

第八章:媒体和电信行业的 AI 驱动策略

在内容泛滥但相关性匮乏的世界里,电信和媒体行业面临着一种矛盾性的挑战。尽管全球电信支出持续攀升至数万亿美元,但媒体领导者报告称,社交推荐流量急剧下降,平台驱动的访问量大幅下降。与此同时,AI 的采用正在以惊人的速度加速,预计电信中的 AI 市场将以惊人的速度增长,从根本上改变这些行业的运营方式。

这不仅仅是一个技术周期;这是我们对连接、消费和沟通方式的根本性重塑。对于电信运营商和媒体公司来说,风险不容小觑:那些掌握 AI 驱动个性化的人正在看到数十亿美元的回报(Netflix 仅从 AI 推荐中每年产生 10 亿美元的收入[1]),而那些坚持传统模式的人则看到他们的观众和收入蒸发。

在本章中,你将了解以下内容:

  • 使用行为分析和向量搜索来提供定制推荐和提升转化率的个性化内容系统架构

  • 通过搜索生成体验SGE)将信息检索转变为对话式、上下文感知的交互,以降低跳出率并提高参与度

  • 自动化电信工作流程的 AI Ops 框架,实现预测性维护,并可能增加收入

  • 通过模式识别和风险评估实时处理数百万事件的 AI 驱动的欺诈检测系统,通过减少损失

  • 通过 AI 驱动的流程、自适应格式化和对话式界面自动化内容工作流程的策略,以减少人工工作并提高参与度

媒体和电信行业的发展格局

近年来,媒体行业面临着严峻的挑战,从适应数字平台和按需消费,到数字化内容的货币化和与科技巨头及新媒体新贵竞争。加上数字内容的激增,已经饱和了媒体市场,使得吸引和保持观众注意力变得更加困难。

因此,媒体组织不断被迫重新评估其策略并探索新的成功路径。一项涵盖 326 位数字领导者的全球行业调查[2]突出了他们在未来几年必须应对的几个趋势,包括以下内容:

  • 下降的推荐流量:大约四分之三(74%)的受访者担心随着人工智能概述的实施,搜索引擎的推荐流量可能下降。在过去两年中,新闻和媒体属性的 Facebook 流量下降了三分之二(67%),而来自 X(前身为 Twitter)的流量下降了半数(50%)。平台所有者的意图是明确的:保留用户流量在其自己的生态系统中。

  • 优先考虑平台策略:出版商正在关注 ChatGPT 和 Perplexity 等平台,同时保持对 YouTube、TikTok 和 Instagram 等视频网络的兴趣。

  • 聚焦创新:在吸引观众方面,有很强的重点放在开发新产品上,大约四分之一(42%)的计划是针对年轻人的产品,还有四分之一到三分之一在探索音频(26%)或视频(30%)产品和服务。

人工智能通过提高内容研究、生产和分发来支持媒体组织克服这些变化。例如,人工智能可以从多篇文章中总结关键点,使研究更加高效。您还可以利用大型语言模型(LLMs)根据指定的主题起草新内容,简化生产流程。此外,人工智能能够为不同受众定制内容,例如为年轻读者或外语使用者量身定制材料。它还通过个性化内容推荐和互动来增强用户体验,这一点在 Netflix 上得到了著名的展示。

尤其是 AI 驱动的工具,如 SGE 和 AI 驱动的聊天机器人,预计将提供更快、更直观的信息访问方式,显著改变用户与内容互动的方式。SGE 指的是将 GenAI 集成到搜索引擎中,使其能够对用户查询产生对话式、综合性的响应,而不仅仅是显示链接列表。这种方法可以减少点击外部网站的需求,可能改变传统的流量模式。因此,这些创新不仅正在改变整个行业的观众行为和财务动态,而且也为出版商提供了多样化收入来源的新机会。

现在,让我们将重点转向电信行业的挑战和机遇,该行业在利润率紧张和连接服务压力不断增长的环境中运营。随着数字化转型加速,电信运营商必须不断重新定义其商业模式和服务产品,人工智能作为一股变革力量正在重塑整个行业。

由于语音、数据和互联网接入等服务在很大程度上同质化和低利润,电信公司需要区分和多样化其收入来源,以创造价值并在市场中脱颖而出。该行业在全球范围内持续经历显著增长,投资额达到数万亿美元,运营商在扩展基础设施和发展新的服务能力。

随着数字原住民以敏捷和创新的方法颠覆传统商业模式,传统公司不仅相互竞争,还与新人竞争,以提供增强的客户体验并适应不断变化的消费者需求。例如,星链的卫星互联网服务完全绕过传统的宽带基础设施,提供具有竞争力的定价,低于传统的卫星服务提供商,同时提供卓越的性能,并通过服务于传统电信公司因高基础设施部署成本而 largely ignored 的农村和偏远地区而迅速增长 [3]。

在一个越来越期望高级连接的环境中繁荣,电信运营商必须在他们的运营支持系统OSS)和业务支持系统BSS)中优先考虑成本效率。OSS 指的是用于管理网络基础设施的系统,例如服务提供和故障管理,而 BSS 处理面向客户的活动,如计费、订单管理和客户关系管理。通过优化这些系统,运营商可以提高客户服务标准并增强整体客户体验——这是确保市场份额和获得竞争优势的关键步骤。

为了实施这些变化,人工智能帮助电信运营商采用创新解决方案来导航数字景观。根据 Neuralt,“人工智能不仅仅是一种附加技术,而是一种推动力,正在重塑电信公司如何运营、提供服务以及改善客户体验的方式” [4]。例如,它为网络运营提供自动化流程,为网络管理提供优化机制,并快速检测可疑的数据使用模式以保护收入和防止欺诈。

印度尼维尔的调查指出,“代理人工智能正在成为电信创新的下一个前沿,它使系统能够在最小的人类监督下做出决策和解决复杂问题。这种新的自主水平正帮助企业大幅提高运营效率,并实现自我优化网络的承诺” [5]。

总的来说,媒体和电信行业的领先公司正在使用人工智能来优化其运营,保护其业务并推动创新。

内容发现和个人化

从流媒体服务到在线出版物,媒体机构预计将提供一定程度的内容个性化。观众寻求基于其兴趣的内容推荐。

利用人工智能可以显著提高推荐阅读或展示的下一篇文章的建议。最强大的内容个性化系统实时跟踪用户行为,例如搜索的内容、在发生下一次点击之前花费的时间以及用户探索的类别。这些参数允许个性化系统通过展示相关内容来提高参与度,或者作为替代方案,显示帮助用户发现不同媒体类型并检查他们消费兴趣的新内容。

为了在正确的时间将正确的内容推荐给正确的人,内容个性化系统需要维护多个信息维度,这为适当的建议奠定了基础。借助现代文档数据库,如 MongoDB 及其灵活的数据模型,所有这些信息都可以轻松管理。

此外,与处理关系表相比,基于 JSON 的内容层开发更快、更直观、更少出错。此外,这种方法将向量化内容与运营数据相结合。向量搜索功能允许创建高级内容建议系统,该系统支持语义搜索,超越了基本的关键词或属性匹配。

内容建议和个性化平台

通过利用用户数据、行为分析和媒体内容的多元维度向量化,现代数据平台提升了终端用户体验。媒体组织现在可以建议与个人偏好和以往互动紧密相关的内容。

高级数据平台通过整合高级用户体验功能,如图 8.1 所示,增强了内容个性化策略。这些功能包括个性化推荐、内容摘要、关键词提取和自动洞察生成,使系统更加动态和以用户为中心:

图片

图 8.1:在 MongoDB 中使用 Atlas 向量搜索创建个性化用户体验的参考架构

此图展示了综合内容个性化平台,其中作者通过使用 Voyage AI 生成向量嵌入并通过具有 Atlas 向量搜索功能的 MongoDB 存储媒体文档的 CMS 创建内容。该系统包括由 LLM 提供的内容洞察、翻译、摘要、关键词提取、发现和建议的内容服务。所有组件通过 MongoDB 集合和向量索引集成,向多个输出渠道(移动、网页和平板)提供超个性化的内容推荐,通过 MongoDB 数据平台的先进功能创造动态体验。

内容建议和个性化

媒体平台可以通过引用用户数据、行为分析和媒体项目的向量化,建议与个人偏好和以往互动一致的内容。这种机制增强了用户参与度,并增加了将免费用户转化为付费订阅者的可能性。对于此解决方案,向量有时会直接嵌入到文档中。

此外,在处理向量搜索操作时,内置的可扩展性和弹性具有优势。组织可以垂直或水平扩展其 MongoDB 数据库,甚至可以选择独立于操作数据库节点扩展搜索节点,以成本效益的方式适应特定的负载场景。

内容摘要和重新格式化

除了建议向用户展示哪些内容之外,媒体平台还可以使用相同的用户数据和用户行为洞察来调整内容的展示方式。例如:

  • 设备特定格式:推荐的文章可能会自动重新格式化为项目符号,供移动用户阅读,而桌面用户则看到全文。

  • 个性化摘要:通常快速阅读的用户会收到简化的版本,而其他人则会获得详细的解释。

  • 格式适配:基于消费模式,相同推荐内容可以以文本形式提供给某些用户,以音频形式提供给其他用户,或以视频摘要形式提供。

  • 渠道优化:当在不同平台之间共享内容时,系统会自动创建带有关键高亮的简短版本,供社交媒体使用,同时通过其他渠道提供全面覆盖。

此方法利用与内容推荐相同的用户偏好数据和用户行为分析数据,以确定每个个体的最佳格式和长度,通过匹配人们想要阅读的内容和他们的偏好消费方式,进一步改善参与度。

关键词和实体提取

媒体平台可以通过高级关键词和实体提取从内容中提取关键信息,使用户能够快速且轻松地找到他们喜欢的新内容。关键词是内容在搜索引擎中索引和发现的基础,并且它们对数字内容的搜索引擎优化(SEO)性能有重大影响。借助底层 LLM,媒体平台可以自动提取更广泛且复杂的关键词,从而进一步提高用于搜索的元数据质量。

自动创建见解和摘要

媒体平台如在线新闻或体育服务可以通过分析其存档或外部来源中的相关内容的多篇相关内容,自动生成全面的见解和摘要。例如,新闻平台可以创建综合信息摘要,这些摘要综合了关于同一事件的几篇相关新闻故事,而体育平台可以通过结合比赛报告、球员统计数据和专家评论来生成全面的概述。

对于对特定主题或事件进行深入研究感兴趣的用户来说,此功能尤其有价值,因为它可以揭示可能难以找到的相关内容,或生成每日新闻摘要,通过以可消化的形式提供他们所需的所有内容来节省时间。这是通过使用一个或多个 LLMs 生成自然语言输出,增强来自多个来源材料的信息的可访问性来实现的。

总的来说,AI 驱动的个性化成为出版商的重要工具。通过使用 AI 提供定制内容并自动化后台流程,出版商可以更好地应对传统推荐量的下降,并与他们的受众建立更强、更直接的关系。

搜索生成式体验(SGEs)

随着 AI 吸引公众注意力的兴起,很明显,一个仅返回普通链接列表的基本搜索框已不再满足用户需求。SGEs 代表了媒体和内容产业在处理用户信息请求(搜索)方面的一次转型。SGEs 利用 AI 生成搜索结果,这些结果不仅仅是现有内容的链接,而是针对实际用户意图的全面、自然语言响应。这些即时、简洁的答案有助于媒体平台保持用户更长时间的参与,降低跳出率,并增加更深入内容互动的可能性。

使用现代数据平台,这些平台以内置的向量搜索能力为核心构建 SGE 解决方案(见图 8.2),组织可以开发出强大的检索增强生成RAG)系统。这些系统通过提供作为提示上下文的信息来增强 LLMs,生成更准确、相关和有趣的响应。

SGE 系统的多功能性开辟了广泛的应用场景,包括智能研究工具、智能对话界面和游戏化学习体验。将这些解决方案定制到行业需求中,为创新、货币化和参与打开了新的机会。

图片

图 8.2:创建 SGE 的参考架构

此图展示了 SGE 如何通过使用 AI 生成全面、自然语言响应来改变传统的搜索方式,而不是仅仅列出链接。架构展示了用户关于汇丰市场新闻的查询如何通过嵌入模型,如 Voyage AI,流向 MongoDB 的 Atlas Vector Search,该搜索从文章正文和向量嵌入中检索上下文数据。这些专有数据增强了 LLM 提示,使其能够生成具体、信息丰富的答案,而不是泛泛的响应,并展示了从简单的信息检索到智能、上下文感知的内容生成的转变。

智能对话界面

如果与烤面包机或冰箱讨论早餐计划听起来仍然像是科幻小说,那么欢迎来到未来。智能对话界面通过智能手表、可穿戴设备和汽车等设备,使日常生活中的数据访问无缝连接。这种新的互动机会创造了通过直观体验吸引用户的新方法,这些体验感觉自然舒适。

根据世界著名未来学家、影响者和商业与技术领域的思想领袖 Bernard Marr 的说法,“2025 年将带来电信行业对生成式人工智能的进一步广泛采用,毫无疑问,最突出的用例之一将是客户体验的转型” [6]。这包括超个性化服务和人工智能聊天机器人承担越来越复杂的客户互动。

游戏化学习体验

教育技术平台正在利用人工智能创造更具吸引力的学习体验,类似于 Duolingo 等流行的应用程序。这些系统使用人工智能算法持续监控学生表现并实时调整内容难度,创建个性化的学习路径,提供以下内容:

  • 自适应内容交付:当用户犯错时调整难度并提供个性化解释,帮助他们更好地理解概念

  • 智能反馈系统:当用户在特定主题上遇到困难时,通过人工智能提供上下文提示和解释

  • 进度优化:利用行为数据识别为个别学习者提供最佳学习计划和内容类型

对于媒体公司来说,这代表着进入不断增长的教育内容市场的重大机遇,数字叙事和互动学习正经历着显著增长。

服务保证

从媒体应用回到电信基础设施,提供商需要提供符合客户期望和服务水平协议SLAs)的高质量网络服务。服务保证的关键方面包括性能监控、服务质量QoS)管理和预测分析,以预测潜在的服务退化或网络故障。随着电信网络的日益复杂化和客户对始终在线服务的期望不断增长,服务保证的标准已经提高,这要求公司大量投资于能够自动化这些流程的解决方案,仅仅是为了保持竞争优势。

通过几个关键能力,人工智能已经彻底改变了服务保证:

  • 预测性维护:机器学习分析模式以预测网络故障,实现预防性维护并减少停机时间

  • 根本原因分析:人工智能识别网络问题的根本原因,提高故障排除的有效性

  • 网络优化:AI 评估日志数据以找到改进机会,降低运营成本并实时优化性能

这些能力共同展示了 AI 如何改变网络可靠性和运营效率。

网络管理的 Agentic AIOps

在服务保证系统基于 AI 的洞察力基础上,Agentic AI Ops 通过实现自主决策和行动将自动化推进了一步。虽然传统的 AI 系统提供推荐,但代理 AI 可以独立执行解决方案,无需等待人工批准。

代理 AI Ops 框架帮助通信服务提供商CSPs)部署能够自主:

  • 执行纠正措施:在网络拥塞期间自动重新配置路由器以进行负载管理

  • 实时决策:确定并部署适当的响应以应对出现的网络问题

  • 直接调用 API:与网络基础设施接口以立即实施更改

  • 管理流程:以最小的人为干预协调复杂的运营流程

例如,当这些系统检测到网络延迟问题时,它们不仅会通知操作员,还可以自动重新分配流量负载、调整路由协议或实时扩展资源以保持最佳性能。

这些自主能力使 CSPs 能够以最小的人为干预管理复杂的流程,加速新服务的部署,并可能将年度收入提高高达 5% [7]。

为电信构建基于 AI 的网络系统

利用现代数据平台,电信提供商可以构建集成了语义搜索和生成式文本响应的定制网络管理应用程序,如下面的图所示。

GenAI Ops Blog Pictures.png

图 8.3:使用 MongoDB 创建网络聊天机器人的参考架构

该图展示了电信提供商如何使用 MongoDB 作为核心数据平台构建 AI 驱动的网络聊天机器人。该架构集成了三个主要组件:通过聚合管道和向量搜索能力进行数据摄取;问题分析,其中用户查询被转换为嵌入以找到相关的网络数据,并使用嵌入模型和 LLM 进行上下文提示生成适当的数据库查询;以及自然语言输出生成。系统处理网络聊天交互(问题、答案、历史记录),而 MongoDB 处理数据存储和流处理,输出包括日志、指标和审计,以实现全面的网络系统管理和客户支持。

首先,网络管理员捕获日志条目和遥测事件,存储诸如 IP 地址、地理信息、请求路径、时间戳、路由器日志和传感器数据等详细信息。使用 Atlas 流处理,数据可以实时收集和丰富,提供网络活动的完整视图。

图片

图 8.4:使用 Atlas 流处理进行数据摄取

此图说明了网络聊天机器人的 RAG 架构,展示了如何使用 Atlas 流处理摄取和丰富源数据。

图片

图 8.5:使用 MongoDB 聚合管道和 Atlas 向量搜索进行基于问题的数据选择

此图展示了 RAG 系统如何处理网络管理员的自然语言查询,例如,“多伦多客户端的视频流问题是由什么引起的?”

LLM 首先创建聚合管道以检索结构化数据,同时嵌入模型执行语义向量搜索以找到上下文相关的信息。

一旦系统识别出相关数据,后续的 LLM 将此信息翻译成用户的自然语言解释。在此过程中,LLM 分析检索到的数据以检测模式和异常,从而精确识别根本原因候选者并支持明智的决策。例如,它可能会发现一个过载的本地 CDN 节点,以及来自较老路由器的高请求,是导致问题的原因。

图片

图 8.6:推理和自然语言输出

此图展示了 RAG 架构的最终阶段。通过上下文提示,LLM 对所选数据进行统计推理和模式检测,将网络指标转换为自然语言解释和可操作的见解。

AI 驱动操作的下个时代

此用例突出了代理式 AIOps 和现代数据平台如何相互补充,通过以下方式通过以下方式转变网络管理:

  • 模式灵活性:基于文档的模型可以轻松地将日志、性能指标和用户反馈存储在单一、一致的环境中。

  • 实时性能:通过横向扩展,您可以在任何一天中的任何时间摄取由网络日志和用户请求生成的海量数据。

  • 向量搜索集成:通过嵌入文本数据(如日志、用户投诉或常见问题解答)并将这些向量存储在数据库中,您可以使用即时检索语义相关内容,使 LLM 轻松找到所需内容。

  • LLM 构建聚合管道:LLM 可以轻松生成聚合管道来检查数值数据,而第二次 LLM 的遍历则组成一个最终摘要,该摘要合并了数值和文本分析。

采用这种端到端的工作流程可以节省时间和精力,同时使组织能够实现可扩展性。它简化了诸如分析特定地区流量激增、诊断安全事件和管理高峰时段等任务。通过结合 MongoDB Atlas、LLM 和 RAG 架构等现代数据平台,电信提供商可以将网络运营转变为对话式、自动化和智能系统。

欺诈检测与预防

今天的电信提供商正在使用一系列技术来检测和预防欺诈,不断适应这个领域欺诈的动态性质。常规的欺诈检测活动包括跟踪异常的通话趋势和数据使用,以及防范 SIM 卡交换事件,这是一种常用于身份盗窃的方法。为了预防欺诈,策略在多个层面上得到应用,从对新客户进行严格的验证开始,到 SIM 卡交换或重大交易,都要考虑每位客户的风险概况。这些措施对于减轻欺诈的有害影响至关重要,例如财务损失、声誉损害、监管罚款以及威胁网络完整性的安全风险。

机器学习为电信公司提供了一种强大的工具,通过在诸如通话详细记录CDRs)等数据上训练模型,来增强其欺诈检测能力。此外,这些算法可以评估每位客户的个人风险概况,根据他们特定的使用模式定制检测策略,如图 8.7所示。

图 8.7:由机器学习驱动的欺诈检测系统

此架构图展示了处理来自多个电信渠道(通道 A通道 X)数据的全面欺诈检测系统,这些数据通过 MongoDB Atlas 等统一数据存储进行处理。

机器学习模型可以随着时间的推移进行适应,从新的数据和新兴的欺诈策略中学习,实现实时检测和欺诈预防措施的自动化,从而加快响应时间。

要成功处理欺诈,需要考虑众多数据维度。反应时间是防止最坏结果的关键因素,因此解决方案必须支持快速决策。通过使用适当的机器学习模型对数据进行矢量化,可以定义正常(健康)的商业行为,并识别出偏离正常的行为。除了矢量搜索之外,MongoDB 的查询 API 支持流处理,允许实时丰富和过滤数据。

使用 MongoDB 进行大规模实时欺诈检测

一家利用 MongoDB 进行反欺诈策略的美国电信提供商是 MongoDB 的客户之一。该公司选择 MongoDB 是因为其能够快速摄取和存储变化的数据。MongoDB Atlas 还满足了提供商对性能、可用性和安全性的关键要求。现在,反欺诈平台运行着超过 50 个不同的 AI 模型,利用超过 1200 个特征,存储 30 TB 的数据,并每天处理高达 2000 万事件。事件处理时间在 200 毫秒以下,实现了实时欺诈检测和预防。因此,欺诈,尤其是与 iPhone 相关的欺诈,之前是一个价值 10 亿美元的难题,现在已减少了超过 80%。

此示例已被匿名化以增强编辑清晰度。了解更多信息,请参阅:www.youtube.com/watch?v=gRw5xYAsz4U

Spotlight_Icon1

人工智能在媒体和电信中的扩展作用

人工智能通过实现更智能、更快、更个性化的内容,同时使运营敏捷性和创新成为可能,正在重塑媒体和电信行业。从人工智能增强的内容发现到网络自动化,智能系统的集成已成为一项关键的商业需求。然而,人工智能在这些行业中的变革潜力远远超出了这些核心领域。

人工智能(AI)也通过差异定价策略、后端自动化和遗产现代化努力推动创新。这些用例进一步说明了人工智能如何提高电信和媒体提供商的运营效率并转变流程。通过利用优先考虑自主决策和持续优化的新兴技术,企业能够适应不断变化的市场。

差异定价

对于媒体和电信组织,AI 驱动的应用程序可以通过进行 A/B 测试和用机器学习算法分析数据,来了解客户愿意在内容或服务上花费多少。

利用这些信息,组织可以采用动态定价模型,而不是坚持标准价格表,从而增加整体收入并扩大付费客户群。

视频搜索和剪辑

随着Voyage AI [8]的新嵌入模型,该模型于 2025 年成为 MongoDB 的一部分,现在可以创建多模态嵌入,为视频提供全新的搜索体验。您可以使用自然语言描述您想观看的视频序列(例如,“Show me Mario Götze shooting the winning goal at the FIFA world cup final in 2014”),系统将能够找到正确的视频,包括视频内请求动作发生的位置偏移,并将剪辑返回给用户。

全球电信领导者如何加速开发者速度

一家领先的电信服务提供商通过采用 MongoDB Atlas 的电信即服务TaaS)模式,对其软件开发进行了革命性的改变。这一战略性的无服务器计算转型加速了安全应用的交付,降低了成本,并使开发者能够更快地部署代码,从而提升了创新能力和客户体验。

为了编辑清晰,此示例已被匿名化。欲了解更多信息,请参阅:mdb.link/new-developer-speed-and-dexterity

Spotlight_Icon1.png

如需更多信息及资源,请访问MongoDB 媒体和娱乐页面MongoDB 电信页面

摘要

在本章中,我们探讨了人工智能如何通过个性化内容体验、SGE、增强的网络管理和欺诈预防,革命性地改变媒体和电信行业。这些由人工智能驱动的策略正在提高运营效率,从根本上改变这些行业与客户互动和服务交付的方式。

现代数据平台如 MongoDB 提供了灵活、可扩展的基础,以支持这些人工智能项目,使组织能够存储多种数据类型,执行向量搜索,并与 LLMs 进行自然语言处理集成。将人工智能能力与数据基础设施相结合,正帮助媒体和电信公司克服一些最大的行业挑战,从下降的推荐流量到不断缩小的利润空间,同时创造了创新的新机遇。

下一章将探讨人工智能如何改变零售行业。我们将深入探讨零售商如何利用人工智能实现个性化的购物体验、库存优化、需求预测以及无缝的多渠道集成,以满足日益竞争的市场中不断变化的消费者期望。

参考文献

  1. 50 个新的人工智能统计数据explodingtopics.com/blog/ai-statistics

  2. 新闻业、媒体和技术趋势及预测 2025reutersinstitute.politics.ox.ac.uk/journalism-media-and-technology-trends-and-predictions-2025

  3. 星链和 2180 亿美元电信行业的颠覆:对未来连接性的战略赌注www.ainvest.com/news/starlink-disruption-2-18-trillion-telecom-industry-strategic-bet-future-connectivity-2508/

  4. 电信消费者转变:一个新时代的期望: www.neuralt.com/news-insights/ai-next-frontier-in-telecom-what-to-expect-in-2025

  5. 电信业的未来:MWC 2025 的 7 大关键趋势和启示: www.capgemini.com/in-en/insights/expert-perspectives/whats-next-for-telecoms-7-key-trends-and-takeaways-from-mwc-2025/

  6. 2025 年 9 大关键电信趋势:行业领导者需要了解的信息: bernardmarr.com/9-critical-telecom-trends-in-2025-what-industry-leaders-need-to-know/

  7. 诺基亚:实现网络自主性的下一个层次(研究报告): onestore.nokia.com/asset/214230?_gl=1*qmnhb0*_ga*MTU4NTI3MTAxMy4xNzM5ODI4OTY3*_ga_D6GE5QF247*MTczOTgyODk2Ni4xLjAuMTczOTgyODk2OS4wLjAuMA

  8. Voyage AI: www.voyageai.com

第九章:在智能体 AI 时代,Cognigy 的语音和聊天机器人

虽然上一章探讨了 AI 驱动的策略如何颠覆媒体和电信行业的发现内容和运营效率,但这些 AI 能力的关键实施在于直接客户沟通,其中智能代理正在将每一次互动转化为个性化、上下文相关的参与机会。

客户沟通领域经历了根本性的转变。我们正在从传统呼叫中心的僵化、脚本驱动的互动转向由现代 AI 代理驱动的动态、智能对话。然而,在每一个 AI 成功故事背后,都隐藏着一个关键真相:如果没有高质量的数据基础,AI 单独无法在规模上提供可靠的业务价值。我们仍然目睹令人尴尬的聊天机器人错误、令人沮丧的幻觉以及臭名昭著的事件,例如以一美元的价格出售卡车的机器人。这些失败揭示了残酷的现实:没有高质量的数据基础,AI 单独无法在规模上提供可靠的业务价值。

Cognigy 与 MongoDB 之间的合作代表了下一代客户沟通的底层方法,其中能够自主规划、推理和行动的智能体 AI 与成功所需的所需的企业级数据架构相匹配。

到本章结束时,你将清楚地理解以下内容:

  • 从基于规则的聊天机器人到以目标为导向的智能体 AI 的根本转变,以及 Cognigy 如何实现这一转型

  • 为什么高质量、实时数据是智能体 AI 系统的生命线,以及数据掌握如何直接转化为个性化能力

  • 现代 AI 代理的关键性能要求,包括对库存系统、CRM 和运营平台的实时访问

  • 企业如何通过构建 AI 劳动力能力来提升卓越而非错误

  • 结合长期客户记忆和实时上下文的智能个性化全面方法

当我们开始探索全面沟通方法时,我们将发现高级 AI 能力和强大数据架构的融合如何为企业在整个企业规模上重新构想客户互动创造机会,超越传统客服中心的限制,迈向一个许多互动可以变得智能、个性化且具有价值的未来。

从基于规则到以目标为导向的 AI 的演变

近年来,客户沟通领域经历了根本性的转变。现代 AI 代理现在可以理解上下文,通过复杂场景进行推理,并实时调整其响应,而不是遵循预定的路径。这种演变不仅仅是一个技术升级;它体现了企业如何与客户互动的转变,从反应性、基于规则的响应转变为主动、上下文感知的帮助,它预测需求并在实时提供个性化解决方案。

要看到这一演变的实际效果,可以考虑以下案例。

案例研究:一级航空公司如何应对危机

2024 年 3 月 7 日,德国面临了一场完美的交通混乱风暴。法兰克福机场的安全人员罢工,这是世界上繁忙的国际枢纽之一,同时一家一级航空公司的 25,000 名地面工作人员在德国机场发起了协调一致的罢工[1]。传统的呼叫中心在压力下可能会崩溃,让数十万被困的乘客等待数小时才能得到帮助。

相反,发生了一些令人瞩目的事情。在危机的高峰期,主要航空公司的 AI 代理,由 Cognigy 的平台提供支持,在 48 小时期间处理了多达每分钟 10,000 次来交互,这是一个传统操作完全无法应对的量级。这些代理无缝处理了从预订到退款的端到端流程,即使在极端压力下也能保持服务质量,而人类代理则被重新分配去处理最复杂的案例。

这不仅仅是一个技术成功故事;它还是智能通信系统如何将危机响应从被动损害控制转变为主动客户关怀的预览。但在这场变革背后隐藏着一个关键真理,它将真正的 AI 成功与昂贵的失败区分开来:数据基础的质量

限制我们的因素

传统的聊天机器人和交互式语音响应(IVR)系统长期以来一直是客户体验中的痛点,代表了消费者对自动化交互所关心的许多问题。这些系统本质上是静态和基于规则的,遵循严格的决策树,无法实时适应,并且始终让客户对脚本化的、非个性化的回答感到沮丧,这些回答未能解决他们的实际需求。

这些遗留系统的问题不仅仅是它们的僵化;它们完全无法理解上下文,无法从交互中学习,也无法根据每个客户遭遇的独特情况做出智能决策。由于传统系统被限制在预配置的流程和预定的响应模式中,它们缺乏实时推理和动态决策能力。

代理 AI 的突破

Cognigy 的代理 AI 代表了向这些限制的重大转变,体现了一种关于 AI 如何与客户互动的实质不同哲学。与仅仅执行预定脚本的旧机器人不同,使用 Cognigy 构建的 AI 代理拥有复杂的技能,使它们能够更像智能的人类代理,而不是传统的自动化系统。

图片

图 9.1:Cognigy 的代理 AI 架构与 MongoDB 集成

图 9.1展示了 Cognigy 的 AI 代理如何在全面的企业生态系统中运行。在中心,由 Cognigy Nexus Engine 驱动的 AI 代理将多个通信渠道(接触中心语音和数字消息)与企业系统(CRM、ERP 和自动化平台)连接起来。代理访问统一的记忆和知识库,同时利用 MongoDB 的数据库能力进行实时数据处理。这种架构使得与现有企业工具的无缝集成成为可能,包括 Salesforce、Microsoft Dynamics 365、SAP、Oracle 以及各种自动化平台,展示了代理型 AI 如何将孤立的聊天机器人转变为可以在整个组织技术堆栈中行动的智能工作成员。

变革始于通过实时数据和记忆能力进行情境理解。Cognigy 的 AI 代理不仅独立处理当前交互,它们还保持对客户历史、偏好、先前交互和当前情境的全面意识。这种记忆不仅包括简单的数据检索,还包括对情感情境、沟通偏好以及客户与组织之间更广泛商业关系的理解。

此外,Cognigy 的代理可以根据推理而非僵化的脚本做出自主决策。这种能力标志着与基于规则的系统有显著的不同,使代理能够评估复杂情况,权衡多个因素,并根据每次交互的具体情况确定最合适的行动方案。

平台使用 API、CRM 甚至设备上的传感器等工具动态行动的能力,为实时问题解决创造了大量机会。Cognigy 的代理不仅可以限于信息检索和脚本化响应,实际上还可以代表客户采取行动,处理退款、重新预订航班、更新账户信息或与其他系统协调以解决复杂问题。

为什么数据是代理型 AI 的生命线

真正的个性化与仅仅象征性的差异不在于 AI 模型本身的复杂性,而在于驱动这些模型的 数据的质量、完整性和可访问性。如果没有快速访问到完整、高质量的数据,就无从谈起超越基本"Hi [first.name]"问候的个性化,这种问候已成为浅层自动化的代名词。

现代数据需求范围

无论 AI 代理是在为滞留旅客检查航班状态,还是在涉及多个利益相关者的复杂保险索赔中发挥作用,或者是在满足特定客户偏好和限制条件下预订租赁汽车,这些代理都依赖于立即访问多样化的数据源,以全面描绘客户的状况和需求。

历史互动构成了情境理解的基础,使代理能够识别客户行为中的模式,理解沟通偏好,并避免重复之前的错误或挫折。购买和服务历史提供了关于客户价值、偏好和生命周期阶段的宝贵见解,使代理能够做出适当的推荐,并相应地优先考虑服务级别。

客户偏好不仅限于简单的人口统计数据,还包括沟通风格偏好、渠道偏好、时间偏好,甚至可能影响如何处理互动的情感背景。位置和设备背景增加了另一层个性化机会,使代理能够提供特定位置的信息,理解客户当前的情况和限制,并优化正在使用的设备和渠道的互动。

MongoDB 在启用实时智能中的作用

这就是 Cognigy 和 MongoDB 之间的合作伙伴关系变得特别有效的地方。MongoDB 的面向文档的数据模型和灵活的模式能力(这意味着字段可以动态添加,无需预定义的表结构,与传统的关系型数据库不同,后者需要固定的模式)以及实时能力使 Cognigy 的代理能够高效地访问和处理各种数据源,同时保持实时客户互动所需的性能特征。

这种组合创造了一个基础,使全面的个性化不仅成为可能,而且在实际操作中可行,并且可以扩展到大型客户群和复杂的互动场景。

现实世界应用:转型零售客户体验

考虑一个实际的零售场景,该场景展示了这种实时智能的实际应用。当客户通过 WhatsApp 联系零售商的支持并询问他们的交货日期时,互动触发了复杂的数据编排过程,展示了 Cognigy-MongoDB 合作伙伴关系的力量,如图 9.2所示。

图片

图 9.2:实时数据集成在实际中的应用

此图说明了 Cognigy 的 AI 代理如何无缝集成 MongoDB 以提供个性化的客户体验。流程显示了客户的旅程从初始购买(1)通过对话查询(2),实时数据检索和处理(3),自动化系统同步(4),到智能响应生成(5),展示了每次互动如何利用实时业务数据以实现最大相关性和准确性。

客户的查询通过 Cognigy 的接触中心即服务CCaaS)平台进行,该平台立即查询 MongoDB 以检索用户配置文件数据和实时订单信息。MongoDB 灵活的文档结构允许系统存储来自客户偏好和购买历史到当前订单状态和配送物流的多种数据类型,所有这些都在可以即时访问的统一集合中。

当 Cognigy 的 AI 代理处理客户的自然语言查询时,它将实时业务数据与客户的问题结合起来,为大型语言模型LLM)创建一个全面的提示。然后,LLM 生成一个个性化的、上下文感知的响应,不仅回答交付问题,还可以主动更新订单信息或建议相关服务。

使这特别强大的是 MongoDB 的更改流和触发器功能。当 AI 代理在对话中更新配送信息时,例如重新安排配送预约,MongoDB 会自动将此数据与其他客户旅程中的系统同步,包括库存管理和配送提供商。这确保了客户体验的每个接触点都反映了最新的信息,无需人工干预。

无缝集成的技术基础

MongoDB 的实时能力确保 AI 代理不会在过时数据上操作;它们使用最新信息和上下文与客户互动,即使在传统系统可能因延迟或可用性问题而挣扎的峰值需求期间也是如此。这种架构方法将客户服务从被动问题解决转变为主动关系构建,其中每一次互动都成为加强客户忠诚度的机会,通过个性化的、准确的和及时的帮助。

这种组合创造了一个基础,其中全面的个性化不仅成为可能,而且变得实用,并能够在大客户群和复杂的互动场景中扩展。

关键时刻的实时性能

在客户服务的风险世界中,速度不仅仅是竞争优势;它往往是客户保留与流失、成功的问题解决与升级的挫败感之间的区别。现代 AI 代理需要在互动的精确时刻实时访问库存系统、CRM、订单管理平台和预订工具。

当系统被推至极限时

AI 驱动的客户服务系统的真正考验不是在正常运营条件下,而是在推每个组件至极限的危机情况下。2024 年 3 月德国机场罢工就创造了这样的场景,航空业各地的接触中心都面临了压力,成千上万的乘客同时寻求重新预订、退款和替代旅行安排。

在这次危机中,一级航空公司的 AI 代理即使在传统呼叫中心因应对客户咨询激增而陷入困境时,也保持了服务连续性。这一表现不仅证明了 Cognigy 的 AI 代理的能力,也证明了在超高速下跨多个系统即时访问数据的重要性。

简单请求背后的复杂性

然而,对速度和数据质量的需求并不仅限于罕见的颠覆性事件。考虑一下看似简单的客户咨询,“我的包裹什么时候能到?”。这个日常问题需要完成一系列复杂的数据操作,这些操作必须在几秒钟内完成,而不是几分钟,以满足客户期望并保持服务质量。

系统必须首先通过身份验证过程识别用户,访问过去的订单数据,查询物流系统以获取实时状态,处理来自多个承运商的信息,使用 LLM 生成类似人类的响应,并将交互记录下来以供将来参考。所有这些复杂的编排必须在几秒钟内完成,以保持无懈可击的服务假象。

根据 HubSpot 的研究,90%的客户在联系客户服务时都期望立即得到回应,而达到这一标准的公司看到显著更高的保留率和满意度[2]。快速访问数据不仅使 AI 更快,而且使它值得信赖、可操作,并以客户为中心,从而建立持久的企业关系。

扩展卓越,而非错误

以人为先和以电话为中心的接触中心时代已经走到了它的必然结局,标志着在现代商业环境中已变得不可持续的操作模式的终结。通过雇佣更多代理手动扩展客户服务运营的传统方法,组织难以长期留住这些代理,这代表了一种成本高昂且效率低下的策略,无法跟上不断增长的客户期望。

变革的数学

手动扩展的数学揭示了传统接触中心模型固有的问题。随着客户群的增长和交互量的增加,组织面临着人员成本、培训需求和运营复杂性的指数级增长。当考虑到困扰客户服务行业的较高人员流动率时,挑战变得更加严峻。

在 AI 优先的时代,目标已经从简单地处理客户咨询转变为在显著降低成本的同时提供相同或更好的服务质量,同时提高客户满意度和业务成果。Cognigy 的 AI 代理代表了应对这一挑战的解决方案,提供了一条可持续、可扩展的客户服务之路,随着量的增加而改善而不是退化。

行业间的示范结果

Cognigy 带来的转型不仅超越了简单的自动化,还包括对客户服务可以完成的事情的全面重新构想。而不是将客户互动视为需要最小化的成本中心,以 AI 为先导的组织可以将每个客户接触点视为建立关系、收集见解和创造价值的机会。

表 9.1:AI 驱动的跨行业客户服务绩效结果

此表展示了 AI 驱动的客户服务解决方案在多个行业和用例中的可衡量影响。数据显示,关键绩效指标KPIs)有显著改进,包括从 25%到 95%的转介率,平均处理时间AHT)、身份识别和验证ID&V)的实质性减少,以及响应时间减少和代理效率提升等运营指标的改善。

这种转型的证据可以在 Cognigy 在各个行业和用例中持续交付的结果中看到。实施 Cognigy 的代理 AI 方法的组织报告说,他们的运营效率、成本结构和竞争地位发生了有意义的变化。在自主处理复杂客户互动的同时保持高质量、个性化的标准,为企业提供了在不成比例增加人力资源的情况下扩展客户服务能力的机会。

可持续增长的基础

在 MongoDB 高性能、灵活的架构数据库架构的支持下,Cognigy 代理以企业级速度、灵活性和可靠性运行,可以扩展以处理大量交互量,而不会降低性能或服务质量。MongoDB 的实时能力确保 AI 代理不仅是在拉取昨天的数据,他们使用最新的信息和背景与客户互动,即使在传统系统可能因延迟或可用性问题而挣扎的峰值需求期间也是如此。

个性化并非魔法,而是数据掌握

真正的个性化远不止于至今为止大多数客户服务自动化所具有的简单姓名识别。虽然基本系统可能会用“你好,” [姓名] 或引用他们的账户号码来问候客户,但真正的个性化需要深入理解客户背景、偏好、行为模式和当前需求,这远远超出了表面层次的数据检索。

智能个性化架构

Cognigy AI 代理通过利用全面的数据来即时访问客户订单历史、偏好和行为洞察,从而实现这一更深层次的个性化,使他们能够根据用户的过去互动以及当前互动的演变背景来定制每一个回应。

真正的个性化操作跨越多个交互层同时进行。除了提供相关信息外,它还涉及调整沟通风格以符合客户期望,根据上下文选择最佳渠道,并调整服务交付的速度以与个人的紧迫性和技术舒适区保持一致。

通过整合长期记忆,如详细的用户资料、全面的购买历史和记录的偏好,以及短期上下文,包括当前的查询或问题、客户的情绪状态、他们选择的沟通渠道以及可能影响其需求或限制的外部因素,AI 实现了这种细微的个性化。

个性化卓越的技术基础

MongoDB 灵活的数据模型在使 Cognigy 能够摄入和统一各种数据源方面发挥了关键作用,这些数据源不受传统数据库方法中具有代表性的刚性模式要求的限制。这种灵活性支持无缝的跨渠道体验,真正倾听用户及其需求,而不是简单地重复标准化的回复,这些回复忽略了个人上下文和偏好。

通过不同类型的数据如何使特定的 AI 能力系统化,以及这些能力反过来又如何推动可衡量的业务成果,可以理解数据能力和 AI 结果之间的关系。

| 数据功能 | AI 能力 | 结果 |

| --- | --- | --- |

| 客户资料 | 分段和上下文理解 | 相关、个性化的互动 |

| 实时访问 | 动态参与和工具集成 | 快速、响应迅速的服务 |

| 高质量数据 | 准确的响应和决策 | 信任和满意度 |

| 预测行为建模 | 积极的推荐和警报 | 增加转化率和忠诚度 |

| 集中式数据架构 | 所有渠道的统一客户体验 | 无缝的全渠道旅程 |

表 9.2:数据如何为代理 AI 提供动力

熟悉的谚语“垃圾输入,垃圾输出”在 AI 驱动的客户服务系统背景下从未如此相关或后果严重。这个原则在我们日常与 AI 系统互动的经验中表现得最为明显,这些 AI 系统基于有缺陷或不完整的训练数据提供自信但完全错误的响应。

准确性的风险

在客户服务环境中,信任和准确性至关重要,数据质量差不仅会导致一些小的不便,还会导致质量差、有偏见或完全错误的响应,这些响应可能会破坏客户关系并损害品牌声誉。在客户服务 AI 中,数据质量差带来的后果远不止简单的事实错误。

当 AI 代理提供有关产品可用性、定价或政策的不正确信息时,客户可能会基于这些信息做出决策,导致失望、经济损失或错失机会。当 AI 系统基于不完整或扭曲的训练数据表现出偏见时,它们可能会向不同的客户群体提供不同水平的服务,从而产生法律和道德问题,可能对业务产生严重影响。

AI 卓越的全面要求

高质量、准确、及时和完整的数据是提供相关、类似人类响应的关键要求,这些响应是客户可以信赖并采取行动的。这一数据质量要求涵盖了必须同时维护的多个维度,以确保可靠的 AI 性能:

  • 准确性确保提供给客户的信息反映了现实,并且可以信赖用于决策

  • 时效性确保信息反映了系统和流程的最新状态

  • 完整性确保 AI 代理能够访问提供全面帮助所需的所有相关信息

  • 一致性确保通过 AI 渠道提供的信息与其他渠道和系统提供的信息保持一致

简而言之,如果没有在所有维度上高质量的数据,即使是最高级的 AI 也会力不从心。但当这些基础建设到位时,具有代理能力的 AI 不仅会做出响应,它还能建立信任、驱动行动,并带来真正感觉像人类般体验。

治理和合规框架

通过 Cognigy,企业不仅获得能够进行复杂推理和决策的智能代理,还获得受治理、合规的 AI 系统,这些系统具有全面的功能,旨在保护敏感信息并确保符合监管要求。这些功能包括个人身份信息PII)的编辑能力,该能力可以自动识别并保护 PII,基于角色的访问控制确保只有授权人员可以访问敏感数据,以及端到端加密,在整个交互生命周期中保护信息。

这些治理和合规能力符合多个行业和司法管辖区严格的监管标准,使组织能够有信心部署 AI 驱动的客户服务,确信它们正在履行其法律和道德义务。

摘要

从基于规则的聊天机器人到智能代理人工智能的转变,代表了重大的技术进步,这反映了当结构化数据基础与高级人工智能系统相结合时,对客户沟通能力的全面重新思考。在本章中,我们探讨了 Cognigy 和 MongoDB 之间的合作如何为这一进步建立基础设施,使组织能够超越传统的接触中心限制,向每个客户互动都成为定制、智能互动机会的运营模式转变。

分析表明,有效的 AI 代理需要强大的数据架构,而掌握这一整合的组织将在竞争激烈、以客户为中心的市场中保持竞争优势。

下一章将探讨这些智能数据利用和代理人工智能的原则如何从客户体验到运营效率转变零售运营。我们将分析当代零售商如何在其运营中整合智能,从处理客户意图超出关键词匹配的 AI 增强搜索,到生成大规模动态、定制体验的个性化营销和内容系统。

参考文献

  1. 新卢夫特汉萨地面工作人员将于 3 月 7 日(星期四)和 3 月 9 日(星期五)举行罢工loyaltylobby.com/2024/03/04/new-lufthansa-ground-staff-strikes-on-thursday-friday-march-7th-9th/

  2. 根据消费者意见,最重要的 5 个客户服务标准blog.hubspot.com/service/customer-service-standards

第十章:利用人工智能转型零售业

零售业已经发生了变化。它不再仅仅是应对客户的需求。领先的零售商现在明白,为了获胜,他们必须预测客户的每一个需求,并个性化每一次互动。人工智能是实现这一可能性的关键技术。为了创建这种预测和高度个性化的未来,零售商现在就需要将人工智能整合到他们的解决方案中。

一直以来,零售业依靠其理解和回应客户需求的能力而繁荣。但在今天这个互联、以体验驱动的世界中,这已经不再足够。现代客户的旅程是碎片化、快速移动且极具个人特色的。零售商现在必须做的不仅仅是反应,他们必须预测、适应,并在每个接触点上以智慧和精确的方式参与。

人工智能不仅仅是这个领域的一个新兴趋势;它是推动零售业下一个时代的引擎。从产品发现到履行,从内容创建到客户支持,人工智能正在改变零售商的运营、创新和竞争方式。然而,正如许多 IT 决策者所知,以有意义、可扩展的方式利用人工智能往往说起来容易做起来难。成功不仅仅需要插入一个模型;它需要以数据为先的方法、集成平台、实时响应能力,以及能够随着业务发展而演变的架构。

在本章中,你将了解以下内容:

  • 由向量搜索驱动的语义搜索正在通过实时、意图驱动的体验改变产品发现和客户互动

  • 个性化营销和内容生成利用生成式人工智能和检索增强生成RAG)在所有渠道上创建动态、可扩展的客户体验

  • 需求预测和预测分析利用人工智能从被动转向主动规划,优化库存和供应链管理

  • 通过智能数据捕获和实时个性化,数字化店内互动弥合了线上线下零售之间的差距

  • 对话式和代理式聊天机器人通过自主、自适应和情境感知的交互革命性地改变了客户服务

  • 零售业各公司的通过智能、数据驱动的 AI 实施取得了可衡量的业务成果

  • MongoDB 的统一数据库提供了支持人工智能驱动的零售工作负载所需的灵活和可扩展的基础设施

  • 代理式人工智能正在成为下一个前沿领域,它使主动、自主的系统能够持续优化零售运营

  • 现代零售商正在将人工智能应用扩展到损失预防、商品执行、员工编排和可持续性优化

由向量搜索驱动的语义搜索

顾客的旅程通常从查看展示的商品开始,这可以快速地在实体店和网店之间切换。在当今竞争激烈的在线零售环境中,传统的搜索栏已经从仅仅是一个功能性工具转变为一个复杂的引擎,它能够捕捉顾客的意图并将其转化为收入。成功的零售商现在正在利用他们在顾客旅程中拥有的实时运营数据,并通过 AI 来丰富这些数据,以创建智能的、搜索生成体验SGE)。这种演变,由向量搜索等创新推动,使他们能够理解顾客的意图,呈现高度相关的结果,并实现主动、个性化的互动,从而提升销售额。

随着在线购物竞争加剧和顾客期望的提高,传统的搜索功能已不再足够。本节探讨了搜索,曾经只是一个功能性工具,如何成为顾客参与和收入的有力驱动因素。我们将深入了解现代零售商如何通过整合实时分析、AI 和运营数据来演变他们的搜索基础设施,以提供智能、自适应的搜索体验。这些进步,包括语义向量搜索,使零售商能够呈现更多相关的结果,理解顾客的意图,并创建主动、意图感知的互动。

转变零售搜索

随着顾客在这个日益个性化的零售环境中探索,他们的旅程通常从关键的搜索互动开始。虽然零售商通过利用大量客户数据来提供差异化的购物体验,但这种个性化的有效性取决于搜索结果能够多么精确和迅速地定制。传统上,实现这一点需要复杂的数据仓库和 AI 模型来细分客户。然而,零售搜索的未来在于更加动态和实时的个性化,以真正引导顾客通过他们独特的购物之旅。

然而,搜索的世界不仅仅局限于找到顾客感兴趣的那一个商品。零售商有机会以某种方式对结果进行排名,从而为顾客提供多个有吸引力的选择。传统上,如何以个性化的方式对搜索结果进行排名的决策是通过从各种运营系统中收集客户数据,将其全部移入数据仓库,然后通过各种机器学习算法来进行的。通常,这会在批量模式下运行(每 24 小时、48 小时,甚至 72 小时或几天),下一次顾客登录时,他们会获得个性化的体验。然而,这并没有实时捕捉到顾客的真实需求。

现代零售商现在正在通过实时数据和人工智能驱动的分析增强他们的搜索结果。通过整合购物车数据、客户点击流和趋势购买活动数据,零售商可以提供高度相关且与客户意图完美对齐的产品推荐。这导致转换率提高、更好的交叉销售机会,以及能够利用正在发展的新兴趋势,而不是几天后。

此外,在通用人工智能时代,零售商正开始从基于关键词的搜索转向模仿自然对话的基于提示的交互。现在,客户可以用普通语言表达他们的需求,例如,“我需要给我那位热爱远足的父亲买一份礼物”,并立即收到定制的结果。这种方法通过解释意图而不是仅仅匹配术语来解锁更深层次的个性化。它还允许零售商更直观地展示相关产品,即使客户不确定要搜索什么。基于提示的搜索在提供更智能、更类似人类的数字购物体验方面迈出了重要一步。

视觉搜索代表了另一种变革性能力,允许客户上传他们想要找到的物品的照片或发现类似的产品。客户可以拍下朋友的外套或他们在杂志上看到的一件家具的照片,并立即在零售商的目录中找到匹配或类似的项目。这项技术使用计算机视觉和人工智能来分析视觉特征,如颜色、图案、纹理和风格,然后将它们与产品图像进行匹配。视觉搜索消除了用文字描述复杂视觉属性带来的挑战,并开辟了传统基于文本的搜索无法提供的发现机会。

除了个性化之外,零售商还战略性地影响搜索排名以满足商业目标。搜索结果越来越受到库存水平、利润率和促销活动等因素的影响。零售商可能会提高库存过剩的产品,以清理仓库空间,或者优先考虑利润更高的商品以提高盈利能力。赞助产品定位允许品牌为在相关搜索中获得突出位置付费,从而创造额外的收入来源。这种商业智能排名确保搜索既满足客户需求,又满足商业目标,在相关性、库存水平和季节性库存管理等运营现实之间取得平衡。

构建统一的客户视图

真正理解客户的第一步是建立一个客户操作数据存储,该存储整合了组织内部的数据:支持、电子商务交易、店内互动、愿望清单、评论等。灵活的基于文档的数据库架构使得将不同类型和格式的数据汇集到一个文档中,以便在一个地方清晰地了解客户。客户记录存储正是如此,它是一个包含所有客户历史的单个文档,而不是多个表格,数据分散在不同的行中。随着零售商收集更多关于客户的数据点,他们可以轻松地添加字段,而无需因模式更改而停机。数据以它需要被消费的方式存储。

然后是实时运行分析的能力,而不是在另一个独立的系统中事后进行。例如,MongoDB 的架构允许工作负载隔离,这意味着操作工作负载(客户在电子商务网站上的操作)和分析或 AI 工作负载(计算下一个最佳出价应该是多少)可以同时运行,而不会相互干扰。零售商可以使用 MongoDB 聚合框架进行高级分析查询或实时触发 AI 模型以给出可以嵌入到搜索排名中的答案。

全能平台的益处巨大,因为无需更新您的搜索索引以包含您的 AI 增强功能,MongoDB 内置了搜索功能。整个流程可以在一个数据平台上自动完成;当您的数据通过 AI 结果得到丰富时,搜索索引将同步更新以匹配。

第二章“什么使通用人工智能、RAG 和代理人工智能与众不同”中所述,向量搜索通过在向量空间中找到与用户查询邻近的内容来实现语义理解。在零售应用中,这意味着当客户搜索“舒适的跑步鞋”时,系统会根据相似度评分返回产品,这些评分表明它们与查询意图的匹配程度有多接近,可能包括运动鞋、性能鞋或运动鞋,即使产品描述中没有使用这些确切术语。

图片

图 10.1:MongoDB Atlas 的统一客户视图架构,包含 AI 增强搜索和分析

此架构图显示了 MongoDB Atlas 如何通过将多个数据源集成到一个平台上来创建统一的客户视图。该系统结合了传统的数据库操作和向量搜索功能,实现了实时分析、语义搜索和个性化推荐。关键组件包括来自各种来源的数据摄取、MongoDB 灵活的文档存储、Atlas 向量搜索进行语义匹配以及用于产品智能和竞争分析的下游分析。

零售中的向量搜索技术提供了显著的经济效益。行业研究显示,与个性化搜索结果互动的客户,其转化率比未互动的客户高出 2-3 倍[1]。

从被动反应到主动

第二章中提到的代理式 AI 原则应用于零售搜索,这些系统持续监控客户行为,评估变化趋势,并自主优化排名策略或启动促销工作流程,无需人工干预。这解决了大多数当前搜索实现方式的反应性,即使实时模型也等待明确输入而不是自主驱动计划。通过填补这一差距,代理式 AI 使零售商能够大规模提供适应性、情境感知的体验。

对于最终客户来说,这导致了一个更加直观和满意的购物体验。代理式 AI 不仅呈现相关产品,还确保搜索结果随着客户的实时旅程而演变,不仅建议类似产品,还根据推断的意图编排捆绑包、重新订购提醒或提供优惠。这使体验从被动推荐转变为智能辅助,推动客户满意度、忠诚度和最终转化率的提升。

全球食品配送平台如何应对库存挑战

一家领先的全球食品配送平台通过 AI 转变实时客户互动的例子。面对易腐库存经常缺货的挑战,这家公司开发了一个提供实时个性化产品替代方案的物品替换工具。该解决方案由先进的 AI 模型和实时库存数据驱动,确保客户总能找到合适的选项,减少购物车放弃率并保留收入。建立在现代数据基础设施之上,该工具已在中东进行试点,预计将增加月度总商品价值。通过加速 AI 创新,这家食品配送平台不仅提高了客户满意度,也为可扩展的智能增长做好了未来准备。

为了编辑清晰,此示例已被匿名化。了解更多信息,请参阅:mdb.link/food-delivery-platform-ai-innovation

Spotlight_Icon.png

个性化营销和内容生成

今天的零售环境由多样化的数字景观定义,其中社交媒体、电子邮件、网站和移动应用作为至关重要的消费者接触点。然而,真正的挑战在于定制个性化的内容,使其在每个不同的渠道中都能产生独特的共鸣。在社交媒体上吸引消费者的内容可能与在电子邮件中吸引他们的注意力或在移动应用中促使他们采取行动的内容存在显著差异。随着客户对相关和动态体验的期望不断增长,通用的营销活动已不再有效。

零售商需要可扩展的解决方案来创造深入个性化的互动,从而推动参与度、培养忠诚度并将兴趣转化为实际成果。本节探讨了如何通过先进的技术,特别是生成式和代理式 AI,赋予零售商实现这种复杂的渠道特定个性化水平的能力。AI 通过生成多样化的内容变体在创建这些个性化功能中扮演关键角色,从电子邮件的个性化主题行到移动应用的动态布局。对于测试,AI 驱动的 A/B 测试和多变量分析可以快速评估不同个性化策略在各个渠道中的有效性,确定最佳方法。最后,在部署时,AI 系统可以自动触发并通过电子邮件、短信和在应用通知中交付个性化内容,确保基于实时客户行为和偏好的及时和相关性沟通。

我们将探讨大型语言模型LLMs)、向量数据库和实时数据处理如何以前所未有的规模和速度实现个性化内容创作。通过利用现代数据库(例如,MongoDB)和 RAG 等工具,零售商可以将客户偏好、行为和产品可用性直接集成到营销工作流程中。此外,我们介绍了代理式 AI,它赋予营销系统实时自我优化营销活动的功能,响应客户信号并持续适应以改善结果。这些创新共同重新定义了营销内容的生产、交付和优化方式。

利用 GenAI 满足现代零售的内容需求

现在,通用人工智能(GenAI)可以创建大量内容,包括个性化的广告文案、多语言的产品描述以及多样化的视觉资产,如生活方式摄影和图形。这种集成到零售工作流程中简化了整个内容生成过程,极大地减少了传统上对文案写作、编辑和视觉制作的劳动力需求。例如,通用人工智能(GenAI)可以自动调整产品文献以反映不同地区的特定品牌语气,并为不同受众生成相关的产品图片。这加快了新产品和活动的上市时间,使零售商能够跟上快速变化的消费者购买模式和产品目录。通过自动化内容创建,通用人工智能(GenAI)释放了人力资源,使其能够专注于战略举措,提高整体营销效率和效果。

在零售业中,广告和营销材料对于吸引顾客兴趣并推动购买至关重要。社交媒体的出现为接触顾客创造了更多的接触点:Instagram、Facebook、电子邮件推广、新闻通讯以及网站上的促销横幅。这既为零售商提供了机会,也带来了关于内容生成量的挑战,这些问题可以通过采用通用人工智能(GenAI)来有效解决。

顾客购买模式、不断更新的产品目录和库存可用性是零售运营的关键组成部分。此外,还有确保产品文献以正确的语气反映品牌在多种语言中的形象的任务。产品图片需要与当地受众相关。传统上,这需要大量的文案写作和编辑工作、不同型号的摄影以及视觉和图形的生成。

零售商还必须实时了解活动的效果,以便他们可以迅速调整营销支出和策略,以反映哪些措施有效。在一个营销和品牌推广是关键业务活动的行业中,零售商需要尽可能多的客户洞察,以便他们能够在正确的时间向客户传达正确的信息。

公司将利用消费者接触点的显著增加来个性化并触及使用数字渠道发现、考虑和购买产品的不断增长的消费者群体。65%的消费者在网上研究产品,30%在线购买。这些数字在过去三到四年间翻了一番。这为品牌提供了针对在线消费者进行个性化内容营销的巨大需求,这是由通用人工智能(GenAI)较低的内容创建成本所提供的机遇[2]。

利用通用人工智能(GenAI)和大型语言模型(LLMs)加速个性化内容

通用人工智能(GenAI)是整个零售行业创新的催化剂,从时尚行业的个性化到后台运营的简化。通过与大型语言模型(LLMs)的 RAG,时尚零售商现在可以在几秒钟内创建个性化的营销材料、新闻通讯、社交媒体帖子以及针对每位客户的电子邮件接触。这还包括利用现有客户数据生成独特的视觉、图形,甚至逼真的图像。这种自动化显著减少了之前创建活动所需的手动工作,并大幅缩短了新系列和促销的市场投放时间。

在后台运营中,通用人工智能(GenAI)可以快速轻松地分析活动效果,提供可操作见解,推动关于库存管理、供应链优化和客户关系管理的智能战略决策。这种将复杂数据迅速综合为明确建议的能力,使时尚品牌能够做出更明智的选择,从而提高效率和盈利能力。

创建针对客户和品牌的个性化内容的秘诀是利用零售商内部拥有的大量数据,为大型语言模型(LLM)提供上下文。一个令人信服的数据驱动个性化行动的例子来自美容行业。

用 MongoDB Atlas 推动美容零售业的创新

一家领先的全球美容零售商通过内部技术加速器加速了其数字化转型,构建了支持复杂实时分析的高性能应用程序,以指导更好的商业决策。面对之前 NoSQL 数据库在延迟和代码复杂性方面的限制,该团队迁移到了谷歌云上的 MongoDB Atlas。这一转变显著提高了后端性能和开发者敏捷性,将延迟从秒级降低到毫秒级,并促进了更快的技术创新。简化的架构使产品团队能够快速迭代和高效扩展,与其使命相符,即通过技术提供个性化且包容性的美容体验。

这个例子已被匿名化以提高编辑清晰度。了解更多信息,请参阅:mdb.link/leader-in-beauty-digital-transformation

Spotlight_Icon.png

利用现代数据库进行可扩展、人工智能驱动的营销

在大规模实现个性化内容创建需要强大的数据基础设施,能够无缝集成客户数据与人工智能模型。在 MongoDB 中,Apache Spark 连接器允许对大型语言模型(LLMs)进行模型训练,因此如“为每位客户创建一个个性化的新闻通讯,建议一个基于当前优惠和其以往购买的商品”这样的提示可以使用数据、图像和语气或语言参考来创建接触。

通过使用如 MongoDB 这样的集成平台方法,当新产品或视觉元素被添加到产品目录中时,变更流可以触发新数据的矢量化,使整个过程无缝进行。使用内部数据进行模型训练为零售商提供了有效触及其受众的无价资源。

图片

图 10.2:AI 驱动的个性化架构

前面的图示显示了参考架构,突出了 MongoDB 如何被利用来实现 AI 驱动的个性化。通过利用用户数据和媒体内容的多维矢量化,MongoDB Atlas 可以应用于多个 AI 用例。这允许利用媒体渠道更有效地提升最终用户体验。

通过这样做,零售商可以推荐与个人偏好和以往互动更紧密一致的内容。这不仅增强了用户参与度,还增加了将免费用户转化为付费订阅者的可能性。

图片

图 10.3:基于 RAG 的 MongoDB 客户数据个性化新闻通讯生成

此工作流程展示了客户数据(愿望清单、忠诚度数据、购买历史和客户行为)如何被摄入 MongoDB。这些原始数据通过嵌入模型进行转换和矢量化。每个向量代表客户属性和交互的数值表示,捕捉他们的偏好、以往购买和浏览行为。这些向量存储在 MongoDB 内部的向量数据库中,从而实现高效的相似性搜索。当收到用户对新闻内容提示的请求时(例如,"为对户外装备感兴趣的顾客生成个性化的新闻通讯"),RAG 系统立即启动。首先,将用户的提示矢量化。然后,使用此提示向量查询 MongoDB 向量数据库以检索最相关的客户数据向量。例如,如果提示是关于户外装备的,系统将检索与户外产品购买相关的客户档案及其历史数据、露营设备的愿望清单或徒步靴的浏览行为。这些检索到的客户数据,针对性强且与个人上下文相关,构成了上下文的基础。

然后将提取的客户上下文以及初始用户提示输入到大型语言模型(LLM)中。LLM 利用这个丰富、个性化的上下文生成高度相关和定制的时事通讯内容。例如,如果检索到的客户数据表明过去购买过特定品牌的徒步靴,LLM 可以生成一份突出该品牌新到货品、与靴子相配的配件或类似户外装备即将到来的销售的时事通讯。这个过程使零售商能够大规模地创建定制化的营销沟通,超越通用活动,为每位客户提供真正个性化的体验。LLM 理解和综合上下文信息的能力确保了生成的内容不仅个性化,而且连贯且引人入胜,最终推动更高的客户参与度和转化率。

代理人工智能如何革命性地改变零售业的适应性营销

代理人工智能通过引入能够不仅生成个性化内容,还能根据客户参与信号实时监控、评估和调整营销活动的自主系统,将这一过程进一步推进。这些智能代理可以评估哪些信息与不同的受众群体产生共鸣,并动态调整语气、格式、渠道和时间,以最大化性能而无需人工干预。

内容营销的最大挑战是内容部署和响应之间的滞后。通常,营销团队必须等待分析,解读数据,然后手动调整他们的活动。代理人工智能消除了这个循环,实时优化接触,完全消除了这种延迟。

对于最终消费者来说,这意味着内容感觉真正相关和及时;在需要时提供优惠,以引起共鸣的语气,并通过他们偏好的沟通渠道。对于零售商来说,这意味着提高了营销支出的回报率,提高了转化率,并减少了依赖于可能随时间失去影响力的静态活动的依赖。通过代理人工智能,个性化营销从基于历史洞察的静态过程转变为一个动态系统,该系统能够智能地适应消费者的即时行为。

需求预测和预测分析

准确的需求预测是区分运营效率和成本高昂的错误的关键因素。随着消费者期望的提高和供应链的日益复杂化,精确预测需求的能力可以显著影响零售商的盈利能力、库存管理和客户满意度。本节探讨了人工智能驱动的需求预测和预测分析如何帮助零售商从被动转向主动规划。在大量历史数据和实时输入的支持下,企业可以生成预测,从而指导更明智的采购、补充和促销决策。

我们将探讨从传统机器学习模型到尖端技术如 GenAI 和代理 AI 的演变。本节将检查现代预测方法如何整合上下文信号,如季节性、经济变化和行为模式,以提高准确性。您将了解 RAG 如何增强数据的相关性,以及代理 AI 如何通过实时自动化调整和行动更进一步。这些创新共同使零售商能够高效地满足需求,同时最小化浪费并最大化客户满意度。

驱动 AI 的需求预测,以实现更智能的库存和供应链管理

零售商通常通过构建自己的应用程序或购买专门的预测产品来预测需求。虽然自建系统可能有效,但它们也带来了一些挑战:

  • 显著的基础设施需求:自建系统需要大量基础设施来存储和处理数据,以及进行机器学习操作MLOps)。这意味着需要大量的硬件、软件和网络资源。

  • 专门的技术专长:这些系统的发展、管理和维护需要专业的技术知识。在寻找和留住熟练的专业人员方面,这可能是一个挑战。

  • 持续的关注和维护:这些系统需要持续的关注以确保最佳性能并为业务提供价值。这导致了对监控、故障排除、更新和一般维护的持续需求,这可能需要大量的资源和时间。

随后,特征工程用于提取季节性、促销、影响和一般经济指标。可以整合 RAG 模型来提高需求预测的准确性并减少幻觉的可能性。可以从历史数据中利用相同的数据集来训练和微调模型,以提高准确性。

这些努力带来了以下商业效益:

  • 需求预测的精确度

  • 优化的产品/供应计划

  • 库存管理的准确性

  • 提高客户满意度

GenAI 如何重塑零售业的预测分析

传统 AI 通过整合来自不同来源的数据,如销售交易、社交媒体和天气模式,在零售业中用于需求预测和预测分析,从而实现高度准确和及时的预测。

GenAI,与传统的机器学习不同,可以创建新颖的数据,例如逼真的图像、文本和音频,而不仅仅是分析现有数据以进行预测。这种能力使得内容创作、用于训练的合成数据生成以及个性化体验等应用成为可能,超越了传统机器学习的分析和预测限制。

生成式人工智能可以通过快速生成新颖的设计迭代、在各种条件下模拟性能以及针对特定标准进行优化,显著提升产品设计和发展。这加速了原型设计阶段,减少了昂贵物理样机的需求,并允许探索更广泛的创意解决方案,最终导致更多创新且市场准备的产品。

图 10.4:一个价格变化场景的插图,其中燃料成本上升导致运输成本上升,进而导致定价上升

让我们分解图像中提到的步骤:

  • [1] 这会产生关于成本增加的事件,并将它们放入消息流中,事件队列使它们可供所有微服务监听。

  • [2–4] 定价微服务消费事件,将其与现有数据进行对比分析,并将新的定价信息传递到消息流中。

  • [5–6] 数据库将这些消息推送到事件队列,使得所有监听消息的消费方都能访问到。受定价变化直接影响的服务,例如管理库存、营销、促销、优惠券、销售点POS)以及电子商务提供商的订单管理系统OMS),会消费价格变化事件并相应地更新各自的数据库。

  • [7] 集中式数据库聚合并持久化事件,通过来自其他来源的数据(包括历史数据)丰富事件流,并为多个事件流提供一个中央存储库。

在零售业中,通过代理人工智能转型预测分析

在这一演变过程中,使用代理人工智能是一个强大的下一步,它不仅超越了静态预测,还能在实时中主动监控、适应并采取行动。代理人工智能引入了自主代理,它们会持续评估预测准确性、市场变化和供应链中断,然后无需人工提示即可调整定价、补充订单和促销策略。这解决的是传统系统中洞察与执行之间的滞后问题,在传统系统中,预测被生成但通常需要手动执行,这导致了延迟并降低了其有效性。

通过自动化响应循环,代理人工智能显著缩小了这一差距。对于最终客户来说,这意味着更好的购物体验,产品更有可能处于库存中,定价更加动态且能及时响应实际需求,促销活动的时间安排和目标也更加精准。对于零售商来说,这意味着减少销售损失、减少浪费,以及一个真正能够响应现实世界动态的供应链。代理人工智能将需求预测从决策支持工具转变为智能运营引擎。

与通常基于静态模型和预定义规则的预测分析系统不同,代理人工智能通过动态适应并从持续的交互和更广泛的实时信号中学习而表现出色。这允许进行更细致和准确的预测。

考虑一个零售场景:一位客户在网上浏览新的服装系列。一个传统的系统可能会根据过去的购买或一般流行度推荐类似的项目。然而,一个代理人工智能系统不仅会考虑历史数据,还会积极观察客户在网站上的当前行为——他们在特定产品图片上停留了多久,他们添加到购物车后又移除的项目,他们的鼠标移动,甚至他们的滚动速度。如果客户反复查看特定颜色或面料类型的商品,代理人工智能可以立即调整其推荐,优先考虑新到货或完美匹配该偏好的配件。它甚至可以检测到犹豫,并针对他们正在考虑的特定商品提供针对性的折扣,这一切都在实时进行。这种动态、响应式的做法远远超出了静态模型所能达到的。

零售业中的代理人工智能系统可以监听各种信号,包括以下内容:

  • 行为信号:点击流数据、页面上的时间、滚动深度、搜索查询、添加到/从购物车中移除的项目、产品查看以及与促销活动的互动

  • 上下文信号:一天中的时间、一周中的某一天、位置(如果允许)、设备类型以及与品牌的先前互动

  • 外部信号:天气模式、当地事件、社交媒体趋势、新闻标题和竞争对手的促销活动(如果数据可访问且符合道德规范)

  • 隐含信号:浏览时的犹豫、重复查看特定产品属性以及浏览模式的变化

通过持续分析这些多方面的信号,代理人工智能可以构建更全面和实时的客户意图理解,从而实现更有效的预测分析和个性化体验。

用智能数字化店内互动

随着数字化转型在零售业加速,一个具有巨大潜力的领域是店内体验。虽然在线渠道长期以来一直在捕获客户信号以实现个性化互动,但实体零售仍然分散,客户行为往往未被记录或隔离。这在大渠道客户旅程中造成了关键差距,尤其是当消费者越来越期望在店内获得与在线相同的个性化、实时体验时。

通用人工智能(GenAI)正在重塑零售商在数字环境中解读客户意图的方式,将基本的搜索和细分转化为对话式推荐和实时个性化。当这些技术与数字化的店内互动,如数字收据相结合时,可以将这种智能带入实体零售。通过将传统上模拟的事件,如 POS 交易,转变为结构化、可分析的数据,零售商可以全面了解客户,个性化推荐,并通过有意义的、数据驱动的互动推动忠诚度。

例如,贝恩公司进行的一项研究发现,“消费品公司领导者们在数字意图和资源分配方面优于落后者,并且拥有代表过去五年约 2 倍增长的技术投资预算,这代表着约 30%更高的数字变革和转型预算(按收入百分比计算)” [2]。

从纸张到洞察:数字收据作为数据催化剂

传统的收据,曾经是一种静态且可丢弃的物品,正成为现代零售中最有价值的资产之一。当数字化后,收据提供了一种结构化、高保真的店内交易记录,捕捉到诸如购买的商品、定价、折扣、支付方式、位置和客户标识等详细信息。与传统的基于批次的忠诚度系统不同,后者需要花费大量时间才能从交易中提取出情报,而数字收据则提供了对客户偏好和意图的即时、细粒度的洞察。

例如,当客户在店内购买运动鞋和补水包时,数字收据会立即将这一背景信息输入到统一的客户数据平台。通用人工智能(GenAI)可以利用这一输入来通过电子邮件、应用程序或甚至数字标牌推荐互补商品,如性能型袜子或跑步应用程序订阅,下次他们访问时。

图片

图 10.5:数字收据客户旅程:从购买到个性化推荐。

此工作流程图展示了数字收据如何通过五个关键步骤来改变客户体验:

  1. 客户在店内进行购买。

  2. 他们通过电子邮件或短信接收数字收据。

  3. 他们通过移动应用程序验证购买。

  4. 客户访问购买历史记录并接收由人工智能生成的个性化产品推荐。

  5. 他们可以直接通过应用程序重新购买商品。

该流程展示了数字收据如何作为数据催化剂,为创建无缝的全渠道零售体验服务。

适用于存储这些类型动态、多格式数据记录的灵活文档数据库,如 MongoDB,是理想的。具有模式灵活性和对复杂、嵌套文档的原生支持,零售商可以随着时间的推移演变收据结构,整合新的元数据字段,并即时查询洞察,无需停机或重构遗留表。

如何通过数字化店内收据来推动个性化并降低成本

一家主要欧洲超市连锁企业是公司向店内数字化演变的一个例子。该零售商使用 MongoDB Atlas 在其移动应用中数字化店内收据,为顾客提供实时和历史购买可见性。这些数据现在为个性化推荐和促销提供动力。统一的数据方法改善了客户体验,提高了开发效率,并促进了更快的技术创新。因此,这家零售商实现了 25%的年度成本节约。这为更高级的、基于 AI 的互动奠定了基础,例如预测库存管理、基于实时行为的个性化营销活动以及智能客户服务聊天机器人。

为了编辑清晰,此示例已被匿名化。了解更多信息,请参阅:mdb.link/innovation-largest-netherlands-supermarket

构建实时全渠道客户档案

数字化收据不仅仅是数字化购买;它们将线下行为与在线身份连接起来。通过将每个店内交易与一个统一的客户 ID 相链接,零售商可以构建一个全面的跨所有接触点的行为档案:客户在网上浏览了什么,他们在店内尝试了什么,他们退回了什么,哪些折扣影响了他们的选择,等等。

使用 MongoDB 的零售商可以将来自店内系统、移动应用、网络门户、忠诚度计划和客户服务渠道的实时数据合并到一个单一的操作数据层中。这使得即时个性化逻辑成为可能:如果客户最近在店内购买了冬季装备,他们下次打开应用或收到跟进电子邮件时,可以收到关于配件或基于当地天气的促销活动的推荐。

这种方法将个性化从反应性的、渠道特定的活动转变为主动的、实时的参与策略,无论互动起源于何处,都能响应客户不断变化的环境和偏好。

销售点的个性化

数字化店内互动也为店内实时个性化打开了大门。例如,一位回头客进入商店,店员使用移动 POS 或客户洞察应用,可以查看最近的购买记录、忠诚度等级以及基于他们上次访问的相关产品建议。例如,如果客户购买了咖啡豆和磨豆机,店员可以推荐清洁套件或同一品牌的优质混合咖啡。

这些建议越来越多地由在客户旅程数据上训练的 GenAI 系统提供支持。关键推动力是基础设施:MongoDB 支持操作和分析工作负载并行运行的能力,使得 AI 模型能够无延迟或重复地访问最新的交易数据。无论是构建用于产品推荐的定制向量嵌入,还是生成包含精选优惠的智能收据,MongoDB 都提供了实现大规模个性化零售所需的数据灵活性和性能。

智能代理 AI:从洞察到智能行动

虽然 GenAI 使响应式、情境化的个性化成为可能,但下一步是智能代理 AI,这些系统能够不仅解释客户行为,还能自主采取行动。而不是等待输入,智能系统会观察模式,预测客户需求,并在多个渠道上编排体验以满足业务目标,如保留、升级销售或转化。

在数字化店内互动的背景下,智能代理 AI 可能会自动识别一位客户经常购买婴儿护理产品,并启动智能订阅优惠。它可能会注意到一位之前忠诚的客户店内访问量下降,并部署个性化重新激活活动。这些行动需要不仅仅是静态规则;它们需要实时编排工作流程、数据和 AI 驱动的推理。

通过在支持智能触发器、事件驱动架构和实时分析的平台上,如 MongoDB,整合数据,零售商可以为与客户共同演进的智能代理 AI 系统奠定基础,无论是在物理渠道还是数字渠道。

对话式和智能代理聊天机器人

在当今的数字化零售环境中,客户期望与品牌进行即时、个性化且无缝的互动。对话式聊天机器人,尤其是那些由生成式和智能代理 AI 驱动的聊天机器人,正在满足这些期望,并重塑零售商提供客户支持、推动产品发现和建立品牌忠诚度的方式。本节深入探讨了零售业对话式 AI 的兴起,探讨了聊天机器人如何不仅用于改善客户服务,还用于提高营销有效性、推动运营效率,并通过智能数据处理解锁更深入的洞察。本节还介绍了高级架构和技术,如 RAG 和向量搜索,以展示聊天机器人如何随着每一次互动变得更加智能、更快、更相关。

在对话人工智能日益广泛的应用基础上,了解当今零售客户不断变化的需求至关重要。购物者现在不仅要求快速响应,还要求深度个性化的体验,这些体验反映了他们的偏好、历史和情境。具有记忆能力、能够通过复杂查询进行推理并采取主动行动的代理聊天机器人,使企业能够提供这些提升的客户体验。例如,嵌入 RAG 的聊天机器人可以立即检索客户的过去购买记录,并根据实时库存推荐互补产品。同样,一个代理支持机器人可以在对话中检测到挫败感信号,并自主升级到人工代理或提供定制折扣,将潜在流失转化为忠诚度。通过智能地策划内容和动态调整其响应,这些高级聊天机器人帮助零售商从交易性服务转变为同理心驱动的价值互动。它们能够记住互动并逻辑地行动,从而实现这一点。这些高级聊天机器人通过智能选择信息和实时适应,帮助零售商建立同理心和有价值的客户关系,而不仅仅是处理交易。

随着我们探索这些创新,我们将探讨对话代理如何从脚本响应者演变为动态、自主的实体,这些实体能够实时适应。本节涵盖了代理人工智能的变革潜力,这是一种新兴方法,它使聊天机器人能够根据实时客户反馈优化其行为,而无需人工干预。这种转变解决了反应性系统的局限性,并为主动、情境感知的数字互动新时代奠定了基础。通过架构示例、用例和商业影响故事,您将全面了解对话人工智能如何成为零售业中的战略差异化因素。

通用人工智能(GenAI)驱动的聊天机器人如何革命性地改变零售互动

由通用人工智能(GenAI)驱动的对话聊天机器人正在通过提升客户服务的方式革命性地改变零售行业。这些聊天机器人可以处理各种客户查询,从产品推荐到订单跟踪,提供即时准确的响应。这减少了等待时间,改善了整体客户体验,导致更高的满意度和忠诚度的提升。此外,聊天机器人可以 24/7 在实时数据上运行,确保客户在任何时候都能获得支持,这对全球零售商尤其有益。最近在美国的研究表明,人工智能驱动的聊天机器人可以将在线销售额每年提高近 4% [3],这进一步证实了人工智能不仅仅是一个趋势,而且是零售增长的一个持久驱动力。

除了客户服务之外,人工智能聊天机器人也在改变零售业的营销和销售策略。它们可以分析客户数据以个性化购物体验,根据个人偏好和行为提供定制化的推荐和促销。这种个性化帮助零售商提高转化率并增加销售额。此外,聊天机器人可以通过各种数字渠道与客户互动,包括社交媒体、网站和消息应用,扩大营销活动的覆盖范围和效果。

运营效率是另一个 AI 聊天机器人产生重大影响的领域。通过自动化常规任务,如回答常见问题、管理库存查询和处理退货,聊天机器人让员工能够专注于更复杂和增值的活动。这不仅降低了运营成本,还提高了服务交付的准确性和一致性。此外,聊天机器人收集的数据可以提供有关客户偏好和行为的宝贵见解,帮助零售商完善其策略并改进其产品。

在数字熟练和非熟练用户中,50-60%的人表示对在日常使用案例中转向对话式旅程有很高的偏好[4]。

使用搜索和人工智能推动智能对话

以下是一个聊天机器人 RAG 架构的示例。这个聊天机器人是使用 RAG 架构构建的。RAG 通过检索用户查询的相关信息并使用这些信息在 LLM 生成的响应中,来增强 LLMs 的知识。MongoDB 的公共文档被用作聊天机器人生成答案的信息来源。

为了根据用户查询检索相关信息,MongoDB Atlas Vector Search 被利用。在这个例子中,OpenAI 与 Vector Search 结合使用,以生成对客户问题的答案。通过使用私有数据源的数据,并增强 LLMs,数据被增强,赋予上下文,然后返回给用户。Azure OpenAI 嵌入 API 用于将 MongoDB 文档和用户查询转换为向量嵌入,以帮助使用 Atlas Vector Search 找到与查询最相关的内容。

图片

图 10.6:聊天机器人 RAG 架构的数据流示例

人工智能正在通过提供对客户行为的更深入洞察和通过智能决策过程优化利润率,革命性地改变零售商增强其竞争优势的方式。通过结合传统 AI 和 GenAI,零售商可以利用由向量搜索驱动的增强和语义搜索的好处,根据当前市场趋势创建有针对性的营销内容,有效利用预测分析进行需求预测,使用对话式聊天机器人,并显著提升整体客户体验。

从脚本到智能:通过代理人工智能改造零售聊天机器人

代理式人工智能通过引入能够从客户互动中持续学习和实时优化行为的自主代理,将聊天机器人的能力提升了一步。与传统聊天机器人遵循脚本路径或完全依赖预训练模型不同,代理式人工智能可以独立监控参与度信号,调整语气和信息,在需要时升级问题,甚至决定最佳的时间和渠道来与客户互动,所有这些都不需要人工干预。该系统解决的主要挑战是传统聊天机器人工作流程的被动性质,其中改进通常依赖于事后分析和手动重新编程。代理式系统消除了这种滞后,使聊天机器人能够随着每次互动而进化。

对于最终用户来说,这意味着一个真正直观且适应性强的服务。用户不再收到模板化的回复,而是与能够理解上下文、动态个性化对话并采取主动智能行为的机器人互动,在需要的时候提供优惠、答案或支持。零售商通过提高参与度、提高转化率和增强品牌信任,同时降低运营成本,从这一持续优化的循环中受益。随着代理式人工智能的成熟,零售中的对话旅程将越来越像人类,使数字客户体验比以往任何时候都更加相关、响应迅速且有效。

人工智能在零售中的扩展作用

人工智能在零售中的力量远不止于搜索、个性化预测。它现在正在转变店铺运营的核心,从安全和人力资源管理到可持续性。

人工智能在零售中的扩展作用通过新兴的代理式技术得到体现,这些技术超越了洞察力的生成,转向自主行动和持续优化。

麦肯锡的一项研究表明:“在未来三年内,92%的公司计划增加其人工智能投资。尽管几乎所有公司都在投资人工智能,但在部署谱系上,只有 1%的领导者称他们的公司为‘成熟’” [5]。

主动损失预防、人工智能驱动的商品销售、自我修复的店铺运营、动态劳动力编排和实时可持续性优化展示了人工智能如何从支持工具转变为零售管理的积极参与者。通过从被动转向主动,从孤立的自动化转向集成、上下文感知的智能,零售商正在解锁新的效率,降低风险,并提升员工和客户的体验。本节深入探讨这些尖端应用,展示了人工智能的作用如何持续增长,使零售商能够自信地领导不断变化的市场。

主动损失预防

AI 正在将零售安全从以人为核心的被动监控转变为主动干预。现代计算机视觉系统与代理 AI 相结合,现在实时分析视频流以检测可疑行为模式,如产品隐藏、商品更换或反复违法者。这些模型不仅标记异常,还启动如通知员工或调整出口门协议的工作流程。零售商在减少缩水损失和改善资产保护方面看到了可衡量的影响,而无需增加人工监督。

驱动型商品执行

代理 AI 通过持续比较货架数据与预期布局来优化商品陈列图合规性和促销执行。利用店内摄像头或员工移动设备中的图像,这些系统自动识别错位、缺货场景或错误的标志。AI 不仅显示警报,还建议具体行动,如重新订购、补货或标记供应商问题,从而实现更快的纠正措施和更一致的顾客体验。

自我修复的商店运营

通过由 AI 驱动的智能边缘基础设施,商店正在获得自我修复的能力。从冻结的自助服务亭到故障的 POS 系统,代理 AI 监控性能遥测并启动实时诊断和修复。在许多情况下,它能够自动解决问题,重新启动服务,调整配置或隔离故障,无需等待 IT 干预。这一自主操作层提高了正常运行时间,并确保了店面上的客户体验更加顺畅。

动态劳动力编排

零售劳动力排班长期以来一直难以平衡人员配置与需求激增和员工偏好的平衡。代理 AI 现在通过持续学习商店客流量、天气模式、当地事件和个人生产力趋势,实现了自适应劳动力编排。这些系统不仅预测劳动力需求,还提出并甚至实施最佳班次计划,通知员工,并做出符合商业目标的选择。这导致了更好的覆盖范围,更高的员工满意度,以及更灵活的运营。

实时可持续性优化

零售商面临着在不牺牲性能的情况下削减碳排放和减少浪费的压力。代理 AI 通过实时跟踪能源使用、制冷效率和包装浪费来支持这些努力。这项技术可以自主调整照明、HVAC 或冷链设置,并在它们变得成本高昂之前标记低效。一些系统甚至可以优化配送路线以实现可持续性目标。这些持续、渐进的优化带来了显著的环境和财务效益。

如需更多信息资源,请访问 MongoDB 零售页面www.mongodb.com/solutions/industries/retail

摘要

本章探讨了通过 AI 实现的零售全面转型,展示了现代零售商如何利用 AI 创造更智能、更快速、更个性化的客户体验,同时推动运营卓越。从超越关键词匹配的 AI 增强搜索到以 GenAI 和 RAG 生成大规模动态内容的意图驱动、对话式产品发现,再到个性化的营销,我们看到了零售商如何从根本上重新构想客户互动。需求预测与预测分析的集成使得主动式库存管理和供应链优化成为可能,而通过数字收据等技术数字化店内互动则弥合了线上线下体验之间的关键差距。由具有代理能力的 AI 驱动的先进对话式聊天机器人正在通过提供自主的、上下文感知的辅助,并持续学习和适应客户需求,从而革命性地改变客户服务。

代理人工智能的出现代表了零售转型的下一个前沿,它超越了反应式系统,转向了在多个领域自主运行的、以目标为导向的智能。我们已经见证了零售行业中的公司如何通过智能数据驱动的实施获得可衡量的商业成果。AI 作用的扩展现在包括主动式损失预防、AI 驱动的商品执行、自我修复的店铺运营、动态劳动力编排和实时可持续性优化。这些进步共同表明,零售中的 AI 已经从辅助工具发展成为业务管理的积极参与者,推动效率、降低成本、提升客户体验,同时使零售商能够在日益竞争的市场中自信地领导。

在下一章中,我们将探讨金融服务行业如何超越预测分析,部署自主的、具有代理能力的 AI 系统,这些系统能够在定义的参数内独立感知、推理和行动。这种转型涵盖了从通用人工智能革命性改变监管合规和文档分析到创建数字关系经理虚拟合规官员的各个方面,这些经理和官员能够主动监控市场并在实时与客户互动,同时满足该行业的严格安全和可解释性要求。

参考文献

  1. 2025 年你必须知道的 5 个电子商务搜索趋势searchanise.io/blog/site-search-trends/

  2. 捕捉消费品数字未来的机遇www.bain.com/insights/capturing-the-future-of-digital-in-consumer-products/

  3. Salesforce 数据显示,AI 影响下的购物推动了在线假日销售额增长: www.reuters.com/business/retail-consumer/ai-influenced-shopping-boosts-online-holiday-sales-salesforce-data-shows-2025-01-06/

  4. 通过对话赢得胜利: www.bain.com/insights/win-with-conversations/

  5. 职场超级机构:赋能人们释放 AI 的完整潜力: www.mckinsey.com/capabilities/mckinsey-digital/our-insights/superagency-in-the-workplace-empowering-people-to-unlock-ais-full-potential-at-work

第十一章:金融服务业和人工智能的下一波浪潮

在今天快速发展的金融环境中,人工智能已成为现代银行转型的基石。随着全球金融机构竞相拥抱人工智能技术,一个新的范式正在形成,其中智能系统从简单的预测发展到自主行动,从客户体验到风险管理,在整个金融服务价值链上实现革命性变革。

本章探讨了人工智能如何改变金融服务并创造前所未有的效率、个性化和创新机会。

到本章结束时,你将了解以下内容:

  • 生成式人工智能GenAI)如何改变银行业的核心用例

  • 人工智能通过智能、对话式交互增强客户体验的方式

  • 使用人工智能进行金融犯罪预防和监管合规的先进方法

  • 实际操作数据存储的实例,这些实例也可以作为人工智能特征存储,为预测和生成提供动力

  • 如何使特定领域的嵌入革命性地改变金融领域的搜索、合规和上下文分析

  • 构建和部署代理式人工智能的设计原则和参考架构,平衡创新、安全和监管信任

金融领域人工智能的演变

人工智能在金融领域的旅程始于预测分析:利用历史和实时数据来评估信用风险、标记欺诈、预测市场变化和预测客户流失。这些用例仍然是基础性的,提供了关键的商业价值并推动了运营效率。金融机构需要强大的、实时的特征存储,以实现可扩展地访问预测模型所需的丰富、受控数据,以优化决策和结果。

生成式人工智能的到来扩大了该领域。随着大型语言模型LLMs)和检索增强生成RAG),金融机构现在正在自动化和增强以前被认为过于复杂的任务:生成政策文件、回应监管查询、总结大量合规文件,并为客户和员工提供对话式银行服务。生成式人工智能将智能从“可能发生什么”提升到“让我生成、综合和解释”,从而从结构化和非结构化数据中释放出更多价值。

今天,我们站在下一个重大进步的门槛上:代理式人工智能。与支持决策或内容创建的预测和生成方法不同,代理式人工智能提供的是自主、目标驱动的代理,它们可以在定义的参数内感知、推理和行动。将代理式人工智能视为数字关系经理虚拟合规官员,它们积极监控市场、适应监管变化、管理工作流程,并在实时与客户互动,同时不断学习和改进。

从预测人工智能到通用人工智能再到代理人工智能的这种演变,需要既灵活又强大的数据平台:

  • 对于预测人工智能,金融机构需要稳健、实时的特征存储,其中机器学习特征被存储、版本化并无缝访问

  • 对于通用人工智能(GenAI),这需要整合结构化数据和非结构化数据,涵盖交易记录、文档、电子邮件、图像、语音录音、视频内容以及特定领域的知识库,以加速语言模型、向量搜索和上下文检索

  • 对于代理人工智能,统一的底层和操作敏捷性对于代理感知世界、记住上下文、做出明智的决策并自信地行动至关重要

在金融服务领域,这些人工智能浪潮并非孤立存在;它们相互依存。领导者继续依赖稳健的预测模型,这些模型通过生成自动化得到增强,由能够实时适应和管理的代理系统进行编排。现代智能数据库,如 MongoDB,凭借其灵活的架构和深度集成能力,例如 MongoDB 与 Voyage AI 的集成,提供一流的嵌入模型和重排器,并独特地定位以支持这种混合环境。

财务特定嵌入的力量

在金融服务中,精确性、情境和可解释性至关重要。无论是分析监管披露、自动化合规工作流程还是与智能助手互动,人工智能系统都必须以高精度解释复杂语言和特定领域的结构。

特定领域的嵌入,尤其是那些针对财务领域进行调整的嵌入,是解决这一挑战的基础性解决方案。这些嵌入旨在捕捉行业特有的语义、模式和监管环境,使人工智能模型能够做到以下方面:

  • 准确解读财务文件,从收益电话会议和申报文件到合同和风险评估报告

  • 使用 RAG 或语义搜索呈现相关见解,提高准确性并减少幻觉

  • 支持可解释性,使输出更具可审计性并符合监管预期

  • 提供即时情报,即时利用领域知识来指导决策

该领域最近的发展,如 Voyage AI 的voyage-finance-2嵌入,展示了如何针对特定领域调整的模型在财务特定任务中优于通用替代品。基准测试结果表明,在金融文本的信息检索和问答方面,相关性显著提高。

这些特定于财务的嵌入允许开发者构建不仅更加情境感知,而且与金融行业严格标准更加一致的 AI 应用。

随着金融机构采用通用人工智能和代理人工智能,将领域知识直接嵌入到模型表示中将成为构建智能、值得信赖且具有操作弹性的系统的关键

在这篇博客文章中了解更多关于 Voyages AI 的金融嵌入技术:blog.voyageai.com/2024/06/03/domain-specific-embeddings-finance-edition-voyage-finance-2/.

利用 AI 改造信用申请

从预测人工智能到通用人工智能再到代理人工智能的相同 AI 进步,正在深刻地重塑信用申请的评估、处理和评分方式。传统上,信用评分基于僵化的规则和有限的历史数据,通常排除了信用记录薄弱或没有信用记录的个人。预测人工智能开始通过使用机器学习来预测基于信用行为历史模式的贷款违约,从而开始解决这些限制。

随着行业向替代信用评分转变,AI 模型开始整合非传统数据源,如租赁历史、公用事业支付和数字足迹,提供了一个更广泛、更具包容性的信用价值评估视角。这一转变使贷方能够以更细微的方式评估风险,并为以前被忽视的细分市场提供服务。

今天,通用人工智能(GenAI)和代理人工智能正在推动下一个飞跃,创造一个更加适应、智能和包容的信用生态系统:

  • 通用人工智能增强了数据理解和综合能力,使得从银行对账单、收入证明或电子邮件往来等非结构化来源中提取和结构化信息成为可能。它还可以生成对复杂决策的人类可读解释,并创建填补有限数据集空白的合成数据,从而提供对金融行为的更全面视角。

  • 代理人工智能带来了自主、目标驱动的功能,使系统能够管理整个信用工作流程,自动化文件收集、验证身份、根据监管变化调整评分逻辑,甚至以交互式和智能的方式引导申请人通过流程。

这种进步在多个维度上带来益处:

  • 适应性:AI 模型会持续学习并适应不断变化的经济条件和消费者行为,这确保了信用评分系统在动态的金融环境中保持准确性、响应性和相关性。

  • 欺诈检测:AI 通过分析申请和交易历史中的模式,实时检测异常和可疑活动。

  • 预测分析:机器学习技术从庞大的、复杂的数据集中揭示出信用风险的关联性和指标,超越了基于规则的系统能够检测到的范围。

  • 行为评分:对于缺乏信用历史的人来说,AI 可以根据实时金融行为和消费习惯生成动态风险评估。

  • 拒绝的透明度:人工智能可以帮助解释为什么拒绝信用申请,超越二元决策,提供可操作的、人类可读的反馈。

尽管有明显的益处,透明度和可解释性仍然是常见的担忧,尤其是在受到监管审查的金融机构中。深度学习模型的复杂性历史上使得向消费者和监管机构解释决策变得困难。幸运的是,可解释人工智能XAI),包括如SHapley Additive exPlanationsSHAP)值和Local Interpretable Model-agnostic ExplanationsLIME)图等技术,现在可以提供模型得出结论的可见性,有助于揭开“黑盒”的面纱并恢复对人工智能驱动决策的信任。

此外,GenAI 可以通过生成关于信用结果的自然语言解释来补充这些技术,进一步弥合复杂模型逻辑与人类理解之间的差距。

使用 MongoDB 构建更智能的信用系统

支持这一演变需要一个现代、灵活的数据平台。MongoDB,凭借其基于文档的数据模型和开发者友好的架构,非常适合为人工智能驱动的信用工作流程提供动力。

主要优势包括以下内容:

  • 简化的数据捕获和处理:通过利用 JSON 在线应用程序表单,机构可以简化数据摄取,减少冗余,并提高处理速度。文档模型擅长管理多种数据类型,如个人、财务和就业数据,而不会牺牲结构。

  • 人工智能增强的信用评分:借助 MongoDB 的开发者数据平台,一个围绕云原生数据库构建的统一数据服务套件,金融机构可以通过结合结构化、半结构化和非结构化数据源来构建每个客户的 360 度视图。

  • 使用 LLMs 进行透明的拒绝:与 MongoDB 集成的 LLMs 可以解释复杂机器学习模型(如 XGBoost)的输出。LLMs 可以生成个性化的、可理解的解释,而不是发布模糊或模板化的拒绝,从而改善客户体验并帮助合规。

例如,图11.1中所示的信用决策流程用于预测违约概率和信用评分。此流程涉及几个关键阶段:数据收集、处理、风险概貌生成、模型开发、数据转换和决策收集。

信用评分的结果可能意味着信用申请被批准或拒绝。理解拒绝的原因对于合规性和客户体验都至关重要。与 MongoDB 等平台集成的 LLMs 可以增强可解释性。例如,LLMs 可以解释复杂模型如 XGBoost 的输出,为申请被拒绝的原因生成清晰、易于理解的解释,而不仅仅是传达最终状态的简单模板信息。

图片

图 11.1:预测违约概率和信用评分的数据处理流程架构

该图展示了信用风险评估的端到端数据处理流程,展示了客户数据如何通过收集、处理、风险评估、模型开发和决策阶段流动,以产生准确的违约预测。在图 11.2中,你可以看到使用 LLM 解释信用评分的架构。

图片

图 11.2:信用申请拒绝的架构

该可视化展示了如何将 LLMs(大型语言模型)集成到信用决策系统中,为申请拒绝提供清晰、易懂的解释,从而提高透明度和客户体验。在信用申请被拒绝的情况下,互动不应以拒绝结束。相反,这为机构提供了一个宝贵的机会,通过提供与申请者财务状况更匹配的个性化替代信用产品来保持参与度。

传统的推荐引擎通常依赖于静态的基于规则的系统或协同过滤模型,这些模型可能缺乏灵活性,无法响应细微的客户需求或不断变化的产品供应。这些系统往往难以解释为什么申请者被拒绝以及存在哪些可行的替代方案。GenAI 完全改变了这种动态。

通过利用客户数据、信用评分结果和实时产品可用性,GenAI 模型可以作为智能推荐引擎,主动建议适合申请者风险状况、收入、信用行为和偏好的替代方案。例如,如果个人贷款申请因信用记录不足而被拒绝,GenAI 模型可能会推荐一张费用较低且无额外功能的更基本的信用卡,或是一笔条款宽松的小额分期贷款,以及/或一个金融素养产品来建立信用。

除了生成产品匹配之外,LLMs 还可以解释为什么提供特定的替代方案,提高透明度并建立信任。这种程度个性化与清晰度在传统的推荐系统中难以实现。

以下架构展示了如何将生成式人工智能集成到信用决策流程中,不仅用于评估风险,还提供最佳下一步行动建议,以保持客户在财务旅程中的参与、知情和支持:

图片

图 11.3:替代信用产品推荐架构

图 11.3展示了替代信用产品推荐系统的综合架构。它展示了用户通过 Web UI 进行交互如何触发 API 调用,利用 LangChain 的 MultiQueryRetriever 和 MongoDB 向量搜索处理来自 MongoDB 私有知识库的原始分块文档。它检索相关的信用卡建议和总结文档,然后输入到由 LLM 驱动的推理引擎中进行查询优化和知识处理。最终,通过结合基于向量的文档检索、多查询处理和 LLM 推理的智能系统,提供个性化的金融产品推荐。

了解替代数据、人工智能和生成式人工智能的融合如何重塑信用评分的基础,请参阅www.mongodb.com/docs/atlas/architecture/current/solutions-library/credit-card-application-with-generative-ai/

Base39 的 AI 驱动信用分析

除了使用替代数据、预测人工智能和生成式人工智能外,代理人工智能现在也被应用于信用决策领域。其中一家公司是 Base39。Base39 是一家位于巴西圣保罗的金融科技公司。其核心服务集中在提供信用和风险评估的高级服务。Base39 成立是为了利用 MongoDB Atlas 向量搜索和 Amazon Bedrock 的 AI 力量颠覆信用分析。

Base39 意识到现有的信用分析产生的金融决策不够全面,这主要是因为数据稀缺。必要的数据,如收入验证、就业历史和信用评分,仅占所需信息的很小一部分。此外,收集和选择这些数据点高度依赖于主观过程。这个复杂且高度手动的过程可能需要几天时间,并产生不准确和不完整的结果。

虽然预测机器学习算法旨在处理基本评分,但与生成式人工智能的结合增强了数据输入、结果解释和“如果...将会发生什么”分析。生成式人工智能通过分析历史数据模式简化了模型参数的更新,从而消除了在电子表格或配置中进行手动更新的需求。LLM 作为风险分析师的智能助手,提供推荐并指导分析师为每种贷款场景选择最相关的数据源和字段。

“MongoDB 为数据层提供支撑,提供灵活的架构支持、LLM 上下文的向量搜索以及与 Base39 开发者优先哲学相一致的管理部署模式。”

布鲁诺·努内斯,Base39 首席执行官

MongoDB Atlas 是 Base39 特性存储的核心组件。特性存储是机器学习中用于存储、管理和提供称为“特性”的数据的工具或系统。特性是用于机器学习模型进行预测的个别可测量属性或特征。MongoDB 通过 Atlas 向量搜索在结构化(丰富金融)和非结构化(行为)数据上的原生搜索能力,对于评估过程至关重要。

通过 Atlas 向量搜索,Base39 能够加速特性检索并动态更新其机器学习模型。这种灵活性对于实时调整信用政策至关重要。通过使用向量搜索检索到的数据,Base39 可以用特定领域的上下文增强 LLM 的推荐,从而提高其对于风险评估者的可靠性和准确性。这避免了手动筛选大量文档或配置文件。最后但同样重要的是,Base39 解决方案的一个尖端创新和关键差异化因素在于其通过代理式 AI 方法实现的自主性。Base39 的模型可以根据数据感知、推理和行动。它采用 思维链CoT)方法,这是一种将复杂问题分解为连续步骤的推理方法。这为分析信息和针对特定个人贷款内容做出决策所需的自主性提供了可能。这使得收集信用信息变得动态和高度个性化,而无需像传统基于规则的 AI 自动化系统那样规定许多规则(这些系统无论如何也无法穷尽决定需要从信用申请人那里收集哪些信息)。这种代理式 AI 方法为更准确和全面的信用档案以及最终的信用决策开辟了无限潜力。了解更多关于 Base39 的故事,请访问 www.mongodb.com/solutions/customer-case-studies/base39

随着 AI 改变面向客户的信用决策,它在银行如何管理内部知识和运营方面同样具有革命性。

利用 GenAI 革新银行的企业知识管理

高效获取和使用企业知识至关重要。各个部门的内部员工依赖于大量的信息,从政策和程序到监管指南和产品细节。传统的企业知识管理系统EKM)往往无法提供无缝且直观的信息访问。通用人工智能(GenAI)为银行内的 EKM 革命提供了变革性的机会,通过智能工具赋能员工,显著提高生产力和决策能力。

传统 EKM 系统在银行业中的挑战

传统的 EKM 系统在银行内部信息组织方面发挥了核心作用,但随着商业和监管需求的演变,它们正面临越来越多的挑战。这些系统往往难以提供准确、及时和上下文相关的信息,存在几个局限性:

  • 信息孤岛:知识可能分散在不同的系统和部门中,使员工难以找到特定主题的全面视角。

  • 复杂的搜索界面:基于关键词的搜索往往产生不相关的结果,需要员工花费大量时间筛选文档以找到所需信息。

  • 过时或难以理解的内容:政策和程序可能冗长、复杂且不易消化,阻碍了快速理解和应用。

  • 缺乏上下文意识:传统系统往往无法理解员工查询的具体上下文,导致提供通用的、无用的回答。

  • 高维护成本:保持知识库的更新和相关性需要大量的手动工作。

这些局限性阻碍了运营效率和合规性。克服这些挑战需要采用更先进、上下文感知的 EKM 解决方案。

GenAI 如何改变银行业 EKM 系统

GenAI 提供强大的功能来克服这些限制,为内部银行员工创建更有效和用户友好的 EKM 系统。许多银行已经开始实施 GenAI 聊天机器人,通常首先将数据整合到一个中央企业知识库中,以支持其新一代智能知识管理应用。

以下是一些此类服务中经常实施的关键功能:

  • 自然语言查询和对话式搜索:GenAI 使员工能够用自然语言提问,就像向同事提问一样。AI 可以理解查询背后的意图,并提供精确和相关的答案,显著减少搜索时间和挫折感。

  • 智能文档摘要:GenAI 可以自动总结冗长的政策、程序和监管文件,为员工提供简洁的概述和关键要点。这有助于更快地理解和应用关键信息。

  • 情境化信息检索:通过理解用户的角色、其部门以及查询的上下文,GenAI 可以提供更定制化和相关的信息,避免泛泛的回答。

  • 动态知识生成:GenAI 可以从多个来源综合信息来回答可能未在单一文档中明确解决的问题。这使得员工能够获得对复杂查询的全面答案。

  • 个性化知识推荐:根据员工的过去查询和其角色,GenAI 系统可以主动推荐相关的知识和更新,确保他们了解关键信息。

  • 自动知识库更新:GenAI 可以通过识别过时信息并根据新法规或内部政策变化提出修订建议来帮助保持知识库的更新,从而减少手动维护。

  • 增强知识共享和协作:GenAI 可以通过根据员工查询识别主题专家并将他们连接起来进行直接协作来促进内部知识共享。它还可以总结内部论坛和会议中的关键讨论要点,使知识更易于获取。

这些能力不仅提高了运营效率,还加强了整个组织的合规性和决策能力。随着银行继续采用 GenAI 驱动的 EKM 系统,它们正在为更敏捷、更信息丰富和更协作的知识生态系统打下基础,这些系统与监管和业务需求同步发展。

银行内部 EKM 系统中 GenAI 的应用用例

几个实际用例突出了银行如何利用或可以利用 GenAI 进行内部 EKM:

  • 合规和监管查询:员工可以通过自然语言提问,GenAI 系统会综合来自各种合规文件的信息,快速获得复杂的监管问题的答案。

  • 产品知识支持:前台工作人员可以快速访问关于银行产品和服务的详细信息,以便准确高效地回答客户咨询。

  • 内部政策和程序指导:员工可以通过自然语言查询和摘要轻松理解和导航内部政策和程序。

  • IT 支持和故障排除:内部 IT 团队可以通过使用自然语言查询知识库和文档来快速找到技术问题的解决方案。

  • 入职和培训:新员工可以通过询问关于内部流程的问题并通过 GenAI 驱动的 EKM 系统访问相关培训材料来快速熟悉情况。

  • 风险管理洞察:风险分析师可以利用 GenAI 从各种风险报告中综合信息,识别新兴趋势和潜在问题。

这些用例展示了 GenAI 驱动的 EKM 如何简化对关键信息的访问,减少运营瓶颈,并提高员工生产力,最终使银行能够更快、更有效地响应内部需求和外部需求。

GenAI 驱动的 EKM 系统的架构考虑

在银行环境中实施 GenAI 用于 EKM 需要仔细的架构设计,重点关注集成、安全和可扩展性。该设计的关键方面是数据平台考虑,因为 GenAI 的有效性高度依赖于存储、管理和高效检索各种企业知识的能力。主要考虑因素包括以下内容:

  • 与现有知识基础设施的集成: GenAI 系统必须与银行现有的系统无缝集成。这通常涉及构建连接器和 API 以访问来自不同系统的信息。一个中央操作数据存储库可以整合来自各种来源的数据,为 GenAI 系统提供一个统一的视图。

  • 数据平台选择: 选择合适的数据平台是基础。能够处理结构化、半结构化和非结构化数据,并支持高级索引和搜索能力的现代数据库是必不可少的。文档存储在管理多样化的企业知识资产方面表现出色。这种多模态方法对于有效的 GenAI 应用至关重要。

  • 安全数据访问和治理: 由于银行数据的敏感性极高,稳健的安全措施至关重要。包括访问控制和加密在内的功能确保数据保护和合规性。

  • GenAI 模型和平台的选择: 银行需要选择合适的 LLM(大型语言模型)及其底层基础设施(云或本地)。架构应允许轻松集成这些模型。

  • RAG: 为了确保生成式人工智能(GenAI)的响应准确,并基于银行的具体知识,实施 RAG(Retrieval-Augmented Generation)至关重要。集成搜索和向量搜索功能特别适合支持 RAG 的实施,能够高效地存储、索引和检索各种数据类型,包括文本内容和相应的向量嵌入,用于语义相似度搜索,确保 GenAI 的响应有上下文支持。

  • 可扩展性和性能: EKM 系统必须处理大量查询。自动扩展功能确保可扩展性和低延迟响应,以满足高峰需求。

  • 监控和可解释性: 对 GenAI 系统性能和准确性的稳健监控是必不可少的。存储有关查询和响应的日志和元数据有助于分析和可解释性。

  • 用户界面和工作流程集成: GenAI 驱动的 EKM 系统应具有直观的用户界面,并集成到现有的工作流程中。灵活的数据模型允许轻松适应不断变化的需求,并实现无缝集成。

通过全面解决这些考虑因素,银行可以创建一个由 GenAI 驱动的 EKM 架构,不仅满足严格的安保和合规要求,还能在效率、知识可访问性和决策质量方面带来可衡量的收益。

亚洲银行的 GenAI 聊天机器人实施

亚洲一家进步银行实施了一个 GenAI 聊天机器人,用于内部应用,以增强员工的工作效率。聊天机器人提供内容生成、文本摘要和语言翻译等功能,帮助员工提高工作效率。它还协助检索法规、程序、业务联系人、申请表和文件,为员工节省了大量信息搜索时间。

银行的技术领导层公开承认,开发有效的 GenAI 应用面临独特的挑战,其中最重要的是提示工程的艺术和科学——即制定提供给 AI 模型的指令。AI 输出的质量高度依赖于这些提示的清晰度和具体性。认识到这一点,银行正在积极演变其应用开发文化。他们战略性地调整责任,鼓励业务用户、那些具有深厚领域知识的人成为 GenAI 开发生命周期的冠军,特别是在完善和调整提示方面。这标志着与传统软件开发的不同,在传统软件开发中,IT 通常负责大部分技术实施。

Spotlight_Icon.png

为了促进这种文化转变,银行已经建立了内部 GenAI 培训计划,旨在为业务人员提供必要的提示工程技能。这种组织适应旨在弥合技术能力与业务需求之间的差距,确保 GenAI 工具和应用最大限度地相关和有效,通过直接将用户专业知识纳入微调过程。银行还在探索自动提示增强技术,以进一步简化这一过程。

此外,银行认识到内部聊天机器人并非孤立存在,而是银行集团及其子公司更广泛、相互关联的 AI 应用生态系统的一部分。尽管它服务于特定的内部目的,但它共享了底层 GenAI 技术推动力,并可能与其他领域的倡议共享共同的数据基础设施。

下图显示了知识工作流程:

B34136_11_04.png

图 11.4:RAG 知识系统工作流程

此图展示了 AI 驱动的客户支持系统中各个组件之间信息无缝流动的情况,展示了用户查询是如何通过向量搜索处理,增加上下文,并转化为自然语言响应的。

GenAI 对 EKM 系统的影响

将 GenAI 集成到 EKM 系统中为银行带来了显著的好处:

  • 提高员工生产力:更快、更轻松地获取知识使员工能够更高效地完成任务

  • 改进决策:获取全面和上下文相关的信息使员工能够做出更明智和及时的决策

  • 增强员工体验:用户友好的通用人工智能驱动的 EKM 系统可以通过使员工更容易找到所需信息来减少挫折感并提高工作满意度

  • 减少错误和改进合规性:对政策和法规的准确和易于获取的知识可以帮助减少错误并确保更好的合规性

  • 更快地入职和培训:新员工可以通过智能访问培训材料和内部知识更快地变得富有生产力

  • 更好的知识保留:通用人工智能系统可以通过使其易于访问和搜索来帮助保存机构知识,即使员工离职或角色发生变化也是如此

虽然通用人工智能的这些内部应用正在改变银行幕后运营的方式,但这项技术在面向客户的应用中同样具有革命性,重塑了金融机构与客户互动和服务的方式。

通过 AI 驱动的交互提供更好的数字银行体验

这种向以客户为中心的 AI 的转变正在创造更直观、个性化、智能的银行体验。为了满足不断增长的需求,银行正在采用基于大型语言模型(LLMs)和智能自动化的 AI 平台。这种转型需要灵活、可扩展的数据基础,这对于现代 AI 驱动的银行至关重要。

提升客户体验的通用人工智能

通用人工智能引入了高级功能,如智能聊天机器人和虚拟助手,使银行能够提供实时、上下文感知的支持。这些 AI 驱动的工具可以解释复杂的客户查询,访问相关信息,并立即提供简洁、个性化的响应。这不仅提高了客户满意度,还通过减少对传统客户服务渠道的依赖来简化运营。

除了提供帮助之外,通用人工智能(GenAI)还使主动银行成为可能。AI 系统可以挖掘来自交易数据、使用趋势和行为分析得出的见解,以推荐个性化的金融产品,通知用户关于异常活动的信息,或引导他们通过生活中的事件,如购买房屋或为教育储蓄。银行现在不仅可以简单地响应查询,还可以预测客户需求,提供无缝且价值丰富的体验。

将通用人工智能融入银行工作流程从根本上改变了金融服务提供的方式。客户通过与银行的天然对话而非僵化的表格或下拉菜单进行互动。他们不再需要阅读密集的政策文件,而是收到针对他们问题的 AI 生成的摘要和解释。银行成为真正的金融伙伴,全天候可用,可扩展且智能。

AI 驱动的数字银行数据基础

在现代银行中实施 AI 不仅需要强大的模型,还需要灵活、实时的数据基础。基于文档的架构非常适合管理复杂的银行数据,如客户档案、交易历史、账户行为以及 FAQ 或政策文档等非结构化内容,所有这些都在一个地方。这种统一模型允许 AI 系统即时访问丰富的上下文信息,从而推动更准确、个性化、响应迅速的客户体验。

现代数据平台如 MongoDB 也支持如 RAG 等高级 AI 模式,允许银行助手即时检索相关文档并生成针对客户查询的精确答案,无论是解释抵押贷款条款还是标记可疑费用。

此外,强大的聚合框架允许智能代理分析实时账户活动、支出趋势或贷款余额,结合历史数据,从而实现主动洞察和决策支持。安全和合规性至关重要,加密、细粒度访问控制和审计等特性对于处理敏感个人金融数据的任何 AI 都至关重要。

通过无缝集成到现代 AI 生态系统并支持事件驱动架构,合适的数据平台使银行能够自动化工作流程,大规模个性化互动,并更快地将智能服务推向市场,使其成为 AI 驱动数字银行的核心推动力。

AI 驱动的客户支持参考解决方案架构

为了实现这些功能,一个旨在通过 GenAI 增强客户交互的参考架构是必不可少的。该架构的核心是 MongoDB,作为存储和访问结构化和非结构化数据的集中化平台。

该流程始于数据摄取和转换,其中政策文件、常见问题、产品信息和其他文本密集型资源使用自然语言处理NLP)技术进行处理。NLP 使用计算方法来分析和理解人类语言,从非结构化文本中提取意义、结构和上下文。这些文件被分解成更小的片段并转换为向量嵌入。原始文本和嵌入都存储在 MongoDB 中,利用其向量搜索功能进行高效检索。

当发生新的交互时,无论是由语音、聊天机器人还是表单输入触发的,用户查询都会以相同的方式进行向量化。应用程序随后在存储的向量上执行语义相似度搜索,检索与用户意图最相关的最相关内容。这种方法可以实现准确、上下文感知的响应,从而提高效率和客户满意度。

图 11.5 展示了 AI 驱动的客户支持系统的端到端流程。

图 11.5图 11.5:AI 驱动的客户支持流程和组件交互

该图展示了用户查询是如何被处理的,通过整合向量搜索、语言模型和运营数据,这些查询被丰富上下文信息,并转化为个性化的响应。这些检索到的文档,通过运营数据(如账户历史或资格标准)的额外上下文信息进行丰富,然后传递给一个语言模型,该模型生成自然语言响应。

此架构严重依赖于对多种形式数据的实时访问。例如,交易元数据、用户配置文件和行为信号都存储在 MongoDB 中,并且可以根据需要聚合。通过使用 Atlas 触发器,系统还可以动态响应。例如,如果客户询问透支问题,系统可以在响应之前触发对当前余额和支付计划的查找。

这种模块化架构旨在与更广泛的 AI 堆栈集成,包括 LLM 编排框架(如 LangChain 或 LlamaIndex),以及管理 AI 模型和工作流程的部署环境。MongoDB 位于所有这些层级的交汇处,使得 AI 代理依赖的高价值数据的存储和动态检索成为可能。

随着银行通过人工智能增强客户互动,它们必须同时加强防御,以应对日益复杂的金融犯罪。

增强人工智能的金融犯罪缓解和合规性

人工智能正在通过实时欺诈检测、自动法规解释和更智能的决策,改变金融服务中的风险和合规性。MongoDB 为这些 AI 系统提供了灵活、可扩展的数据基础,尤其是在处理了解你的客户KYC)和反洗钱AML)过程中的多样化数据,从文件到声音和图像。随着金融犯罪变得更加复杂,法规变得越来越复杂,人工智能和尖端数据平台正在帮助机构保持领先,将风险转化为弹性,将合规性转化为竞争优势。

近年来,金融犯罪发生了巨大变化,犯罪分子利用先进的技术并利用数字系统中的漏洞。依赖于静态规则和预定义阈值的传统检测方法难以跟上这些复杂的计划。同时,监管要求持续扩大,给金融机构带来了重大的合规负担。不充分的金融犯罪预防成本巨大,包括货币损失、监管罚款、声誉损害和客户信任度下降。为了应对这些挑战,机构需要能够应对新兴威胁的同时保持运营效率的适应性解决方案。

利用人工智能加强金融犯罪缓解

从广义上讲,fincrime 代表了一整套政策、控制、分析和调查措施,旨在预防、检测、报告和从任何可能不仅损害客户,而且更关键的是损害金融机构声誉的犯罪活动中恢复。因此,它被视为需要相应应对的主要操作风险。

在不同的潜在威胁中,最常见的是欺诈管理(资产损失)、反洗钱(资产来源)、制裁合规(资产合法性),以及主要由于治理薄弱、筛选过时、缺乏流程控制或数据质量差和验证不足而导致的所有运营风险。所有这些威胁都可能被大幅增强,并在网络空间中变得难以检测,使得人工检查变得徒劳。因此,必须用相应的现代技术来应对网络威胁,使 AI 成为优化 fincrime 缓解技术能力的理想解决方案。

重新定义 AI 在合规领域未来趋势的新趋势

AI,尤其是生成式 AI,正在成为帮助组织从被动风险缓解转向主动治理的关键工具。这一变革的核心是灵活的数据平台,旨在支持大规模的实时、AI 驱动决策。例如,传统的欺诈检测系统依赖于静态规则和预定义的阈值。这些规则越来越无法有效对抗现代欺诈技术,这些技术快速、适应性强,通常隐藏在合法活动中。AI 通过学习历史和实时数据、检测异常和识别可疑行为模式来增强风险管理。

生成式 AI 更进一步,通过实现场景建模和合成欺诈模拟,帮助组织测试假设并揭露以前未知的威胁向量。AI 驱动的系统不仅可以检测单个欺诈行为,还可以检测协调的、多渠道的欺诈网络。通过与如 MongoDB 等现代数据平台集成,这些系统可以访问来自多个来源的统一、上下文化的数据视图,从而提高检测和决策的准确性。

实现所有这些 AI 能力需要一个数据平台,它不仅能存储大量的历史和实时交易数据,还能高效地为各种 AI 模型提供服务,从预测异常检测器到用于模拟的生成模型,通常在实时或接近实时。通过拥有现代化的数据平台,金融机构可以解锁以下智能能力:

  • XAI:随着监管审查的加强,金融机构需要能够解释其决策的 AI 系统。XAI 方法提供了对 AI 模型如何得出结论的透明度,满足监管要求的问责制,同时保持检测的准确性。领先的数据平台通过保留数据点和决策之间的关系来支持这种可解释性。

  • 主动风险感知:不仅仅是响应已知的模式,先进的 AI 系统可以通过分析行为和市场条件中的微妙变化来预测新兴风险。这种前瞻性方法需要一个灵活的数据基础,能够整合各种信号并支持实时分析。

  • 联邦学习以协作防御:金融机构正在探索联邦学习技术,允许它们在不共享敏感客户数据的情况下集体训练欺诈检测模型。这种协作方法加强了整个金融生态系统,同时保护隐私和机密性。具有复杂安全功能的现代数据平台对于实施这些复杂方法至关重要。

这些能力共同使金融机构能够领先于不断发展的威胁,自信地满足监管要求,并将合规性从防御性的必要性转变为战略优势。

用于监管智能和政策自动化的 AI

犯罪预防的主要目标是阻止犯罪活动,同时确保符合监管要求。GenAI 通过创建强大的新能力来检测和预防金融犯罪,正在改变这一领域:

  • 合成欺诈数据集:GenAI 可以创建模拟野外尚未观察到的全新攻击模式的欺诈交易合成数据集。这允许金融机构主动训练其检测系统,在真实攻击发生之前为新兴威胁做好准备。

  • 对抗性测试:通过模拟复杂的欺诈尝试,GenAI 帮助机构识别其现有控制中的漏洞。这些模拟可以模拟复杂的多渠道攻击,而传统的测试方法可能会错过。

  • 异常生成:而不是等待罕见的欺诈事件自然发生,GenAI 可以生成逼真的异常数据,有助于改进检测模型,特别是对于低频但影响大的欺诈场景。

AI 还帮助机构解释法规,将它们转化为内部政策,并监控持续的遵守情况。GenAI 可以阅读并总结法律文本,提取义务,并建议执行政策。智能自主代理,即能够感知其环境、做出决策并采取行动以实现特定目标的 AI 系统,可以持续验证运营活动是否符合监管要求,实时标记不合规行为。

以现代数据平台作为基础,合规系统从实时访问关键数据中受益:客户档案、交易、通信和审计日志。MongoDB 等平台文档模型允许组织以易于搜索和追踪的格式存储法规解释、合规规则和上下文元数据,从而实现高效的自动化合规检查和可审计的报告。

MongoDB 在 KYC 和 AML 中的作用

通过实时欺诈检测、自动法规解释和更智能的决策,AI 正在改变金融服务中的风险和合规性。现代数据平台,如 MongoDB,为这些 AI 系统提供了灵活、可扩展的数据基础,尤其是在处理客户身份识别(KYC)和反洗钱(AML)中的多样化数据时,从文件到语音和图像。

MongoDB 允许金融机构同时摄取和存储非结构化数据,例如扫描的身份证件、生物识别信息和客户支持语音记录,以及结构化数据,如交易和账户历史记录。这使得 AI 模型能够执行更深入的多模态分析。例如,GenAI 可以转录和分析语音交互以检测可疑意图,或使用图像数据检测文件伪造。

MongoDB Atlas 通过提供内置功能进一步增强了这一点,例如全文搜索、向量搜索(用于相似度匹配)以及与机器学习管道的集成。有了这些功能,机构可以将客户提交的文件与已知的欺诈模式进行比较,运行面部识别或声纹验证,并在客户交互中执行语义搜索,从而实现更丰富的 KYC/AML 风险评估流程。

首先采用以 AI 为中心的风险管理方法,从动态的单客户视图开始,如图 11.6 所示。MongoDB Atlas 从内部系统、客户接触点和外部来源摄取结构化和非结构化数据,然后由 AI 模型处理,根据学习到的行为和法规逻辑检测潜在的欺诈或合规违规。包括结构化交易数据、非结构化文档和外部数据集在内的多样化数据源被整合到一个统一的个人资料中,从而实现全面的风险评估和个性化的服务交付。

图片

图 11.6:构建动态客户资料的融合数据存储

一旦构建了这一单一视图,它可以与额外的非结构化数据相结合,例如制裁观察名单和 AML 政策,以及交易数据,进行综合分析。MongoDB 文档模型的灵活性使得这种多模态数据库方法成为可能。数据汇聚成完整数据集后,MongoDB 的向量搜索可以识别已知可疑活动的相似向量表示,如图图 11.7所示。这确保了只有高概率的欺诈交易被标记为审查,从而减少误报同时保持检测准确性。

图 11.7:使用向量搜索的实时交易筛选图 11.7:使用向量搜索进行实时交易筛选

向量搜索在实时交易筛选中发挥着关键作用,它使得将传入交易与已建立的可疑活动模式进行比较成为可能。通过利用这种方法,金融机构可以显著减少误报,提高检测准确性,并更快地应对潜在威胁。

战略业务优势

AI 驱动的实时交易筛选和向量搜索功能的实现可以为金融机构带来以下可衡量的战略能力:

  • 更好的欺诈检测:由 MongoDB 的实时数据访问支持的 AI 模型可以在大型数据集中捕捉微妙的欺诈信号,减少误报并加快响应时间。

  • 改进的合规性:自动解释和执行法规减少了人工成本和审计风险。

  • 增强的 KYC/AML:存储和分析非结构化客户数据的能力丰富了身份验证和风险评估。

  • 提高的敏捷性:IT 部门可以快速适应新的监管要求或新兴的欺诈类型,因为 MongoDB 的灵活模式支持迭代开发和快速部署新的数据模型和 AI 驱动规则,无需漫长的数据库重新设计周期。

  • 运营效率:AI 自动化和集成数据工作流程释放了人力资源,使其能够专注于高价值任务。

  • 监管信任:通过提供统一的数据平台和 AI 驱动决策的全面审计跟踪,IT 决策者可以帮助其机构更有效地向监管机构展示稳健的控制和问责制,从而增强信任并可能减少审查。

随着金融犯罪不断演变,AI 驱动的预防系统将变得越来越复杂。如联邦学习等综合技术,允许模型在多个机构之间进行训练而不共享敏感数据,有望提高检测能力同时保护隐私和机密性。

自主智能代理代表了下一个前沿,拥有能够主动寻找可疑模式、实时调整防御措施,甚至在它们实现之前预测新兴威胁的系统。这些系统将需要能够处理复杂、相互关联的数据并支持大规模实时决策的强大数据平台。

通过投资基于灵活、可扩展的数据平台(如 MongoDB)的 AI 驱动的金融犯罪预防,金融机构可以在降低运营成本的同时保持合规,并保持对不断发展的威胁的领先地位。

除了传统的风险管理之外,AI 也在改变机构如何处理环境和社会责任。

多模态和 AI 驱动的 ESG 分析

环境、社会和治理ESG)原则的深远影响显而易见,这得益于监管变革,尤其是在欧洲,迫使金融机构将 ESG 整合到投资和贷款决策中。例如,欧盟的可持续金融披露法规SFDR)和欧盟分类法规是此类指令的例子,要求金融机构在其运营和投资产品中考虑环境可持续性。投资者对可持续选项的需求激增,导致专注于 ESG 的资金增加。监管和商业需求反过来又促使银行改善其绿色贷款实践。这种转变对金融机构来说是战略性的,可以吸引客户、管理风险并创造长期价值。

然而,金融机构在管理提高其 ESG 分析的不同方面时面临着许多挑战。主要挑战包括定义和协调标准及流程,以及管理为 ESG 分析目的而包括的快速变化和多样化的数据洪流。

AI 可以通过机器学习等技术以自动和自适应的方式帮助解决这些关键挑战。金融机构和 ESG 解决方案提供商已经使用 AI 从企业报告、社交媒体和环境数据中提取见解,提高了 ESG 分析的准确性和深度。随着市场对更可持续和公平社会的需求增加,预测 AI 与 GenAI 的结合也有助于减少贷款中的偏见,创造更公平、更具包容性的融资,同时提高预测能力。AI 的力量有助于促进复杂可持续模型和策略的发展,标志着将 ESG 融入更广泛的金融和公司实践的重大进步。

在更广泛的 ESG 框架下,环境和气候风险对金融和非金融机构都是一个关键挑战。随着气候变化以前所未有的速度加速,数百万资产面临风险。机构将需要智能气候数据分析来管理气候风险并找到更好的风险调整机会。

Ambee 的气候数据平台

Ambee 是一家总部位于印度的快速成长的气候技术初创公司,以其创造可持续未来的使命在环境数据领域引起了轰动。拥有超过 100 万日活跃用户,Ambee 提供专有的气候和环境数据服务,以帮助政府、医疗保健组织和私营公司就其政策和商业战略做出明智的决策。

MongoDB Atlas 一直是 Ambee 数据库架构的核心,支持他们的 AI 和机器学习模型。该公司利用 MongoDB Atlas 来管理其广泛且多样化的环境数据集。Ambee 每天处理来自超过 80 万个传感器和 11 颗地球观测卫星的大约 4 太字节的数据,面临着扩展和确保快速 API 响应的挑战。通过采用 MongoDB Atlas,公司集中了其数据存储,简化了数据访问,并减少了在多个表之间进行复杂连接的需求。这一转型使 Ambee 从 2020 年每月处理 60,000 次 API 调用扩展到 2023 年约 79 亿次,同时将 API 响应时间从 2 秒缩短到 300 毫秒以下。

Ambee 的数据为用户提供了一个半径小于 1 平方公里范围内的精确环境洞察。为了达到这种高精度和粒度,Ambee 需要一个平台,不仅能够支持大量数据,还能够支持广泛的地理空间需求。MongoDB Atlas 因其快速地理空间查询能力完美地满足了他们的需求。例如,使用 MongoDB,他们可以在 20 毫秒内查询给定坐标最近的地点,即使有数百万个地理空间数据点。

Spotlight_Icon

MongoDB Atlas 的性能、可扩展性和多模态能力支持 Ambee 的 AI 驱动服务,例如预测森林火灾和提供实时空气质量和花粉数据。此外,MongoDB Atlas Search 促进了文本搜索功能,包括部分搜索、通配符搜索和自动完成搜索,增强了平台快速提供精确信息的能力。

MongoDB 在 ESG 数据管理中的作用

MongoDB 的动态架构革新了 ESG 数据管理,能够处理半结构化和非结构化数据。其灵活的架构特性允许数据模型随着 ESG 策略的发展而适应。高级文本搜索功能能够高效地分析大量半结构化数据,为 ESG 报告提供信息。支持向量搜索则通过多媒体内容洞察丰富了 ESG 分析。

结合 LLM(大型语言模型)增强了 MongoDB 处理 ESG 文本内容的能力,自动化情感提取、总结和趋势识别。结合 LLM 与矢量数据管理能力,可以创建 GenAI 应用来解释复杂且不断演变的可持续性分类法,并指导合规的投资和融资流程。这种由 AI 驱动的、由 MongoDB 强大的数据管理支持的途径,为分析 ESG 报告中大量叙事数据提供了一种复杂的方法。

此外,MongoDB 支持地理空间和网络图分析,提供了一种强大的分析组合,以识别与气候变化(例如洪水或野火)相关的物理风险,这些风险与银行或投资公司融资的资产相关,并评估气候风险对供应链的影响。风险分析可以随后实现针对风险缓解和供应链弹性的针对性策略。

随着代理 AI 的发展,新的可持续性用例正在出现。例如,代理 AI 应用可以作为绿色贷款发起过程中关系经理的智能副驾驶,确保实时 ESG 合规性和资格。代理 AI 可以持续监控 ESG 披露和外部媒体,以检测漂绿行为,自主触发风险警报,并为合规团队推荐缓解措施。在供应链管理中,代理 AI 代理可以主动绘制供应商的气候脆弱性,模拟中断场景,并编排自动化的弹性措施,推动更可持续的采购和运营。

利用即插即用、丰富、多模态的功能和集成 AI 工具,MongoDB 的数据平台是推进 AI 在代理 AI 应用中使用的理想基础,因为它可以作为实时操作和分析数据存储,用于摄取、存储和组织代理 AI 代理做出明智、自主决策所需的所有相关 ESG、监管和情境数据。通过无缝集成 AI 模型并支持实时事件处理,MongoDB 使代理 AI 能够监控 ESG 风险、触发警报,并在贷款、合规或供应链模块中编排工作流程,所有这些均使用操作 ESG 数据。

驱动 ESG 政策和监管合规的 AI

AI 可以通过自动化跨司法管辖区复杂且经常变化的法规的摄入、理解和综合,在 ESG 政策分析和监管解释中发挥变革性作用。利用先进的 NLP 和机器学习模型,AI 可以快速分析冗长的监管文本,准确提取关键要求,并将其与组织的当前政策和实践进行比较。这使得合规团队能够快速识别差距、重叠或潜在的违规行为,并收到政策更新的可操作建议。AI 驱动的工具还可以实时跟踪监管变化,生成简洁的摘要,并提醒相关利益相关者新的义务或机会,显著减少人工努力和监管风险。

智能代理 AI 系统可以自主监控多个监管司法管辖区,在检测到新的 ESG 要求时,主动启动审查或政策更新,协调跨部门合规的内部工作流程,甚至协助起草对监管机构的初步回应或披露。

例如,在一个实时用例中,智能代理 AI 可以持续扫描国际监管机构的官方出版物,并在检测到新的 ESG 规则后,在法规发布后的几分钟内自动更新内部政策文件,为合规团队创建定制的行动项,并触发受影响业务单元的通知。然而,认识到机构控制和问责制的重要性,许多组织可以实施人工介入的方法,其中 AI 驱动的建议、更新和行动项在做出任何最终决定或公开披露之前,都会被路由到人类专家进行审查和批准。这确保了虽然 AI 为 ESG 政策流程带来了速度和一致性,但关键判断和最终控制仍然掌握在经验丰富的专业人士手中。对于在全球不断变化的 ESG 监管环境中航行的全球金融机构,传统和智能代理 AI 驱动的政策分析,结合人类监督,提供了一种可扩展且一致的方法来维持合规性、优化报告并自信地追求可持续性目标。

MongoDB 的价值不仅限于 ESG 数据管理,它还能加速开发人员和数据科学团队的效率。其直观的数据模型、分析工具和 AI 集成简化了数据驱动应用程序的开发和部署,使 MongoDB 对于推进 ESG 议程的组织至关重要。

图 11.8 表示了一个企业 ESG 解决方案架构,其中标有叶子的框表示 MongoDB 可以部署以支持 ESG 数据分析服务。

图片

图 11.8:使用 MongoDB 的企业 ESG 解决方案架构蓝图

这展示了完整的 ESG 解决方案架构,突出了 MongoDB 可以部署以支持 ESG 领域数据收集、分析和报告的集成点。

由人工智能驱动的端到端支付处理

支付行业正在经历快速转型。随着企业客户对更快、更智能、更高效的服务的要求增加,金融机构正在转向人工智能来实现实时、数据驱动的决策和自动化。解锁这些益处的关键不仅在于人工智能本身,还在于支持它的基础技术,尤其是灵活、可扩展和性能卓越的数据基础设施,如 MongoDB。

本节探讨了如何通过人工智能革命性地改变端到端支付处理STP),即无需人工干预的支付交易的无缝执行,以及 MongoDB 如何为这一转型提供关键的支持。

商业展望

支付行业正处于深刻转型的边缘,这一转型由人工智能驱动。随着实时交易、数字银行期望和复杂的合规要求的兴起,银行和金融机构面临着越来越大的压力,需要提供更智能、自动化和个性化的服务。人工智能不再仅仅是创新项目;它正成为一项业务必要性。

几种力量正汇聚在一起,使人工智能成为现代支付处理的基础:

  • 客户期望:零售和公司客户现在都要求实时洞察、无缝支付体验以及现金流量预测或异常警报等预测服务。

  • 运营复杂性:由于交易量的增长,传统的手动工作流程在支付对账、欺诈检查和路由方面越来越难以维持。

  • 竞争压力:金融科技颠覆者和数字原生银行正在利用人工智能来区分自己。如果传统银行不能快速进化,它们可能会落后。

  • 监管需求:如 PSD2、ISO 20022 和实时支付方案(例如,RTP、FedNow)等法规要求金融机构现代化基础设施和数据工作流程,这与人工智能对数据的渴求性质相吻合。

在公司银行业务中,人工智能的采用尤其具有战略意义。根据 Celent 的研究,73%的公司银行报告称,从投资高级分析中获得了明确的收入机会。另一方面,30%增加支付技术投资银行将人工智能列为高优先级[1]。

这种强调不仅在于增量效率,还在于新的商业模式和可货币化的增值服务,例如实时财务仪表板、自动化预测和智能流动性工具。

通用人工智能(GenAI)的作用

通用人工智能(GenAI)和大型语言模型(LLMs)的出现为人工智能在支付中的作用增添了新的维度:

  • 自然语言界面:客户现在可以通过对话查询支付数据(例如:“这个季度我超过 10,000 美元的未收账款是什么?”),从而改变用户体验

  • 代码生成和测试:生成式人工智能工具提高了开发者的生产力,允许更快地创建支付处理逻辑、验证和合规性检查

  • 数据汇总和报告:大型语言模型可以将大量交易数据综合成见解、摘要或监管报告,减少对人工数据处理的依赖

然而,生成式人工智能的应用在数据安全、可解释性和合规性方面带来了挑战,尤其是在处理敏感的财务信息时,使数据架构和治理成为关键推动因素。

图 11.9:支付关键驱动因素

此图展示了现代实时支付系统的基本架构,展示了中央处理核心如何通过集成输入能力(如实时个性化、自动分类、欺诈预防和合规监控)以及输出服务(包括数据调整、流程集成、支付结算和全天候执行)来管理全面的支付工作流程,以实现具有实时操作能力的无缝、安全、连续的支付处理。

人工智能在支付领域的成功从根本上取决于一个强大的数据基础设施。人工智能模型的好坏取决于它们训练的数据,它们产生的见解的可信度也取决于管理这些数据系统的可靠性。这正是 MongoDB 发挥关键作用的地方:

  • 统一数据层:MongoDB 使组织能够将不同的数据源(支付消息、账户数据、客户资料和日志)统一到一个视图,结构化并准备好进行数据分析或机器学习管道

  • 实时分析和人工智能就绪性:其支持流式、时间序列和高容量事务性工作负载的能力确保人工智能应用具有响应性和可扩展性

  • 现代开发者体验:MongoDB 丰富的开发者生态系统,与 Python、Spark、TensorFlow 和向量数据库集成,使其成为构建和迭代人工智能驱动功能的理想选择

借助统一、可扩展和人工智能就绪的数据基础,MongoDB 使支付提供商能够快速、准确、有信心地利用人工智能,推动创新,同时确保每一笔交易的可信度。

尽管前景光明,但将人工智能集成到 STP(Straight-Through Processing)中仍然面临着重大的数据挑战:

  • 数量和多样性:支付系统以不同的格式和来自不同来源处理数百万笔交易

  • 实时处理:许多人工智能应用依赖于流式或接近实时的数据处理

  • 数据质量和标准化:遗留格式和不一致的数据结构阻碍了模型性能

  • 可审计性和治理:人工智能,尤其是生成式人工智能,需要透明的数据处理以符合监管要求

这些挑战需要一种能够敏捷和可扩展地处理结构化、半结构化和非结构化数据的数据库平台。MongoDB 为 AI 驱动的 STP 系统提供独特的功能:

  • 灵活的数据建模:MongoDB 的文档型模型允许无缝地将各种金融数据源,如交易历史、发票和市场数据,整合到统一格式中。这种灵活性对于准确的现金流预测或支持包括 ISO 20022 在内的多种支付方案至关重要,它有助于智能路由决策。

  • 高性能查询:数据库的索引和聚合功能允许快速分析交易模式,有助于检测欺诈活动。

  • 安全的数据处理:包括静态和传输中的加密以及基于角色的访问控制等功能,确保在分析过程中敏感的金融数据得到保护。

  • 数据验证:内置的架构验证有助于识别和纠正支付数据中的异常,减少手动干预的需求。

  • 实时数据处理:凭借变更流和时间序列集合等特性,MongoDB 能够实时跟踪和分析金融交易,促进对现金头寸的及时洞察。

  • 与分析工具的集成:MongoDB 与 Apache Spark 等工具的兼容性及其自身的聚合框架支持复杂的分析查询,这对于预测模型是必要的。

  • 运营弹性:MongoDB 的复制和分片功能确保了高可用性和可伸缩性,这对于高效处理和重新路由支付至关重要。

  • 多云和混合云就绪:MongoDB Atlas,这个完全管理的云平台,使银行能够在本地、公共云或混合环境中运行 AI 工作负载,这对于全球银行业的合规性和数据居住需求至关重要。

最终目标是加速开发和 AI 的采用,同时使实时分析成为现代支付处理的关键技术推动者。

前方的道路

随着支付行业进入数字化的新阶段,AI 和可扩展数据基础设施的结合将定义未来的领导者。STP(Straight-Through Processing)不再是一个技术愿景;它是一个战略需求。MongoDB 通过简化实时管理、分析和采取支付数据的行动,使银行能够实现这一愿景。通过投资灵活的数据架构和 AI 赋能技术,银行不仅可以增强其当前的产品,还可以为明天的持续创新奠定基础。

资本市场

资本市场部门在管理大量多样化数据方面面临着独特的挑战,这些数据需要在快速、高风险的环境中处理。现代金融机构需要灵活且可扩展的数据平台,能够满足数据密集型交易操作的需求。有效的数据架构能够整合实时市场趋势、替代数据源、监管信息和客户档案,同时促进资本市场业务中各个职能之间的无缝连接。

人工智能可以解决金融服务业的几个挑战,包括以下内容:

  • 风险管理:通过实时监控、适应性决策和自动化风险缓解来提高对市场波动的抗性,从而减少人为错误。

  • 数据分析:通过无缝摄取非结构化输入,如新闻情绪和社交媒体数据,利用生成式人工智能(GenAI)和 RAG 解决方案进行更深入的分析和更精确的见解来增强数据处理。

  • 合规监管:通过自动化报告、检测异常、预防欺诈和提升可审计性来简化运营。

  • 客户服务:通过人工智能助手优化客户服务,改善人机协作,同时自动化工作流程,使金融机构更加敏捷、响应迅速且成本效益高。

具有强大高性能数据摄取、实时分析、高级安全和支持时间序列数据功能的现代数据平台,增强了金融服务组织解锁可操作见解和推动更明智决策的能力。人工智能能力和向量搜索技术使资本市场能够适应不断变化的市场条件、监管要求变化和客户需求。无论是转型市场数据管理、增强交易策略、优化风险管理还是简化合规报告,合适的数据架构提供了在快速变化的金融服务领域中创新和卓越的灵活性。

利用代理人工智能重新构想投资组合管理

资本市场的风险管理正变得越来越复杂和以数据驱动,这对投资组合经理提出了重大挑战。从实时市场数据到非结构化社交媒体数据的大量多样化数据处理需求,要求具备传统系统难以跟上水平的灵活性和可扩展性。

AI 代理,一种可以自主操作并根据目标和现实世界交互采取行动的 AI 类型,预计将改变投资组合的管理方式[2]。根据 Gartner 的预测,到 2028 年,将有 33%的企业级软件应用包含代理 AI,而到 2024 年这一比例将低于 1%。至少有 15%的日常工作决策是通过 AI 代理自主做出的[3]。合适的数据架构可以支持这些 AI 代理有效地改变投资组合管理的格局。通过利用 LLM、RAG 和高级向量搜索能力的组合,AI 代理可以分析庞大的金融数据集,检测模式,并实时动态地适应变化条件。这种高级智能提升了决策水平,并赋予投资组合经理增强投资组合表现、更有效地管理市场风险和执行精确的资产影响分析的能力。

智能投资组合管理

投资组合管理是选择、平衡和监控股票、债券、商品和衍生品等金融资产组合的过程,以在有效且主动地管理风险的同时实现更高的投资回报率ROI)。它涉及深思熟虑的资产配置、多元化以减轻市场波动、持续监控市场状况和底层资产的表现,以保持与投资目标的一致性。

为了保持相关性,投资组合管理需要整合多样化的非结构化替代数据,如金融新闻、社交媒体情绪和宏观经济指标,以及结构化的市场数据,如价格变动、成交量、指数、价差和历史执行记录。这种复杂的数据集成在投资组合分析中呈现出新的复杂程度,如图 11.10所示。它需要一个灵活、可扩展、统一的数据平台,能够高效地存储、检索和管理这些多样化的数据集,并为构建下一代投资组合管理解决方案铺平道路。

图 11.10:投资组合分析

此图展示了现代投资组合分析系统的综合架构,展示了中心分析引擎如何整合多样化的数据输入,包括交易数据(历史交易、订单和最佳执行指标)、市场数据(价格、成交量、指数、收益率、评级、订单簿数据、波动性和价差),以及来自多种格式的非结构化宏观经济数据(图像、文本、视频和音频),以提供核心的投资组合管理功能,包括风险管理、推荐生成、优化、再分配和回测能力,这些能力通过 MongoDB 灵活的模式加速跨各种来源的数据摄取,从而实现智能决策和主动的市场风险缓解。

通过 MongoDB 的灵活模式加速跨各种数据源的数据摄取,如实时市场流、历史表现记录和风险指标。新的投资组合管理解决方案,通过替代数据启用,支持更智能的决策和主动的市场风险缓解。这种范式转变实现了更深入的洞察,增强了 alpha 生成,并提高了资产再分配的精确度,强调了数据在智能投资组合管理中的关键作用。

MongoDB 如何解锁人工智能驱动的投资组合管理

人工智能驱动的投资组合资产配置已成为现代投资策略的一个理想特性。通过利用基于人工智能的投资组合分析,投资组合经理可以获取到提供针对特定财务目标和风险承受能力的洞察力的先进工具。这种方法通过推荐从股票和债券到交易所交易基金(ETFs)和新兴机会的替代资产组合来优化投资组合构建,同时持续评估不断变化的市场条件。

下图展示了人工智能驱动的投资组合管理流程,该流程将包括股价、波动率指数(VIX)和宏观经济指标(如 GDP、利率和失业率)在内的多样化市场数据引入人工智能分析层,以生成可操作且更智能的洞察:

图 11.11:人工智能驱动的投资组合管理流程

此图展示了人工智能驱动的投资组合管理系统端到端架构。它显示了三个阶段的流程,从处理来自市场事件(如 GDP、利率、失业、新闻和社交媒体)的数据摄取和市场数据(如股价、VIX、ETF、债券和商品数据)开始,通过流处理和时间序列收集。然后,它输入到集中的 AI 和数据分析能力(如使用聚合、向量搜索、嵌入和数据分析进行的投资组合风险分析、市场影响分析、情绪分析、宏观经济分析和波动率分析)。最后,通过 AI 助手(如通过提示和查询回答投资组合经理的问题)和全面报告(通过 Atlas 图表和报告的解释和建议)提供可操作的洞察,以实现投资组合经理的智能、数据驱动的投资决策。

MongoDB 的多功能文档模型为存储和检索结构化、半结构化和非结构化数据提供了一种更直观的方式。这与开发者构建应用程序内部对象的方式相一致。

在资本市场中,时间序列通常用于存储基于时间的交易数据和市场数据。MongoDB 时间序列集合非常适合分析随时间变化的数据。它们设计用于高效地以高性能和动态可伸缩性摄取大量市场数据。由于底层摄取和检索机制的快速,从 MongoDB 时间序列集合中发现洞察力和模式更加容易和高效。

通过利用 MongoDB Atlas Charts 的商业智能仪表板和评估高级 AI 生成的投资洞察力,投资组合经理可以访问集成来自不同数据集的高维洞察力的复杂功能,揭示可能导致增强决策、alpha 生成和更高投资组合绩效的新模式。

MongoDB Atlas 向量搜索在市场新闻情感分析中发挥着关键作用,通过启用相关新闻文章的上下文感知检索。传统的基于关键词的搜索往往无法捕捉新闻故事之间的语义关系,而由嵌入模型驱动的向量搜索允许对不同文章如何与股票情感相关联有更语境化的理解。以下能力为市场新闻情感分析提供了一种更上下文感知和准确的方法:

  • 将新闻存储为向量:当摄取与股票相关的新闻时,每篇新闻文章都使用嵌入模型将其矢量化为一个高维数值表示。这些嵌入封装了文本的意义和上下文,而不仅仅是单个单词。原始新闻文章被嵌入并存储在 MongoDB 中作为向量。

  • 查找相关新闻:向量搜索用于根据相似性算法查找新闻文章,即使它们不包含完全相同的股票信息。这有助于根据上下文相似性在多篇文章中识别模式和趋势。

  • 增强情感计算:不是依赖于单一的新闻情感,而是从多个相关新闻文章中聚合最终的情感得分,这些文章具有相似和相关的内容。这防止了单个异常新闻文章影响结果,并提供了对市场新闻情感的更全面视角。

MongoDB Atlas 向量搜索通过超越简单的关键词,捕捉更深层次的上下文和关联,从而将市场新闻情感分析提升到新的高度,为更明智、更可靠的洞察力提供支持,以做出更好的投资决策。

智能投资组合管理,配备 AI 代理

AI 代理旨在通过从基于规则的决策转向自适应、情境感知和 AI 驱动的决策来革新投资组合管理。AI 赋能的投资组合管理应用持续学习、适应和更主动、更有效地优化投资策略。未来不是 AI 取代投资组合经理,而是人类与 AI 合作,创建更智能、自适应和风险意识强的投资组合。利用 AI 的投资组合经理将获得竞争优势和更深入的见解,从而显著提升投资组合表现。

图 11.12中展示的解决方案包括一个数据摄取应用、三个 AI 代理和一个市场洞察应用,它们协同工作,为投资组合管理创造一个更智能、以洞察力驱动的途径。

数据摄取应用持续收集市场数据,将其作为时间序列或标准集合存储在 MongoDB 中。摄取的数据集包括以下内容:

  • 市场数据:收集和处理实时市场数据,包括价格、成交量、交易活动和 VIX

  • 市场新闻:捕捉和提取与市场和股票相关的新闻。新闻数据被矢量化并存储在 MongoDB 中

  • 市场指标:检索关键宏观经济金融指标,如 GDP、利率和失业率

市场分析代理和市场新闻代理具有 AI 分析工作流程。它们根据每日日程以完全自动化的方式运行,生成预期的输出并将其存储在 MongoDB 中。市场助理代理具有更动态的工作流程,旨在扮演投资组合经理的助手角色。它基于提示工程和代理决策工作。市场助理代理能够根据当前市场条件回答关于资产再分配和市场风险的问题,并将新的 AI 驱动的见解带给投资组合经理。

每个代理在整体工作流程中扮演着独特的角色,以产生智能见解:

  • 市场分析代理:分析市场趋势、波动性和模式,以生成与投资组合资产风险相关的见解

  • 市场新闻代理:通过分析直接影响和间接影响投资组合表现的新闻,评估每个资产的新闻情绪。此代理由 MongoDB 矢量搜索赋能

  • 市场助理代理:根据需求和使用其他代理创建的数据和见解,通过提示回答投资组合经理关于市场趋势、风险敞口和投资组合配置的问题

市场洞察应用是一个可视化层,为投资组合经理提供图表、仪表板和报告,其中包括由 AI 代理生成的系列可操作投资见解。这些信息基于预定的每日日程自动生成,并呈现给投资组合经理。

图 11.12:由 MongoDB 人工智能代理驱动的投资组合管理

如此所示,投资组合管理是由 MongoDB 人工智能代理驱动的,展示了如何通过专门的 AI 代理(市场分析代理、市场助手代理和市场新闻代理)利用 LLM 和图编排能力处理来自数据摄取应用(市场数据、新闻和指标)的数据,通过 MongoDB 的向量搜索功能,实现与市场洞察应用(图表、仪表板和报告)的无缝集成,通过一个结合实时数据处理、高级分析和对话界面的统一人工智能生态系统,为投资组合经理提供智能、即时驱动的响应,以增强投资决策。

图 11.13

图 11.13:市场助手 ReAct 代理架构

人工智能代理使投资组合经理能够通过分析市场条件对投资组合及其投资目标的影响,采取智能和基于风险的方法。人工智能代理利用 MongoDB 强大的功能,包括聚合框架和向量搜索,结合嵌入和生成式 AI 模型,进行智能分析和提供有洞察力的投资组合推荐。

更多关于人工智能代理的详细信息,请参阅第二章什么是生成式 AI、RAG 和代理式 AI 的区别

人工智能在金融服务中的扩展作用

在我们结束本节时,很明显,人工智能是一个强大的力量,正在重塑金融服务的前景,MongoDB 正在推动人工智能转型之旅。人工智能的成功是正确数据架构、可扩展性、质量、可访问性和敏捷性的函数。MongoDB 灵活的文档模型、向量搜索和全面的开发者数据平台为人工智能应用提供了基础。从实验到企业采用的人工智能转变需要战略性地重新思考数据、模型和决策如何在组织中流动。无论你是推动创新、管理风险还是构建下一代客户体验,未来十年领先的金融机构不仅会采用人工智能;它们会将人工智能嵌入到每一个决策、每一个产品和每一次客户互动中。

随着代理人工智能的兴起,金融服务机构有巨大的潜力重新定义如何更智能地管理风险、优化复杂的工作流程,并交付高度个性化的客户体验。随着自主人工智能代理的进步,它们提供了将决策从被动转变为主动、结合推理和行动的潜力,超越了仅仅是对数据的响应,进入对因果关系更深入的理解,赋予金融机构更高的精度和更智能的解决方案。展望未来,那些有效利用人工智能潜力的人将处于领先地位,引领快速发展的金融服务领域,设定新的敏捷性、创新和客户信任标准。

以下是一些人工智能如何改变金融服务领域的额外示例:

  • 高级客户行为和 KYC 分析:向量搜索通过将行为模式与包括电子邮件、社交媒体活动和交易叙述在内的非结构化数据源相关联,实现复杂的客户画像。这提供了对客户风险配置文件的更深入见解,并使身份验证过程更加准确。

  • 智能市场研究:人工智能系统可以通过搜索大量的研究报告、收益电话、监管文件和新闻来源,快速综合市场情报。语义相似性使分析师能够在不同的市场细分和地理区域发现非显而易见的联系和新兴趋势。

  • 大型文档智能用于监管文件:人工智能驱动的文档处理改变了金融机构处理复杂监管提交的方式。系统可以自动提取、验证和交叉引用数百页监管文件中的数据,确保合规性,同时将手动审查时间从数周缩短至数小时。

  • 人工智能驱动的金融应用程序代码生成:开发团队利用人工智能通过生成符合规定的代码片段、API 集成和监管验证逻辑来加速金融应用程序的创建。这使新金融产品的部署更加迅速,同时保持严格的安全和合规标准。

  • 零售银行业务动态产品定价:通过人工智能驱动的实时定价,银行能够根据市场条件、服务成本和客户行为即时调整费用和返利。通过分析实时数据,人工智能可以优化定价以增强竞争力、盈利性和响应速度,确保在动态支付环境中保持灵活性。

  • 财务流动性现金流预测:使用人工智能驱动的仪表板进行动态现金流定位,提供实时现金流可见性和预测。通过在情景分析和建模各种经济条件时利用人工智能,银行可以主动调整资金策略。

  • 支付智能路由:人工智能驱动的支付智能路由利用动态决策和持续学习,实时智能优化每一笔交易。人工智能分析多个条件、费用、汇率和历史模式,主动选择最有效和成本效益最高的路线。随着支付生态系统变得更加复杂和全球化,更智能的人工智能驱动路由对于应对不断变化的法规、不断增长的交易量以及日益增长的对速度、成本效率和可靠性的需求至关重要。

这些新兴应用展示了人工智能如何持续推动金融服务领域的可能性边界,使机构能够以前所未有的智能、效率和客户关注度进行运营。

如需更多信息及资源,请访问www.mongodb.com/solutions/industries/financial-services上的MongoDB for Financial Services页面。

摘要

在本章中,我们探讨了人工智能对金融服务行业的变革性影响,追溯了其从预测分析到生成式人工智能,再到代理式人工智能的演变。我们看到了这些技术如何正在革命性地改变企业知识管理、客户体验、金融犯罪预防、ESG 分析、信贷申请和支付处理。

金融服务行业正处于一个关键时刻,人工智能不仅正在增强现有流程,而且从根本上重新构想了金融机构的运营和价值交付方式。从提供个性化客户支持的人工智能聊天机器人到能够预测新攻击向量的复杂欺诈检测系统,人工智能正在实现前所未有的效率、个性化和安全性。

展望未来,代理式人工智能的持续发展预示着更加深刻的变化,具有感知、推理和在一定参数内行动的自主系统。这些智能代理将越来越多地作为数字关系经理、虚拟合规官员和自动化风险分析师,与人类专家并肩工作,为金融机构及其客户创造更好的结果。

这一转型的基础是底层数据基础设施。现代、灵活的数据平台,如 MongoDB,为人工智能系统提供了访问、分析和实时采取行动的多样化数据的基础。将特定领域的智能,如金融专业嵌入模型,进一步提高了人工智能在此高度监管行业中的应用的准确性和相关性。

正如我们从各种案例研究中看到的,从亚洲银行的 GenAI 聊天机器人到 Ambee 的气候数据平台,再到 Base39 的信用分析解决方案,那些拥抱 AI 并建立在稳健数据基础上的金融机构正在获得显著的竞争优势。他们能够更快地做出更好的决策,提供更加个性化的客户体验,并更有信心地应对复杂的监管环境。

随着我们进入下一章,关于保险,我们将看到许多相同的 AI 技术和方法是如何应用于转变金融服务业的另一个关键领域,该领域具有其独特的挑战和机遇。

参考文献

  1. Celent 报告:利用 AI 在支付中的优势www.mongodb.com/resources/solutions/use-cases/celent-report-harnessing-the-benefits-of-ai-in-payments

  2. 揭秘 AI 代理:初学者指南www.mongodb.com/resources/basics/artificial-intelligence/ai-agents

  3. AI 中的智能代理真的可以独立工作。这是如何做到的www.gartner.com/en/articles/intelligent-agent-in-ai

第十二章:RegData、MongoDB 和 Voyage AI:金融服务业的语义数据保护

人工智能已成为现代银行转型中越来越重要的部分。然而,随着全球金融服务行业(FSI)拥抱人工智能技术,它面临着一项关键挑战:如何在不损害定义金融行业的隐私、合规性和控制要求的情况下利用人工智能。

本章探讨了 MongoDB、RegData 和 Voyage AI 如何通过语义数据保护形成一个强大的联盟来应对这一挑战,这是一种复杂的方法,允许金融机构在执行严格的数据安全标准的同时,保持人工智能输出的质量和效用。它还支持人工智能代理的安全部署,这些代理越来越多地在复杂的金融工作流程中自主处理受监管的信息。这些技术共同提供了一种针对金融服务中人工智能高安全、高风险需求的综合解决方案。

到本章结束时,你将理解以下内容:

  • 为什么传统的保护方法,如加密和屏蔽,在人工智能驱动的金融服务中不足

  • 语义数据保护如何在保护意义、上下文和格式的同时,不暴露敏感数据

  • 金融机构安全人工智能架构的核心组件,从令牌化到提示装饰

  • 如何在金融人工智能应用中通过特定领域的嵌入提高保护和性能

  • 人工智能代理的安全部署模式,包括模型上下文协议MCP)和混合云策略

  • 与 GDPR、FINMA 和欧盟人工智能法案等框架对齐的合规策略

金融人工智能中的数据保护困境

金融机构处于两种强大但看似矛盾的力量交汇处:利用人工智能进行创新的驱动和保护敏感数据的命令。银行和金融服务公司拥有大量高度监管的信息库,从个人身份信息PII),包括姓名、地址和社会安全号码等可以识别个人的数据,到客户识别数据CID),指的是任何可以用来识别特定客户或客户的信息,以及交易历史。这些数据既是他们人工智能创新的最大资产,也是他们最大的脆弱性。如果处理不当,它可能导致欺诈、隐私侵犯或昂贵的监管罚款。如果过于严格地锁定,它将无法用于创新。

传统的数据安全方法,如完全加密、数据遮蔽和受限访问,通常会使数据对人工智能应用不可用或显著降低人工智能输出的质量。当金融机构试图利用基于云的人工智能服务时,他们面临额外的挑战,因为敏感数据可能会离开他们的控制环境,使他们面临违规和安全隐患。

这种困境为金融服务中人工智能的采用设置了重大障碍。根据行业研究,许多金融机构将数据安全和合规问题列为实施高级人工智能解决方案的主要障碍。后果是严重的:创新受限、竞争劣势以及无法提供客户日益期望的个性化、智能服务。

传统数据保护方法在人工智能环境中存在不足,原因有几个关键点:

  • 上下文丢失:遮蔽或加密剥夺了人工智能模型生成有意义输出所需的语义关系和上下文。例如,一个欺诈检测系统将无法看到标记可疑行为的消费模式。

  • 二分法:传统方法通常采取全有或全无的方法;要么数据完全可访问,要么完全受限,没有中间地带供人工智能处理。例如,要么每个分析师都能看到客户的完整 SSN,要么没有人能看到,这两种方法都不适用于人工智能处理。

  • 静态保护:数据保护固定的规则无法适应人工智能交互和用例的动态、上下文性质。考虑一个在训练期间有效但在模型在生产中遇到新颖输入时失败的规则。

  • 效用降低:过于强硬的保护技术显著降低了人工智能输出的质量和相关性。在这种情况下,洞察变得如此泛泛,以至于它们不再帮助关系经理或产品团队。

这些不足解释了为什么传统方法与金融人工智能的需求不兼容,并指出了新范式——语义数据保护的必要性。

理解 MongoDB、RegData 和 Voyage AI 的语义数据保护方法

将 MongoDB、RegData 和 Voyage AI 的集成代表了金融机构在保护敏感信息的同时保持人工智能功能的一种范式转变。与仅关注隐藏或限制数据的传统方法不同,这种综合解决方案在替换敏感值的同时,保留了信息的意义、上下文和格式。

MongoDB 通过其文档模型和 Atlas 向量搜索功能提供了一种灵活、可扩展的数据基础。RegData 贡献了其先进的保护方法和合规专业知识。Voyage AI(被 MongoDB 收购)提供了解释金融术语和概念的特定领域嵌入。它们共同创造了一种全面的方法来应对金融服务中 AI 安全的独特挑战。这个联盟使银行在监管审查下采用 AI 变得实用,而非理论化。

什么是语义数据保护?

语义数据保护保护信息的意义上下文,而不仅仅是其原始值或表面格式。虽然传统数据保护方法(如加密、掩码和访问控制)通常侧重于保护数据值或格式,但语义数据保护则更深入。它以保留格式、关系和监管上下文的方式替换敏感值,从而使 AI 系统保持有用性,而不暴露真实身份。

语义数据保护的核心原则包括以下内容:

  • 语义保护:保护保持语义或原始数据。一个电话号码被另一个电话号码所替代;一个城市名称被另一个城市名称所替代。

  • 上下文语义保护:保护依赖于数据的含义和用法,而不仅仅是其类型或标签。例如,一个电话号码可能根据它是个人、与业务相关还是公共的而以不同的方式处理。一个城市的名称可能被替换为同一司法管辖区内的城市名称,在那里将适用相同类型的法律。

除了这些基础方法之外,语义数据保护还纳入了几个额外的复杂功能。数据分类和控制由语义敏感性而非简单的数据类型决定,确保保护级别与信息的实际风险和重要性相匹配。系统利用诸如本体、分类法或知识图谱之类的语义模型来定义数据关系和含义,使复杂数据生态系统中的一致政策执行成为可能。此外,数据治理变得真正具有上下文性,使用户用规则根据数据的上下文含义、用户角色、预期用例以及适用的监管框架(如 GDPR、FINMA 或 HIPAA)动态适应。

图片

图 12.1:语义数据保护框架架构和数据流

此图展示了语义数据保护框架的关键组件,展示了数据如何在发现、分类、保护和安全处理阶段流动,同时保持语义完整性。它展示了敏感信息在保留上下文和格式的同时被转换,使 AI 系统能够在不损害安全或输出质量的情况下处理受保护的数据。

发现与分类模块分析输入数据以识别任何敏感信息,对其进行适当的分类,并理解查询的上下文和范围。基于这些发现,数据保护模块应用最合适的保护技术来保护敏感数据,确保所选方法与发现和分类模块提供的分类和上下文理解相一致。数据保护模块负责保护输入中包含的敏感数据。基于发现与分类模块确定的分类和上下文,选择最合适的技巧来保护敏感数据。

RegData 支持保留信息格式或类型的技巧(例如,匹配国际银行账户号码IBAN)格式和校验和,或用一个国家的城市名称替换另一个城市名称)。通过增加语义逻辑,它现在可以根据对信息的理解来选择技术。输出是经过标记的数据,可以被公共 LLMs 处理,同时不泄露 PII。

语义数据保护的关键技术

金融服务中的语义数据保护依赖于旨在保护敏感信息同时保留其有用性的高级技术。让我们更详细地看看这些技术。

格式保留标记化

其中一种方法是格式保留标记化,它用保持相同格式(长度、字符类别、模式)的代理标记替换敏感数据。例如,一个像CH93 0076 2011 6238 5295 7这样的 IBAN 号码可能被替换为CH93 [BANK_TOKEN_001],其中标记保留了格式,同时隐藏了实际的账户详情。这种技术在金融数据(如账户号码、信用卡号码、IBAN 和路由代码以及交易 ID)方面尤其有价值。

上下文语义保护

另一种强大的方法是上下文语义保护,它将真实实体映射到一致的化名,这些化名在数据中具有相同的类型和角色。例如,让我们关注一个搬迁申请。这个申请包含有关人们的位置信息:他们从哪里搬走以及他们要搬到哪里。如果我们只对隐藏位置感兴趣,那么语义保护就足够了。我们会用其他随机城市名称替换城市名称,或者用目标国家所在国家的城市名称替换。

但如果我们对提供建议或在估计搬迁成本(包括生活成本以及将在目标位置适用的当地税收)感兴趣,那么随机化名将无法提供建议。这就是上下文语义保护发挥作用的地方。目标城市的名称将被伪匿名化为另一个城市,在那里将适用相同的规则或税收。

例如,问题:“如果约翰·史密斯搬到苏黎世,税收会增加多少?”可能会被匿名化成“如果马库斯·里德搬到艾尔萨乌,税收会增加多少?”在这个转换中,语义得到了保留。马库斯·里德作为一个个人(单个客户)被清楚地识别出来。艾尔萨乌是一个合法的城市名称,艾尔萨乌的税收规则与苏黎世的规则一致。

我们还可以考虑银行转账,其中我们可以使用格式保留方案对 IBAN 值进行匿名化。在上下文语义保护中,我们会选择符合某些公司规则的目标匿名化 IBAN。例如,一个欧洲国家的 IBAN 会被替换为另一个欧洲国家的IBAN,而美国的 IBAN 会被替换为另一个美国的 IBAN

例如,所有客户名称都可能被替换为一致的匿名名称,以保留他们作为人的身份,同时隐藏他们的真实身份。

通过保持要保护的数据之间的一致关系,我们允许 AI 模型生成有意义的见解,同时不暴露真实身份。

基于标记类的语义分区

这种技术将标记分类到语义桶(PII、客户标识符、财务、位置等)中,并为每个类别使用其自己的命名空间进行标记化。以下是一些示例:

  • [PII_001] 用于 PII

  • [CID_017] 用于 CID

  • [FIN_042] 用于财务信息

基于标记类的语义分区允许基于数据类型和上下文实现细粒度保护策略,同时仍然使 AI 模型能够理解每个标记的语义角色。

确定性标记

确定性标记化确保相同的输入总是产生相同的标记(例如,Alice总是映射到相同的标记)。这种一致性对于多步推理或对话至关重要,其中模型必须识别交互之间的引用。例如,如果客户在一则消息中询问“我的 UBS 账户”,然后在后续消息中将其称为“那个账户”,确定性标记确保 AI 理解这两个引用都指向同一个实体,从而保持连续性。

构建全面的语义保护架构

有效的语义数据保护不仅限于个别技术;它需要一个整体架构,该架构与金融机构 AI 生态系统的所有组件集成。MongoDB、RegData 和 Voyage AI 联盟在这方面开创了全面的方法,开发了一个端到端架构,解决了安全性和合规性的全面挑战。本节概述了这一集成语义保护框架的关键组件。

图 12.2:端到端语义保护架构

此图展示了通过语义保护的人工智能系统中的数据完整流程,从初始数据摄取到通过云人工智能服务处理,再到安全输出渲染。可视化突出了银行系统、保护层、API 网关和云服务之间的集成点,展示了敏感数据在整个生命周期中如何保持保护状态。

输入数据可以是多种类型,并可能来自不同的来源,例如文件、数据库、应用程序和音频文件。对公共 LLM 的调用通常是通过 API 网关的 API 调用完成的。API 网关确保在发送到公共 LLM 之前保护 PII。因此,网关使用保护服务对敏感数据进行分类和保护。数据保护模块在发送到 LLM 之前用标记化数据替换敏感字段。

MongoDB 作为基础,结合 RegData 的数据安全平台

MongoDB 是该集成解决方案的基础数据平台,RegData 的数据安全平台DSP)提供专业的保护层。这种组合提供了以下功能:

  • 统一数据存储:MongoDB 的灵活文档模型将结构化、半结构化和非结构化数据存储在单一平台上,消除了孤岛并简化了架构

  • 发现和分类:RegData 使用先进的 NLP 和命名实体识别NER)技术自动识别非结构化内容中的敏感数据,这是一种识别和分类文本中特定实体的技术

  • 可扩展性能:MongoDB 的分布式架构确保解决方案可以处理任何规模的数据,从数千到数十亿条记录

  • 保护技术选择:根据数据类型和上下文智能应用最合适的保护方法

  • 令牌保险库管理:安全存储原始值与其标记表示之间的映射

  • 策略执行:在所有人工智能交互中一致应用保护策略

一起,MongoDB 和 RegData 为金融服务提供了一个弹性且智能的骨干,使机构能够统一其数据,执行强大的保护策略,并加速人工智能的采用,而不会牺牲安全性。

带有 MongoDB 和 RegData 提示装饰的 API 网关

集成解决方案具有一个 API 网关,充当金融应用程序和人工智能模型之间的智能 AI 感知安全中间件(连接不同应用程序的中间软件)。MongoDB 提供数据基础设施,而 RegData 贡献了提示装饰功能:

  • MongoDB Atlas 作为数据枢纽:作为通过 API 网关流动的所有数据的中央存储库,确保一致性和持久性

  • 提示装饰:RegData 的包装层在将提示(提供给 AI 模型的指令)发送到 AI 模型之前对其进行修改、注释或增强

  • 规范化:标准化语义标记和包装的格式,以确保一致的处理

  • 保护应用:在向云基础 AI 模型发送请求之前应用所有必需的保护技术

  • MCP:一个标准化的框架,定义了如何在用户会话、AI 模型和后端系统之间传递上下文(关于对话或任务的相关信息)

通过将 MongoDB 的集中式数据基础设施与 RegData 的智能提示处理相结合,该解决方案在金融系统和模型之间创建了一个安全、AI 就绪的桥梁,简化了交互,同时在每一步保护敏感内容。

使用 MongoDB Atlas 和 Voyage AI 进行受保护的向量搜索

MongoDB Atlas 向量搜索,结合 RegData 的保护技术和 Voyage AI 的特定领域嵌入,创建了一个强大的受保护搜索能力,这对于金融 AI 应用中的 RAG 至关重要:

  • MongoDB Atlas 向量搜索:提供存储和查询数十亿向量并实现亚秒级性能的基础设施

  • Voyage AI 的金融嵌入:生成理解金融术语和概念的特定领域向量表示

  • RegData 的标记嵌入:以标记形式存储文档和数据的向量嵌入(捕获语义意义的文本的数值表示)

  • 语义保留:确保即使表面文本被屏蔽,向量相似性仍然有效

  • 情境回忆:允许 AI 记住[ADDR_42]与其他地址在语义上相似,而不暴露实际地址

这种集成方法提供了一种高性能、隐私保护向量搜索,适用于金融环境,允许 AI 系统检索细微、领域感知的见解,同时将所有敏感细节保密。

安全输出渲染

最后一个组件确保受保护的数据仅在适当的情况下被揭示:

  • 令牌重映射:在授权设备或安全环境中,令牌被映射回其原始值

  • 情境授权:根据用户角色、位置和目的授权访问原始值

  • 审计日志:记录对原始值的所有访问,以进行合规性和安全监控

最后的保障措施确保只有在满足条件时才会透露敏感信息,在保持合规性和信任的同时,授权用户访问他们所需的数据;不多也不少。

针对特定领域的智能,以增强安全和性能

虽然语义保护为金融服务中的安全 AI 提供了基础,但特定领域的智能将安全和性能提升到了新的水平。如在第十一章“金融服务与 AI 的下一波”中详细探讨的那样,金融服务涉及专业语言、复杂法规和细微的概念,这些是通用 AI 模型往往难以准确解释的。

利用金融特定嵌入进行增强保护

MongoDB、RegData 和 Voyage AI 的集成建立在第十一章“金融服务与 AI 的下一波”中详细描述的特定领域嵌入能力之上。通过整合 Voyage AI 的金融特定嵌入模型,语义保护框架获得了几个关键优势:

  • 增强检测精度:金融嵌入更好地识别需要保护的安全信息,提高了 RegData 分类系统的精确度

  • 上下文保护:特定领域的理解使基于金融上下文的保护决策更加细腻,而不是简单的模式匹配

  • 改进检索质量:与 MongoDB Atlas Vector Search 结合使用时,金融嵌入确保受保护的搜索保持相关性和准确性

这种方法在通用模型之上实现了显著的性能提升,尤其是在合规相关任务和敏感数据识别方面。它确保语义保护不仅安全,而且还能保持金融机构对有效 AI 应用所需的高质量、上下文相关的输出。将 RegData 的保护技术与金融特定智能相结合,为要求严格的金融服务环境提供了一个全面的解决方案,该解决方案解决了安全和性能需求。

现实世界的创新:互动银行

为了说明集成的 MongoDB、RegData 和 Voyage AI 解决方案在实际中的应用,让我们考察一个私人银行为其超高净值UHNW)客户提供数字通用人工智能(GenAI)驱动的聊天助手的用例场景。这种实施展示了将 MongoDB 的数据平台、RegData 的保护套件RPS)和 Voyage AI 的特定领域嵌入相结合以在高度监管的环境中实现安全且有效的 AI 交互的力量。

银行的超高净值(UHNW)客户使用 AI 银行助手完成各种任务:

  • 检查账户余额和交易历史

  • 请求转账(例如,将 30 万瑞士法郎转账给我的律师

  • 接收市场警报和投资洞察

  • 检查投资组合表现和资产配置

  • 安排与客户经理的会议

这些交互涉及高度敏感的数据:账户号码、交易历史、个人标识符和行为模式。通过基于云的 GenAI 模型处理这些数据可能会将其暴露给第三方平台,可能违反法规并损害客户机密性。那么我们如何在保护高度敏感数据的同时利用公共 GenAI 服务或 LLM 模型呢?

数据流图,AI 生成的内容可能不正确。

图 12.3:交互式银行系统工作流程和用户界面组件

此图展示了语义保护银行助手的综合架构,展示了客户查询如何通过多个保护层处理,然后到达 AI 模型。系统集成了 MongoDB 的数据平台、Voyage AI 的特定领域嵌入和 RPS,以提供语义和上下文保护。

该架构展示了语义保护如何维护数据意义和格式(用语义等价令牌替换敏感值),同时上下文保护根据数据使用、用户角色和监管要求调整安全措施。客户查询通过 API 网关流向发现与分类层(利用 SLM、NLP 和 NER 技术),然后通过集成了策略、保护机制和报告能力的语义与上下文保护模块。

受保护的数据随后由公共云 LLM 处理,响应安全呈现,仅在授权设备上显示原始值。可视化突出了整个对话流程中敏感金融信息的端到端保护,确保合规性同时保持 AI 驱动的银行交互的质量和实用性。

下面是如何通过 MongoDB、RegData 和 Voyage AI 的集成实现安全且有效的 AI 交互:

  • 数据发现与分类:当客户说将 20 万瑞士法郎转账给 Pierre时,系统使用 RegData AI 驱动的 PII 识别和 Voyage AI 的特定金融模型将Pierre识别为 PII,将200K CHF识别为需要保护的金融信息。

  • 使用 RegData 进行语义数据保护:在将详细信息发送到 GenAI 模型之前,RegData 保护套件(RPS)应用以下操作:

    • 保留语义的保护我想知道,如果我想将 20 万瑞士法郎转账到这个 IBAN CH93 0076 2011 6238 5295 7,费用和条件是什么?变为我想知道, 费用, 和条件, 如果我想将 20 万瑞士法郎转账到 CH2008770435380216999?

    • 上下文语义保护提供我 UBS 账户上所有交易列表变为提供我 Bank_CH 账户 上所有交易列表

    • 确定性令牌Pierre始终映射到Jacques,而IBAN CH2008770435380216999始终映射到 CH93 0076 2011 6238 5295 7,在所有交互中

  • MCP 的提示装饰:提示装饰器确保 GenAI 模型仅接收受保护的令牌,并相应地处理它们,同时通过 MCP 保留其语义意义

  • 使用 MongoDB Atlas 的受保护向量搜索:当客户询问“我上个月在慈善活动上花了多少钱?”时,系统使用 Voyage AI 将受保护的查询转换为向量(文本的数学表示)。MongoDB Atlas 向量搜索在标记化交易数据中找到类似的内容,RegData 确保仅检索受保护的数据,而不暴露实际交易细节

  • 安全的输出渲染:在客户的授权设备上,应用程序将令牌重新映射到真实值(例如,雅克 → 皮埃尔)。客户看到自然流畅的响应,其中包含实际数据,而 AI 模型仅处理受保护的令牌

这种集成的 MongoDB、RegData 和 Voyage AI 实现带来了显著的好处:

  • 合规性:通过从不向第三方 AI 提供商暴露敏感数据,满足 FINMA(瑞士金融市场监督局)、GDPR 和其他法规的要求

  • 增强的用户体验:即使在底层保护的情况下,客户也能收到个性化的、上下文感知的响应

  • 运营效率:关系经理专注于高价值活动,而 AI 处理常规查询

  • 可扩展的安全性:MongoDB 的分布式架构与 RegData 的保护相结合,确保解决方案可以扩展以处理不断增长的 AI 用例,而不会损害数据保护

  • 优越的相关性:Voyage AI 的特定领域嵌入确保响应与金融环境高度相关

这些核心能力构成了基础,而高级技术可以在此基础上构建,以解锁更大的可能性

使用高级技术和新兴标准构建未来

随着金融机构继续提升其 AI 能力,一些新兴的技术和标准正在塑造语义数据保护的未来

MCP

MCP 代表了在 AI 交互中标准化上下文管理方面的重大进步。正如将在第十九章中详细阐述的,展望:超越今天的 AI,MCP 正在改变 AI 应用程序的构建和集成方式,超越了之前为每个集成创建一次性工具的方法

MCP 为语义数据保护系统提供了几个关键优势:

  • 标准化的上下文管理:一个一致的框架,用于在用户会话、AI 模型、AI 代理和后端系统之间传递上下文

  • 增强的互操作性:通过标准化 AI 模型与业务应用程序的交互,消除数据孤岛

  • 减少云处理时间:更高效的上下文处理减少了敏感数据在云环境中花费的时间

在 MongoDB、RegData 和 Voyage AI 联盟的背景下,MCP 使保护工作流程与人工智能代理和外部系统的集成更加无缝。这种标准化对于需要在整个复杂的、多步骤的人工智能交互中保持上下文,同时确保数据保护保持一致性的金融机构来说尤其有价值。

正如您将发现的,MongoDB 的 MCP 服务器展示了这种集成潜力,使人工智能代理能够直接与 MongoDB 数据库交互,同时尊重现有的访问控制,这对于在代理人工智能环境中保持语义保护是一个关键能力。

混合保护策略

建立混合云方法可以通过在私有和公共云环境中实现安全数据处理来增强安全和性能。通过智能数据编排和受保护数据的选择性暴露,混合云架构确保敏感信息保持安全,同时仍支持高级分析和人工智能工作负载。RegData 通过支持混合和多云部署进一步强化了这种方法,使组织能够选择最适合其运营和合规需求的架构。

在此架构中,多层保护通过将结构化和非结构化文档以及知识图谱纳入统一的生态系统框架中发挥关键作用。这种集成确保所有形式的数据都得到一致的保护和授权访问。结果是,一个系统性地保护敏感信息的同时,在多样化的环境中启用人工智能能力,既增强了安全性,又提供了灵活的部署选项。

图 12.4:安全的金融 AI 混合云架构

图 12.4:安全的金融 AI 混合云架构

此图展示了支持在私有/本地和公共云环境中进行安全金融人工智能处理的混合云架构。可视化显示了敏感数据如何在私有云/本地基础设施(包括传统数据库、文件和媒体)中保持保护,同时通过 RegData 保护层利用强大的公共云人工智能服务。API 网关确保只有语义保护的数据(标记化、匿名化或脱敏)进入公共云环境,其中 MongoDB 提供统一的数据编排,公共 LLM 提供高级人工智能能力。这种混合方法通过在整个过程中保持敏感数据的安全,同时通过全面的数据保护访问前沿的云人工智能服务,最大程度地提高了安全合规性和人工智能性能。

遵守性和监管考量

金融机构在实施具有语义数据保护的 AI 时必须应对复杂的监管要求。本节概述了关键考虑事项和最佳实践。

监管框架对齐

语义保护架构必须与详细说明在第四章,“可信 AI、合规性和数据治理”中的复杂监管环境和框架保持一致。正如该章节对不同行业和司法管辖区监管要求的分析所讨论的,组织必须解决多个重叠的监管框架,例如以下内容:

  • GDPR:确保以数据最小化和目的限制等原则正确处理个人数据[1]

  • FINMA:解决瑞士金融监管机构的数据安全和客户保密要求[2]

  • MAS:符合新加坡金融管理局的 AI 治理和数据保护指南[3]

  • EU AI Act:符合欧盟对高风险 AI 应用的风险管理、透明度和问责制的要求[4]

  • ECB:符合欧洲中央银行的操作弹性标准和数据安全标准[5]

语义保护方法直接支持可信 AI 原则,特别是透明度、问责制和稳健的数据治理,通过确保即使在启用 AI 可解释性和合规性时,敏感数据保护也得到维持。这种一致性展示了技术解决方案如何将伦理和监管框架转化为负责 AI 实施的必要操作化。

审计性和可解释性

监管合规性需要全面的审计能力,包括详细访问日志,记录谁访问了特定数据,何时发生访问以及访问的目的。它还要求进行保护验证,以提供证据证明敏感数据在整个 AI 处理过程中得到了适当保护。此外,决策可追溯性至关重要,确保清晰的审计轨迹,记录 AI 生成的建议是如何产生的。

计算机屏幕截图,AI 生成的内容可能不正确。

图 12.5:每个用户敏感数据消耗

此仪表板可视化显示了金融机构如何监控和证明其 AI 系统在遵守各种监管要求方面的合规性。界面显示关键指标,包括保护覆盖率、访问日志以及不同法规和数据类型的合规状态。

仪表板显示了特定用户如何获取敏感数据。这可能是当使用内部应用程序,如 CRM 或交易工具,或将数据发送到 LLM 时。

然后,可以知道在哪个 LLM 中使用了这些敏感数据,以及响应中的结果:用户完整访问数据的次数、没有访问数据的次数或仅访问受保护数据的次数。在此屏幕截图中,我们还可以看到用户消耗的敏感数据类型(姓名电子邮件IBAN、(自由文本)评论等)。

此仪表板之所以成为可能,是因为 RegData 监控了所有访问敏感数据的请求,以及 RegData 对这些请求的响应。然后可以构建定制的报告,展示敏感数据的合理使用,以及在外部或公共 LLMs 中安全使用敏感数据。

摘要

本章展示了 MongoDB、RegData 和 Voyage AI 联盟如何应对金融机构面临的重大挑战:在保持严格的数据保护和监管合规的同时,利用人工智能的能力。您了解了语义数据保护的概念,它超越了传统的加密和掩码方法,这些方法使数据对人工智能应用不可用。语义数据保护在移除或替换敏感值的同时,保留了信息的意义、上下文和格式,使人工智能模型能够生成有意义的输出,而不会损害安全性。

然而,仅凭语义保护对于金融应用中的高质量人工智能输出是不够的。本章强调,上下文语义保护对于提供有意义的 AI 响应至关重要。虽然基本的语义保护只是用语义上等效的替代品替换敏感数据(一个电话号码用另一个电话号码,一个城市名称用另一个城市名称),但上下文语义保护会根据意义和用法上下文进行调整,以保持分析相关性。例如,在搬迁申请中,上下文语义保护会用适用相同税收规则和法规的另一个城市替换目标城市,使人工智能能够提供关于生活成本和地方税收的准确建议,同时保持隐私。这种复杂的方法,结合 MongoDB 的统一数据平台、RegData 的保护技术和 Voyage AI 的特定领域嵌入,创建了一个综合解决方案,该解决方案在要求严格的金融服务环境中解决了安全和性能需求。

在下一章中,我们将探讨如何通过解决扩大个性化客户关系而不损害服务质量的基本困境,GenAI 共飞行员可以改变财富管理。我们将研究人工智能辅助如何将关系经理从行政任务转移到高价值的客户互动,同时通过智能自动化带来显著的收入提升。

参考文献

  1. 您需要了解的 7 项 GDPR 原则:usercentrics.com/knowledge-hub/principles-of-gdpr/

  2. FINMA:理解客户识别数据(CID):bigid.com/blog/finma-making-sense-of-client-identifying-data-cid/

  3. 漫步人工智能模型风险:MAS 指南的关键见解:www.coriniumintelligence.com/content/navigating-ai-model-risks-key-insights-from-the-mas-guidelines

  4. 关于欧盟人工智能法案(EU AI Act)你需要知道的一切(迄今为止):www.isms.online/iso-42001/everything-you-need-to-know-so-far-about-the-eu-ai-act/

  5. 数字运营弹性法案(DORA):www.eiopa.europa.eu/digital-operational-resilience-act-dora_en

第十三章:利用生成式人工智能共飞行员在银行业推动客户成功

财富管理行业站在十字路口。虽然关系经理一直是个性化金融服务的基石,但他们现在面临着前所未有的挑战:如何在不牺牲推动客户忠诚度和业务增长的服务质量的前提下,扩展亲密、高接触的客户关系。像 QuantumBlack、麦肯锡的 AI 这样的公司一直在跟踪这一变化及其对商业和技术领导者的意义。

银行业在过去几十年中数字化转型加速,从基于分支机构的互动转变为满足客户在任何地方的需求的全渠道体验。客户对即时、个性化服务的期望从未如此之高,而监管压力和竞争力量要求更高的效率和更广泛的覆盖范围。这种演变既创造了机会,也带来了紧张;银行必须在更广泛的地理区域内服务更多客户,同时保持区分高端财富管理服务的个性化接触。

但仍然存在一个核心挑战:人际关系经理只能有效地管理有限数量的有意义客户关系。传统的模式严重依赖个人记忆、手动研究和一对一的互动,这些方式根本无法扩展。随着客户组合的增长和市场复杂性的增加,关系经理发现自己花更多的时间在行政工作上,而花在为客户关系增加真正价值上的时间却越来越少。

到本章结束时,你将了解以下内容:

  • 财富关系管理的困境如何为人工智能转型创造机会

  • 为什么传统的关系管理严重依赖手动努力和个人记忆,限制了可扩展性

  • 生成式人工智能共飞行员如何将关系经理的生产力从 20-30%的客户互动时间提升到 70%以上

  • 支持实时人工智能推荐和自动跟进生成的技术架构

  • 如何实施四个必要的 AI 工厂管道,以生产级生成式人工智能应用

  • 为什么防止幻觉的护栏和合规框架对金融服务至关重要

  • 在呼叫中心分析、虚拟代理支持和欺诈检测等方面的实际用例

  • 如何通过战略基础设施规划和用户参与来构建组织采用

  • 生成式人工智能实施的业务影响:每位关系经理收入增长 10-25%,管理的活跃客户增加 5-15%

财富关系管理的困境

财富管理关系经理长期以来一直是高净值客户和金融机构之间个性化的桥梁。他们为他们的精英客户提供白手套服务:个性化的财务建议、投资建议、财政规划服务等等。但他们也面临着前所未有的压力,需要增加他们管理的客户数量。

这种双重使命使关系经理陷入了两难境地。一方面,银行机构需要可扩展性和收入增长。另一方面,没有牺牲服务质量,人类进行高接触客户关系管理的能力无法实现规模化。

传统财富管理严重依赖关系经理的个人记忆和手动努力。例如,他们亲自评估投资组合位置、风险和机会,手动联系客户,手动研究相关的新闻和市场更新,在对话中临时收集见解,并依赖广泛的泛化想法和策略,而不是个性化的策略。

QuantumBlack,麦肯锡 AI 部门与客户的广泛合作揭示了关系经理通常只花费 20-30% 的时间与客户互动,而 70-80% 的时间用于研究、准备和文书工作。这代表了通过 AI 实现转型的巨大机会。

规模化成功的客户关系管理 GenAI 协同助手

GenAI 协同助手正在改变关系经理的工作方式,使他们能够在不降低(有时甚至提高)服务质量的情况下吸引和管理更多客户。GenAI 协同助手位于关系经理的桌面,监听客户通话,并利用来自各种来源的银行大量数据存储库,提供高度个性化的实时推荐、下一步行动和增值机会。

例如,由 MongoDB 和 Iguazio 等先进 AI 解决方案驱动的 GenAI 协同助手——Iguazio 是一家被 QuantumBlack 收购的 AI 平台公司,QuantumBlack 是麦肯锡的 AI 部门——帮助关系经理识别与客户投资组合相一致的投资。协同助手还会主动分享相关研究,根据客户的措辞、语调和语境进行情感分析,确定并分类意图以识别潜在机会,甚至突出相关的生命事件,从而触发对额外银行产品的推荐(例如,根据客户的孩子刚刚满 18 岁的事实,为客户的孩子开设新的学生账户)。

图片

图 13.1:实时 GenAI 协同助手工作流程:从语音检测到自动跟进

此流程图展示了银行关系经理 GenAI 协同助手在实时客户互动中的端到端操作工作流程。该过程从使用语音活动检测VAD)进行音频源检测开始,然后通过 Whisper 技术进行实时转录。然后,系统通过使用基于 LLM 的自然语言处理NLP)分析情感并分类客户意图。基于此分析,协同助手访问多个数据源,包括过去的投资、银行文件、研究数据库和投资聚类算法,以生成三种类型的智能推荐:使用 LLM 和检索增强生成RAG)的增值机会,通过 RAG 和聚类提供的个性化投资建议,以及通过 LLM 和 RAG 的相关研究论文。此工作流程说明了 AI 如何在实时中协调复杂的数据处理和决策,以增强关系经理的有效性。

所有这些洞察都呈现给关系经理,他们可以实时决定是否与客户分享。通话结束后,协同助手自动生成一封个性化的电子邮件总结通话内容,以及根据讨论所需的任何额外文件,使关系经理能够简单地检查、编辑并通过点击按钮发送文件。

通过自动将这些洞察提供给关系经理,GenAI 协同助手释放了经理的准备时间,使他们能够将更多时间分配给与客户的增值互动。根据我们与客户合作的经验,我们发现这些数字可以发生显著变化,从与客户相处时间的 20-30% 提高到超过 70%。结果是每位关系经理的潜在收入提升 10-25%,以及管理的活跃客户增加 5-15%。

关系管理 GenAI 协同助手在内部是如何工作的

GenAI 协同助手的应用程序通过利用银行的各种数据源来运行,包括 MongoDB Atlas 这样的结构化数据库作为统一的数据平台,其中包含历史和实时数据。它持续从通话录音、过去的电子邮件、聊天和短信互动、社交媒体活动、公开新闻、客户的投资组合和交易历史中摄取内部和外部数据,以构建和维护动态的客户档案。

银行的知识库随着时间的积累,包括家庭状况、生活事件、情感历史、贷款和信用活动、风险概况以及购物偏好等详细信息,这些信息来自内部和外部数据源以及互动。银行特定的数据,如产品信息、政策和运营系统,也被整合。

图片

图 13.2:AI 驱动的客户智能架构:从数据源到个性化的银行体验

本图展示了如何通过综合的档案构建系统,将 GenAI 副驾驶将多样化的数据源转化为智能客户洞察。在左侧,包括通话记录、通讯、社交媒体、公共新闻和交易历史在内的多个数据流输入到一个集中的档案构建引擎。该系统创建包含家庭状况、财务偏好、风险概况和行为模式在内的丰富知识库。这些洞察为事件驱动的应用提供四个核心 AI 能力:跨所有渠道的超个性化沟通、针对个人偏好和当前产品的投资建议、基于以往互动和市场情报的研究笔记,以及无需手动操作即可回答客户问题的解决方案,从而减轻关系经理的日常查询负担。这种架构展示了现代银行 AI 系统如何统一结构化和非结构化数据,以实现大规模的实时、情境化客户参与。

所有这些信息都流入事件驱动的应用和实时管道。这些数据由 GenAI 副驾驶实时利用,向人类代理推荐策略。为关系经理输出的结果是超个性化的沟通、定制化的投资想法、相关的研硏笔记以及客户查询的答案。

支持此架构的 AI 工作流程旨在实时使用 AI 处理客户通话中的语音,为关系经理提供洞察和建议,并根据实时进行的对话自动进行跟进。

要将 AI 应用,如面向关系经理的 GenAI 副驾驶产品化,需要哪些条件?这正是 GenAI 工厂发挥作用的地方。

GenAI 工厂:为副驾驶、代理和 GenAI 应用提供动力

支持大规模使用副驾驶的 AI 架构基于四个管道:

  • 数据管道用于处理原始数据(消除风险、提高质量、编码等)。

  • 应用管道用于处理传入的请求,利用 MongoDB 统一数据平台支持的结构化、非结构化和向量数据进行丰富,运行代理逻辑,并应用各种安全线和监控任务。

  • 开发和 CI/CD 管道用于微调和验证模型,测试应用以检测准确性风险挑战,并自动部署应用。

  • 一个治理和监控系统,用于收集应用程序和数据遥测数据,以识别资源使用、应用程序性能、风险等。监控数据可用于进一步改进应用程序性能。

一张计算机屏幕截图,显示了一个图表 AI 生成的内容可能不正确。

图 13.3:Iguazio 和 MongoDB 为生产规模 GenAI 应用集成的 AI 工厂架构

这张综合架构图说明了 Iguazio 的 AI 工厂平台如何与 MongoDB 集成,以大规模提供企业级通用人工智能(GenAI)应用。该系统包括四个关键的操作层:数据管道通过 Iguazio 的处理能力将原始数据源转换为 MongoDB 的统一数据平台,该平台在单一系统中处理用户特征、结构化数据和向量嵌入;应用管道具有具有状态分类和编排的安全控制、用于实体提取和文档检索的问答链,以及由 AI 代理驱动的结构化问题链;机器学习和 CI/CD 管道通过 Git 和 Iguazio 工作流程提供自动调整、验证和部署;以及全面的监控和反馈系统,具有实时验证和警报功能。该架构展示了 MongoDB 的融合数据存储方法如何通过在一个平台上原生支持结构化、非结构化和向量数据类型来消除管理多个数据库技术的复杂性,同时 Iguazio 协调生产金融服务应用所需的复杂 AI 工作流程、会话管理和响应处理。这种集成方法使管道编排、可扩展性和治理能力成为金融服务行业(FSI)合规性的必要条件,同时保持银行业务所要求的性能和可靠性。

此外,AI 工厂应支持本地和混合部署,并能够轻松地从一种环境迁移到另一种环境,以满足金融部门的严格监管、数据隐私和安全要求,并在一个非常动态的世界中提供灵活性。本地部署提供了对敏感数据和基础设施的完全控制,这对于满足 GDPR 或欧盟 AI 法案等合规性要求是必需的。同时,混合模型使银行能够利用基于云的 AI 的可扩展性和创新,同时保留敏感工作负载在本地。

AI 工厂如何解决 FSI 工程需求

通过实施 AI 工厂,银行、保险公司和其他金融机构可以以多种方式受益。

其中最主要的好处是用户可以以最小的工程量获得管道编排的访问权限。工厂简化了跨四个管道(数据、应用、开发和 LiveOps)的端到端稳健且可重复的工作流程的开发和管理。这是以简单和弹性的方式完成的,无需大量的工程努力。

AI 工厂还增加了可扩展和快速部署的选项。工厂使企业规模、数百万银行客户、全球地区和团队以简化和无摩擦的方式构建和部署模型,无论是在云上、本地还是混合环境中,都不会产生成本效率低下的问题。例如,与 MongoDB 等数据库结合使用,可以轻松处理大量数据和复杂的数据转换,同时保持高性能并确保可靠性和准确性。

来自多个来源的数据统一也变得更加可行。GenAI 应用涉及多种类型的数据,例如地理空间数据、图、表格和向量。每种数据类型都需要考虑诸如安全性、可扩展性和元数据管理等问题。这创造了数据管理的复杂性。结合 MongoDB 的统一平台,AI 工厂可以处理所有数据类型,包括结构化、非结构化和向量数据,在一个解决方案中。这确保了一致性、更快的性能和显著减少的额外开销。

工厂的通用性也是一个巨大的好处。一旦构建,工厂可以适应多个用例,而无需重建的额外开销或挑战。如果需要任何更改,架构是模块化的,组件可以轻松交换或替换,而无需完全重新设计。

GPU 和计算优化变得更容易管理。随着计算(尤其是 GPU)变得昂贵且难以获得,工厂确保计算资源的有效分配、共享和自动扩展,包括分布和并行性。

MLOps 编排得到改善,因为 AI 工厂有助于快速、安全、可靠地将模型和 AI 应用从原型转移到生产。

工厂通过缓解业务和伦理风险(如幻觉、偏见、毒性和不准确输出)来帮助保证性能和输出完整性,确保高性能、准确性和可靠性。这是通过引入整个 AI 生命周期的中央管理和治理,包括在整个开发、培训和部署过程中的嵌入式护栏来实现的。

幻觉护栏

例如,防止幻觉可以在数据管道的早期阶段进行。这需要 RAG 工作流程和 MongoDB 的统一数据平台。

结构化和可靠的数据(如产品手册、常见问题解答、定价政策、客户数据等)被转换为嵌入并存储在 MongoDB 中。当用户提出查询时,相关的记录从数据库中检索出来,并以自然文本的形式结构化。这确保了响应基于真实事实,最大限度地减少幻觉。

AI 工厂通过实施安全模型访问的护栏、可解释性、审计日志记录、与 GDPR 和金融行业监管局FINRA)法规的一致性以及公平性,来提高合规性、隐私性和安全性。

许多银行系统仍在使用遗留堆栈。AI 工厂通过 API 桥接、包装或微调的连接器抽象化复杂性,从而简化新旧系统之间的集成,易于且无缝。

即使在概念验证成功之后,大多数企业仍然未能扩大人工智能的规模并创造真正的商业影响。AI 工厂有助于确保生产级交付和管理,从而使企业看到实际的回报率。

AI 工厂是一个具有模块化和可扩展性的未来保障型基础设施,可以适应任何人工智能运营需求,例如 AI 代理。

代理是自主的人工智能系统,能够感知其环境,做出决策,并采取行动以实现特定目标。它们不仅遵循特定任务,还可以遵循一系列目标,适应不断变化的数据输入,独立或与人类团队协作操作。这有助于加快决策速度,提升客户体验,并提高金融服务价值链的运营弹性。

对于金融服务,AI 代理可以自动化复杂的工作流程,作为始终在线的财务助手,持续监控交易并标记欺诈,提出投资策略,个性化财务咨询,等等。

领先的金融服务用例,其中生成式人工智能带来了真正的价值

生成式人工智能对私人银行和金融机构的价值不仅限于关系管理。它还可以扩展到以下用例:

  • 智能呼叫中心分析:使用人工智能实时转录、总结和分析支持电话,以识别情绪、产品痛点以及交叉销售机会,并将信息反馈给下游应用程序以获得战略洞察

  • 虚拟代理支持:部署人工智能代理来处理常规查询,释放人类代理处理复杂案例

  • 超个性化产品推荐:结合行为数据与客户信息,推荐定制的信用卡、贷款或投资产品

  • 欺诈预测和异常检测:实时检测可疑的交易模式,提高响应时间

让我们详细看看一个例子。

案例研究:一个由生成式人工智能驱动的智能呼叫中心分析应用程序

一家大型成功的欧洲银行构建了一个生成式人工智能呼叫中心分析应用程序,以改善呼叫中心运营,简化代理培训,提升客户体验,并降低成本。该生成式人工智能应用程序在本地部署,总结了客户通话,分析了情绪和主题,并移除了个人身份信息PII)。数据被输送到下游应用程序,如实时代理支持、客户档案、自动生成的内容、定制推荐、定制优惠等。

这导致了运行时间提高了 2 倍,呼叫日记化速度提高了 60 倍,GPU 利用率提高了 3 倍。这样的代理还可以访问 MongoDB 数据平台,提取有助于信息检索和使用的相关信息。

接下来是什么?企业如何利用 GenAI 取得成功

GenAI 解决方案的成功不仅仅在于实施正确的技术。相反,它取决于与人们的互动、确保高管层的一致性、建立正确的流程和引入治理策略。以合作的方式将 GenAI 集成到关系经理的工作流程中,或任何其他部门,是其成功的基础,同时也为公司和个人员工的成功驱动。

因此,建议在人员、流程和技术方面实施以下实践:

  • 战略基础设施规划: 根据监管、合规性和资源需求,制定针对云、本地或混合部署的定制部署策略。数据基础设施应设计为利用现有系统,同时确保与现有流程的顺利集成。

  • 强大的治理和监管一致性: 内嵌内部政策并与欧盟 AI 法案等法规保持一致,以加速进步并最小化风险。

  • 推动用户接受度: 吸引表现优异的关系经理参与塑造工具的功能和用户体验。这确保并推动了一种所有权感。它包括突出提升洞察力、提升专业技能、提高生产力和增加收入的潜力,并通过与高绩效者合作进行试点,以产生快速胜利、建立信誉并激发组织内的同伴驱动力。

通过将 GenAI 解决方案如共飞行员锚定在其数字战略中,银行可以转型客户关系,并在日益竞争和动荡的格局中为可持续的、收入驱动的增长定位自己。

摘要

通过 GenAI 共飞行员实现的财富管理转型代表了从无法实现的个人服务规模化的二难困境到一个增强效率和客户体验的 AI 解决方案的根本转变。由于关系经理目前将超过一半的时间花在研究和文书工作上,而不是与客户互动,GenAI 共飞行员提供了一条清晰的路径来翻转这一比例,使管理者能够专注于价值创造活动,而 AI 则处理数据处理、情感分析和行政任务。

这次转型的技术基础需要一种全面的 AI 工厂方法,包括数据管道、应用编排、开发工作流程和治理框架。MongoDB 的统一数据平台能够实现结构化和非结构化数据的实时处理,这对于实现上下文 AI 响应至关重要,而内置的护栏则确保符合金融服务法规,并防止幻觉。现实世界的实施已经证明了显著的商业影响,每位关系经理的潜在收入提升可达 10-25%,管理的活跃客户数量增加 5-15%,同时还有如运行时改进 2 倍和呼叫处理速度提高 60 倍等运营改进。

下一章将探讨如何在保险业中利用 AI 创造商业价值,研究 AI 在保险行业中的战略整合,以推动有意义的商业成果。超越银行应用,它展示了如何构建与保险业务目标一致的 AI 增强型应用工作流程,涵盖了数据架构的演变以及 AI 在承保、理赔处理和客户体验方面的实际应用,以转型保险运营。

第十四章:通过人工智能在保险业中实现业务价值

在为人工智能增强的应用程序工作流程进行架构设计时,重要的是要牢记您的整体业务目标。您正在解决哪些业务问题,您的组织面临的最紧迫挑战是什么?

您组织中的不同利益相关者可能从不同的角度来考虑人工智能的实施。推动平台整合和现代化的技术团队可能会通过技术优先的视角来评估解决方案,根据技术能力和成本比较平台。数据科学和分析团队可能会专注于测试或验证数据假设。业务产品负责人可能会优先考虑增强应用程序的功能和能力,希望利用人工智能来增强数据处理。

不论您的角色如何,挑战在于帮助您的组织利用人工智能在业务成果上取得实质性进展。这需要跨越多个维度,包括对业务目标的清晰理解,以将人工智能倡议与组织目标对齐,对相关数据和流程的深入了解,以确保人工智能有效地支持核心业务流程,以及深思熟虑地应用人工智能技术,以简化数据密集型任务并释放新的效率。

我们的目标是能够通过将正确的人工智能能力应用于组织的正确位置,更快地收集、理解、交互和生成数据。

本版本删除了特定的角色定位,使其适用于任何参与人工智能实施决策的人,同时保持相同的关键概念和结构。

到本章结束时,您将理解以下内容:

  • 数据架构如何从遗留系统发展到人工智能就绪的基础设施,以及如何实施统一的数据存储方法,以统一结构化和非结构化数据

  • 保险组织可用的各种人工智能技术,从传统的机器学习到代理人工智能系统,以及它们在承保、索赔处理和客户体验方面的实际应用

  • 为什么以领域驱动的人工智能实施与业务目标相一致,以及如何构建提供丰富上下文以支持智能决策的根领域实体

  • 保险组织成功实施人工智能解决方案的实例

  • 将人工智能直接集成到业务应用程序中的战略重要性,而不是将其视为一个单独的倡议

数据架构的演变

我们在保险业的数据架构方面已经经历了一段旅程。这一演变经历了三个不同的阶段:

  • 遗留系统:这些系统以单体关系型数据库为特征,速度慢且成本高,具有缓慢适应且可扩展性有限的刚性模式

  • 微服务时代:这一时代引入了具有更快开发周期的领域数据存储,使用 JSON 处理动态和静态数据,使用 API 和事件进行通信,以及特定领域的模式。

  • AI 集成:现在,我们正进入一个需要专门为 AI 架构数据的时代,智能商业应用和智能代理在统一的数据存储上运行。

图 14.1:数据架构演变:从传统系统到 AI 就绪基础设施

图 14.1 展示了保险行业数据架构的三个阶段演变。传统系统显示了一个传统的三层结构(UI、应用和数据)以及单体关系型数据库。微服务时代引入了分布式领域数据存储,多渠道应用通过 API 和事件进行通信。AI 阶段描绘了一个新的范式,拥有智能商业应用和多个代理工作者,提出了如何恰当地架构数据基础设施以支持代理 AI 系统这一关键问题。

技术始终推动着我们交易业务方式的进步。每个阶段都带来了更高的灵活性和能力,而 AI 集成阶段在商业价值潜力方面代表了最显著的飞跃。

在探讨了数据架构如何演变以支持 AI 能力之后,让我们通过一个具体的保险案例来考察这些技术基础如何转化为有形的商业价值。

以理赔处理为例

在探讨了数据架构如何演变以支持 AI 能力之后,让我们通过一个具体的保险案例来考察这些技术基础如何转化为有形的商业价值。保险公司常见的组织目标可能包括提高运营卓越性和以客户为中心。强调运营中的效率和有效性以最大化回报并减少浪费,以及优先投资提高客户满意度和参与度的项目。

您的组织在处理和解决索赔方面的能力如何,例如,直接影响到前面的目标。实现这一点直接关联到您处理理赔应用工作流程中数据的速度、效率和准确性。

理赔处理为我们提供了利用 AI 加速数据处理热点的大好机会,从而使组织能够从技术投资中获得有意义的回报。

那么,在理赔处理工作流程中,哪些类型的数据难以处理?非结构化数据源,例如损坏照片、事故表格和报告、理赔处理人员笔记、交通摄像头视频以及理赔处理指南和建议。

这些数据源对您的员工来说处理起来麻烦吗?考虑一下所需的手动工作量:打开和阅读表格,检查和解释图像,以及提炼和撰写案例文件笔记,然后索赔才能继续进行。在灾难性事件期间,这一挑战随着大量、突然涌入的索赔而呈指数级增长。

保险业的挑战不是数据不足,而是处理、理解和快速采取行动的能力。这正是人工智能,以各种形式,提供变革潜力的地方。

保险业中的 AI 光谱

保险公司可以利用多种类型的 AI 来解决不同的业务挑战。了解 AI 能力的全谱系对于做出战略实施决策至关重要。

传统机器学习

在历史数据上训练的机器学习模型可以用于在业务工作流程中做出预测和决策,有效地取代某些人工任务。这些模型在风险分类和定价、基于模式检测欺诈、细分和定位客户以及分类和路由索赔方面表现出色。

虽然这些 AI 模型已经使用了多年,但现在的问题是:关于生成式人工智能(GenAI)呢?

生成式人工智能(GenAI)和大型语言模型(LLMs)

生成式人工智能(GenAI)和大型语言模型(LLMs)为我们提供了非常适合增强数据处理能力的核心自然语言处理能力。当应用于索赔处理工作流程时,这些技术可以显著改变保险公司处理和理解非结构化信息的方式。

其中最强大的应用之一是实体提取,这有助于从非结构化来源,如 PDF 指南或事故表格中找到的大量文本中查询和检索相关信息。这种能力使得索赔处理人员能够快速识别关键信息,例如日期、地点、政策号码和损坏描述,而无需手动扫描冗长的文件。

文本和图像分类更进一步,使索赔处理人员能够自动确定损坏照片中发现的损坏类型或特征。结合文本摘要能力,这些工具可以加快跨多个来源的大量文本或信息的综合速度,从而显著减少初步索赔评估和文件审查所需的时间。

该技术也擅长文本生成,有助于生成案例文件,并根据更广泛的指南为工作人员提供简洁的指令。这确保了索赔处理的连贯性,同时减少了调整人员的认知负荷。此外,交互式聊天功能使员工和客户能够更快地获取先前或额外的现有信息,从而创造更响应和高效的服务体验。

代理式人工智能系统

在最先进的端点是代理式 AI 系统,这些是能够感知其环境、做出决策并采取行动以实现特定目标的自主系统。虽然这些系统目前仍处于发展初期,主要在生产环境中用于特定、有限的任务,但它们代表了 AI 能力的下一次进化。这些系统在几个关键方面与传统 LLM 不同:

图 14.2:LLM 与代理式 AI 系统:关键差异和能力

此比较图突出了传统 LLM 和高级代理式 AI 系统之间的基本差异。图中显示了五个关键区别:

  • 交互模式:LLM 需要由人类为每个响应进行提示,而代理式系统一旦被赋予一个初始目标或目标,就可以自主执行多步骤工作流程

  • 响应能力:LLM 提供单一答案,而代理式系统能够通过多步骤过程进行推理

  • 处理方法:LLM 提供单一答案的响应,而代理式系统可以探索多个路径

  • 记忆:LLM 是无状态的,而代理式系统保持长期上下文和记忆

  • 工具访问:与能够使用 RAG、API 和数据库的代理式系统相比,LLM 缺乏工具访问

选择哪种 AI 方法实施取决于具体的业务挑战、数据可用性和组织准备情况。许多保险公司将从在各个业务领域和用例中实施这些方法的组合中受益。

理解 LLM 和代理之间的这些基本差异至关重要,因为它们决定了我们如何为保险工作流程构建 AI 解决方案。虽然 LLM 在文档分析或客户咨询等个别任务上表现出色,但保险流程的复杂多步骤性质,从最初的索赔接收到最后结算,需要只有代理式系统能够提供的自主决策和工具集成能力。

保险中的代理式工作流程

为了了解 AI 代理如何创造业务价值,让我们考察一个保险索赔处理中代理式工作流程的具体例子。这些自主系统可以感知其环境、做出决策并采取行动。这些能力使它们特别适合编排复杂的保险流程,以达到降低运营成本和提高客户满意度的业务目标。

此工作流程展示了最先进的 AI 系统如何通过无缝连接以下内容来编排复杂的保险流程:

  • 结构化数据(索赔记录)

  • 业务工作流程步骤(损失通知 → 识别和记录损害 → 核查承保 → 确定和总结承保)

  • 非结构化数据(损害照片、保单表格等)

  • 用户接触点(客户移动应用、索赔处理界面等)

工作流程在以下图中展示:

图 14.3:保险索赔处理的代理式 AI 工作流程

它说明了 AI 代理如何编排端到端保险索赔工作流程,集成结构化数据(索赔记录和政策信息)、业务流程(从首次损失通知到承保决定)、非结构化数据(损坏照片和政策表格)以及用户接触点(客户移动应用程序和索赔处理界面)。工作流程显示了 AI 代理在关键决策点操作以自动化流程,同时将客户体验与后端系统连接起来。

此工作流程展示了 AI 代理如何弥合客户体验和后端流程之间的差距,无缝地处理结构化和非结构化数据。关键优势在于代理可以在多个系统和数据类型上自主操作,减少在常规流程中人工干预的需求,同时仍保持准确性和合规性。

为应用程序构建架构

您的软件交付团队以及他们支持的应用程序可能被敏捷交付领域分割。您需要在那些领域和应用程序内部应用 AI,以便有效地推动组织和流程的结果。简而言之,您的 AI 属于您的应用程序。

支持这些应用程序的数据存储在操作数据存储中。如果我们希望我们的应用程序和 AI 使用实时数据,它应该在同一基础数据存储中可访问。服务于我们应用程序的也应该服务于我们的 AI。

将 AI 直接集成到商业应用程序中代表了从 AI 采用实验阶段到价值交付阶段的重大转变。与其将 AI 视为一个单独的倡议,具有前瞻性的保险公司正在将 AI 能力直接嵌入其核心业务系统中。

虽然这种方法带来了显著的商业价值,但它需要仔细关注安全考虑因素,包括以下内容:

  • 访问控制和身份验证

  • 数据保护和加密

  • 安全的输出处理和验证

  • 零信任安全原则

  • 正确的 API 控制和监控

  • 定期安全评估

组织应将其作为 AI 集成策略的一部分实施这些安全措施,以减轻未经授权的访问、数据泄露和潜在的系统漏洞等风险。

集成数据存储

集成数据存储是一种将 API 和事件、用户和代理以及结构化和非结构化数据统一到一个系统中的架构方法。这种方法对于必须高效处理多种数据类型的保险应用程序尤其强大。

例如,在索赔处理工作流程中,以下情况发生:

  1. 客户通过移动应用程序报告首次损失并上传照片。

  2. 系统存储了结构化索赔数据(ID、索赔人信息和状态)以及非结构化数据(带有向量嵌入的损坏照片)。

  3. 人工智能智能体提取图像元数据,更新状态摘要,并与索赔数据和客户进行交互。

  4. 索赔处理人员可以访问相同的一体化数据存储,确保一致性。

图片

图 14.4:AI 赋能索赔处理的集成数据存储架构

此图展示了如何通过一个集成的数据存储统一 API 和事件、用户和智能体,以及结构化和非结构化数据。工作流程展示了客户报告索赔并上传照片,中央索赔数据存储库包含结构化数据(索赔 ID 和索赔人信息)和非结构化数据(带有矢量嵌入的损坏照片),而人工智能智能体处理图像元数据并与客户和索赔处理人员通过统一的数据基础进行交互。

集成数据存储概念解决了人工智能实施中最具挑战性的问题之一:将人工智能系统与现有运营系统集成。通过提供统一的数据基础,它消除了复杂数据管道的需求,并减少了数据创建与人工智能驱动的洞察之间的延迟。

管理运营结构化和非结构化数据

你的应用程序架构需要提供一种方式来存储、提供和更新结构化数据,作为你的工作流程的一部分,并集成非结构化数据。这可能包括原始数据(PDF、图像和笔记)以及其矢量编码表示。你希望矢量编码数据尽可能接近你应用程序中可能已经存在的结构化数据。这有几个原因,包括以下内容:

  • 性能:通过利用高效的服务器计算提供应用级的服务级别协议(SLAs

  • 安全性:提供一致的 APP 层安全控制,以确定谁可以访问什么数据

  • 应用交付和维护的便捷性:组件和依赖项越少,构建、部署和维护利用人工智能的有效软件解决方案的复杂性和成本就越低

这种数据管理的集成方法在保险业尤为重要,因为数据隐私、安全和合规要求非常严格。通过在结构化和非结构化数据上保持统一的数据治理方法,组织可以确保人工智能实施符合监管要求,同时仍然提供商业价值。

智能体系统的架构特征

让我们来看看在智能体系统中我们可以期待发现的一些架构特征。关注架构的重要性、新变化以及变化之处,对于理解你能够构建什么以及它如何集成到现有系统中至关重要。

根域实体和域模式

这种数据存储库的聚合方法使用更少但更丰富的数据对象,这些数据对象提供了深入和即时的上下文。根域实体本质上是一个综合数据容器,它将特定业务概念相关的所有内容集中在一个地方。例如,索赔实体将包含以下内容:

  • 结构化数据(索赔 ID、日期、类型代码、损失详情和索赔人信息)

  • 非结构化数据(损坏照片、事故报告和交通摄像头视频)

  • 非结构化内容的向量嵌入

图 14.5:根域实体和域模式

图 14.5 展示了非结构化数据源(损坏照片、事故报告和交通摄像头视频)如何与结构化数据字段一起集成到一个丰富的索赔实体中。这种方法提供了更少但更丰富的数据对象,这些数据对象提供了深入和即时的上下文,使用 JavaScript 对象表示法JSON)作为 AI 标准格式;这是 AI 系统的首选数据格式,因为它灵活且易于处理,同时允许在代理和用例之间实现低延迟的性能。

跨所有数据类型的统一搜索

这种丰富的数据结构使得强大的新搜索功能成为可能。不再需要查询多个系统,索赔调整员可以说:“显示所有超过 15,000 美元的 Q4 索赔,并且与这个新索赔相似的损坏照片”,并得到结合结构化数据过滤器与单一查询中的视觉相似性匹配的结果。

图 14.6:向量、文本和混合搜索

图 14.6 阐述了 MongoDB Atlas 如何自动从CLAIM集合中创建向量和文本搜索索引。当数据发生变化时,编辑会自动传播到所有索引中,使得可以在 MongoDB 的查询语言中使用$vectorSearch(用于查找相似图像或内容)和$search(用于传统文本搜索)。这种架构上优雅的方法允许你在同一查询中遍历结构化和非结构化数据,同时保持低延迟、低复杂性和单一的安全模型。

www.mongodb.com/products/platform/atlas-vector-search了解更多关于 Atlas 向量搜索的信息,以及在www.mongodb.com/products/platform/atlas-search了解更多关于 Atlas 搜索的信息。

自主行动的事件驱动架构

除了丰富的数据模型和统一搜索之外,代理系统需要自动对变化条件做出反应。这就是事件驱动架构变得至关重要的地方。

图 14.7:自主行动的事件驱动架构

图 14.7 展示了 MongoDB Atlas 如何支持持久流处理,允许 AI 系统使用聚合管道阶段(MongoDB 的强大数据处理框架,可以实时过滤、转换和分析数据)处理连续流数据。流处理器组件持续监控 CLAIM 实体的插入和更新,自动触发 AI 代理的响应。这为 MongoDB Atlas 部署提供了简单性和安全性,同时实现了实时响应能力。

在此处了解更多关于 Atlas 流处理的信息:www.mongodb.com/products/platform/atlas-stream-processing

这种统一方法的关键优势如下:

  • 一个查询,全面结果:使用任何组合的结构化数据、文本内容和视觉相似性查找相关信息

  • 自动同步:当数据发生变化时,所有搜索索引会立即更新

  • 实时响应:AI 系统对数据变化立即做出反应

  • 一致性安全:所有数据类型和流程中只有一个访问控制模型

这些架构特性包括丰富的领域实体、统一的搜索能力和事件驱动的响应能力。它们为智能、自主系统提供了技术基础。然而,如果没有可衡量的业务影响,架构的优雅也就毫无意义。任何 AI 实施的真实测试在于它是否解决了实际业务问题并改善了运营成果。

现在,让我们通过一个 AI 增强索赔处理的实例来具体探讨这些架构原则如何转化为实际业务价值。

通过 AI 驱动的改进,提高索赔处理以实现更好的业务成果

将 AI 集成到索赔处理中是保险组织从 AI 投资中获得价值的最直接机会之一。通过自动化索赔处理的常规方面,组织可以缩短处理时间,提高准确性,并释放人工调整员专注于复杂案例和需要人类判断和同理心的客户互动。

图 14.8:与索赔处理工作流程对齐的 AI 用例

图 14.8 展示了核心 NLP 能力的实际用例,包括文本和图像分类、交互式聊天、实体提取和文本摘要。例如,当应用于索赔处理工作流程时,这些能力可以减少数据热点,从而降低处理时间和成本,并改善客户体验。

在 AI 能够改变我们的组织之前,我们首先必须将其引入我们的应用程序,并从实验转向生产部署。

AI 成熟度和实施策略

图 14.9 展示了企业内部 AI 采用的各个阶段,从早期兴趣到过程和决策中的普遍和结构化整合。许多组织都难以从第二级,分析实验,过渡到第三级,在业务应用程序中部署 AI 功能,以提供有意义的商业价值和成果。

图片

图 14.9:从未定义到变革性的 AI 成熟度水平

这个成熟度模型为希望提升其 AI 能力的保险公司提供了一个路线图。从实验到生产实施的过渡不仅需要技术专长,还需要组织协调、明确的企业目标以及重新构想现有流程的意愿。

GenAI 的三个层次

理解 GenAI 的技术基础有助于保险公司做出关于在哪里投资资源以及如何构建全面 AI 能力的战略决策。GenAI 应用可以分为三个主要层次:

  • 第一层,计算和 AI 模型:底层处理能力加上提供核心 AI 能力的基座和嵌入模型。

  • 第二层,用于微调和构建应用的工具:通过提供专有数据来为基座模型提供上下文的工具。这是连接通用 AI 能力与特定业务需求的关键中间层。

  • 第三层,AI 驱动的应用和体验:最终用户交互的界面和体验,以及简化构建 AI 体验过程的框架。

基座模型非常强大,但由于在公共数据集上训练,它们缺乏支持企业应用所需的领域知识和数据上下文。这就是第二层变得至关重要的地方,数据和技术工具使得增强型 AI 应用能够完全运行,将您的组织从第二级实验提升到第三级生产成熟度。

一个集成的操作数据库存储专有的结构化和矢量数据,当应用程序发出请求时,这些数据对 LLMs(大型语言模型)可用。这实际上为基座模型提供了超出其初始知识边界的回答问题的必要上下文。

虽然很多注意力都集中在基座模型上,但中间层的数据和工具往往决定了 AI 在生产环境中的成功或失败。

图 14.10 更详细地展示了 GenAI 的三个层次,显示了结构化数据从应用程序流向操作数据库,原始的非结构化数据在对象存储中管理,以便应用程序进行处理。这部分处理包括向量化(将非结构化内容转换为 AI 可以理解的数值表示)以及随后将这些向量持久化在操作数据存储中,以便应用程序可以轻松访问。

图 14.10:集成数据和模型服务的 AI 启用应用架构

此架构为寻求构建 AI 增强应用的保险组织提供了一个蓝图。关键见解是,AI 能力应直接集成到业务应用中,而不是作为独立系统存在。这种集成确保 AI 能够访问实时数据,并在现有业务流程的上下文中提供见解和行动。

域驱动 AI 实施

全球保险企业已采用域驱动设计,并与围绕核心处理域组织的软件交付团队保持一致。随着向微服务和事件流架构的转变,AI 能力现在可以极大地增强这种方法,并加速与实时数据的交互和服务能力。

协同工作:应用、数据和 AI

通过域增强核心保险业务能力可以显著提升。当 AI 实施如下时,这种集成效果最佳:

  • 特定领域:针对特定业务领域,如索赔、承保或客户服务

  • 任务导向:直接解决数据处理的瓶颈,这些瓶颈自然发生

  • 应用集成:集成到现有工作流程中,而不是作为独立系统运行

为了使这种方法有效,操作数据和矢量数据应尽可能存储在接近应用的位置。这种邻近性使得以下成为可能:

  • 实时上下文:基于当前数据做出的决策

  • 最佳性能:降低对时间敏感的保险流程的延迟

  • 一致的安全:跨所有数据类型的统一访问控制

  • 领域敏捷性:快速适应不断变化的企业需求

基于域的操作数据存储有助于细分并增强数据血缘、数据质量和数据治理,从而实现更可靠的 AI 交互。该架构还依赖于 API 和事件,以实现单个域内以及跨域边界的高效处理。

现代化和面向 AI 的架构

转向汇聚数据存储架构通常需要现代化现有系统。推荐的方法是将遗留复杂性合并到一个共同的、根域模式中:

  • 迁移数据从关系型、层次型和基于文件的系统迁移到单一视图的操作数据层

  • 创建统一的访问,可以同时服务于 API、AI 代理、经典应用,并提供内部/外部互操作性

图 14.11:汇聚数据存储架构的遗留系统现代化策略

此图说明了从碎片化的旧系统(关系型、层次型和基于文件的)迁移到统一汇聚数据存储库方法的路径。该策略将复杂的旧数据结构整合到一个共同的根域模式中,该模式可以同时服务于 API、代理、经典应用,并提供内部/外部互操作性,使组织能够逐步现代化,同时保持现有系统功能。

此现代化战略承认大多数保险公司以旧系统和现代系统的混合方式运营的现实。而不是要求完全替换,汇聚数据存储库方法提供了一条务实的向前道路,允许逐步现代化,同时从 AI 投资中获得价值。

AI 驱动架构

保险技术未来的发展方向是建立在汇聚数据存储库之上的 AI 驱动架构,该数据存储库围绕企业根域实体(如客户、提交、政策和索赔)的核心集合。

此架构方法强调以下方面:

  • 未来兼容设计:文档模型灵活性允许无缝集成结构化和非结构化数据,而不受刚性模式约束

  • 基本功能:每个组件都直接为 AI 启用的保险运营的商业价值做出贡献

  • 坚固的基础:安全性、可扩展性和性能特性处理实时 AI 处理的严格要求

  • 简化复杂性:更少的对象和组件创建更易于维护和高效的系统

图片

图 14.12:AI 驱动架构

此图展示了 AI 驱动架构,该架构将核心企业实体(客户、提交、政策和索赔)整合到一个统一的平台,支持 API、事件、流处理、向量搜索和文本搜索功能。该架构使 AI 代理、智能应用和供应商/SaaS 解决方案能够在简化复杂性的基础设施上无缝运行,该基础设施从底层设计就是为了预测和启用 AI 功能,而不是对旧系统进行改造。

通过从一开始就考虑 AI 功能来设计系统,保险公司可以避免改造挑战,并迅速采用新出现的 AI 功能,在日益以 AI 驱动的行业中保持竞争优势。

核保和风险管理

在保险行业内部,没有哪个角色比核保人更重要,他们需要在利润和风险之间取得平衡,将现实世界的变量带入精算模型,并帮助引导产品组合、市场、定价和承保。在风险敞口和保费之间实现平衡需要不断从多个来源收集和分析信息,以构建全面的风险档案。

虽然许多已建立的保险公司可以访问大量的历史承保和索赔数据,但在整合新的实时数据源、跟上监管变化以及模拟假设风险场景方面仍然存在挑战,这些任务仍然需要大量的手动工作。

高级分析

传统的 IT 系统在响应不断变化的数据格式和需求方面反应缓慢。通常,总结数据和将其转化为可操作信息和洞察的责任落在承保人身上。

LLMs 现在正被用于以下方面:

  • 加快数据源整理和总结

  • 帮助承保团队做出更快的决策

  • 减少数据解释所需的手动工作量

通过这样做,AI 模型正在帮助管理季节性需求、市场变化和员工可用性对承保团队工作量和生产率的影响。这为需要真正专业知识的价值账户节省了承保时间。

传统的人工智能模型已经在以下方面在分类和分级风险中扮演着重要的角色:

  • 将非常低风险的政策发送到无接触的自动化工作流程

  • 将低至中等风险的政策路由到受过培训的服务中心工作人员

  • 将高风险和高价值账户定向到专门的承保人

除了分级之外,承保人面临的另一个挑战在于费率调整和政策续保,这占据了承保人日常职责的大部分,并需要大量的时间和手动工作。利用 AI 的自动化承保工作流程可以以远少于手动工作的方式分析和分类风险,从而节省大量时间和智力资本。

一个集成的数据存储库提供了无与伦比的能力,可以存储来自大量来源和格式的数据,并快速响应对新数据摄入的请求。随着数据和需求的变化,文档模型允许保险公司简单地添加更多数据和字段,而无需与刚性数据库结构相关的昂贵变更周期。

www.mongodb.com/solutions/solutions-library/machine-learning-underwriting-solution了解更多关于使用机器学习自动化数字承保的信息。

索赔处理

对于保险公司来说,高效的索赔处理至关重要。在整个过程中及时解决和良好的沟通是维护积极关系和客户满意度的关键。此外,保险公司必须根据司法管辖区的规定支付和处理索赔,这可能包括对特定时间表的违规行为的处罚。

准确处理索赔需要分析大量信息。典型的汽车事故可能包括索赔人和评估人的口头和书面描述,以及来自警察报告、交通和车辆仪表盘摄像头、照片和车辆遥测数据的非结构化内容。

人工智能正在帮助保险公司更快、实时地理解数据。从自然语言处理到图像分类和向量嵌入,所有这些组件现在都可供保险公司使用,以在转型其 IT 系统和业务工作流程方面实现一代人的飞跃。

通过交叉引用实时和历史索赔经验数据,现在可以以更少的时间和更高的准确性生成对灾难性事件的准确影响评估,这得益于生成式人工智能和非结构化数据的向量嵌入。

通过从照片、文本和语音来源使用向量嵌入,保险公司现在可以增强索赔的元数据,使他们能够更快地完成以下任务:

  • 分类和分诊索赔

  • 将工作分配给适当的专家

  • 根据实时工作负载和员工可用性进行指导性工作分配

索赔细节并不总是清晰明了,各方并不总是以诚信行事。人工智能正在帮助保险公司更快地推动解决方案,甚至通过其分析更多数据更有效、更快速的能力来避免诉讼。

许多保险公司使用无人机、传感器或摄像头来捕捉和分析数据,提供风险评估服务。这些数据有望完全防止损失,降低风险敞口、责任和费用。这可以通过结合向量嵌入与传统和生成式人工智能(GenAI)模型来实现。

客户体验

在客户服务互动中持续访问信息,同时期望代表能够快速解释它,这始终是一个挑战。保险信息的数量、种类和复杂性使这一挑战尤为突出,推动了在客户体验转型方面的巨额投资:

  • 全天候虚拟助手:基于人工智能的聊天代理可以释放呼叫中心员工的时间,让他们处理更复杂、更需要人际互动的案件。得益于向量嵌入的内容和大型语言模型(LLM),处理日常咨询现在可以扩展到更复杂的场景。

  • 索赔协助:生成式人工智能可以实时向员工提供具体的索赔处理指南,而传统的机器学习模型可以查询实时信息流,提醒客户或索赔处理人员注意质量、内容或合规性问题。这些能力使保险公司能够更快地处理更多索赔,同时显著减少错误。

  • 客户画像:每一次互动都是了解客户更多信息的机遇。语音到文本流、向量嵌入和生成式人工智能等技术帮助保险公司几乎实时地构建更稳健的客户画像。

根据反保险欺诈联盟的数据,2022 年美国保险业因欺诈损失超过 3080 亿美元 [1]。通过非结构化数据源的向量嵌入、跨向量和结构化元数据的语义相似性搜索以及传统的机器学习模型,保险公司可以以以前从未可能的方式检测和预防欺诈。

虽然这些 AI 功能具有巨大的潜力,但保险公司的高管需要具体证据来证明类似组织已成功实施这些技术并取得了可衡量的成果。只有当有现实世界的实施案例支持时,AI 的理论优势才会变得有说服力,这些案例展示了明确的投资回报和运营改进。

以下示例展示了保险公司和相关行业如何从实验阶段发展到生产规模的 AI 部署。它们提供了实施的实际蓝图和可量化的商业成果。

针对特定领域的 AI 的实际应用示例

为了使早期概念变得生动,让我们看看特定领域的 AI 如何已经在保险行业产生了可衡量的影响。这些现实世界的例子展示了保险公司如何将 AI 应用于解决承保、风险评估和合规方面的复杂问题,将实时数据分析等先进技术转化为实际的商业成果。

人工智能驱动的风险智能平台通过人工智能和 MongoDB Atlas 改变保险承保,通过 30%的成本削减

一个由人工智能驱动的风险智能平台通过使用人工智能为保险公司和承保人提供关于个人和企业的实时洞察,帮助他们建立对承保决策的信心。由 MongoDB Atlas 提供支持,该平台分析大量公共数据以识别保险承保的风险和机会,提供对保单持有人关系和潜在欺诈指标的全面视图。该平台使保险公司能够简化了解你的客户KYC)流程,并增强复杂商业保单的尽职调查。

为了编辑清晰,此示例已被匿名化。了解更多信息,请参阅:mdb.link/building-trust-with-relationship-intelligence

Spotlight_Icon

领先的 AI 驱动的第三方网络安全风险管理平台通过 AI 加速供应商评估

一个由 AI 驱动的第三方网络风险评估平台使保险公司能够在几分钟内评估网络保险申请并评估保单持有者的安全态势。通过利用 MongoDB Atlas 进行高效的数据存储和检索,这个先进的 AI 平台可以处理大量的网络安全信息,在几分钟内提供可操作的承保见解。这种简化的方法显著减少了政策评估时间,并提高了整体网络保险风险评估的准确性。该平台使用复杂的模型和 RAG 技术为网络保险承保人提供高度准确和上下文相关的情报。这不仅加速了政策批准决策,还确保保险公司拥有最精确的网络风险评估,以进行保费定价。从分析中生成的风险评估比手动承保方法快 80%,且准确性不受损失。此示例已被匿名化以提高编辑清晰度。了解更多信息,请参阅:mdb.link/transforming-cyber-risk-intelligence

Spotlight_Icon.png

这些现实世界的示例展示了保险和相关行业如何从 AI 实施中获得显著的商业价值。通过研究这些成功案例,保险公司可以识别出可能适用于他们自己的承保挑战和风险评估流程的模式和方法。

保险领域的实用 AI 用例

在探讨了 AI 实施的结构基础和战略方法之后,让我们来考察一些具体示例,这些示例展示了这些概念在实际中的应用。以下用例展示了保险公司如何应用 AI 技术来解决特定的业务挑战,提供可以指导整个行业类似实施的实用蓝图。

使用 LLMs 和向量搜索进行 RAG 的索赔管理

通过将索赔数据转换为向量嵌入,MongoDB 的 Atlas Vector Search 加速了信息检索,使其更快、更容易找到相关细节。LLMs 随后分析这些嵌入以提取有价值的见解和上下文,优化索赔处理。这种结合方法提高了准确性、效率和整体索赔管理。

B34136_14_13.png

图 14.13:Atlas Vector Search 为用户关于保险索赔的问题提供答案,包括计算和详细的索赔示例

此界面展示了 MongoDB 的 Atlas Vector Search 如何使保险索赔数据的自然语言查询成为可能。用户可以提出诸如“对于与恶劣天气相关的索赔,平均损失金额是多少?”等问题,并收到包含支持性索赔示例、照片和详细损失信息的上下文答案。该系统结合向量嵌入和 LLMs(大型语言模型)来提供针对索赔分析和管理的准确、基于证据的响应。

更多信息请访问:www.mongodb.com/solutions/solutions-library/claim-management-llms-vector-search.

增强型汽车保险索赔调整

通过利用人工智能和矢量图像搜索,此解决方案自动化了汽车保险索赔调整。事故照片与历史索赔数据库中的数据库进行比较,显著加快了损失估计的速度,同时在整个索赔过程中保持一致性。

图 14.14:使用矢量图像搜索增强的汽车保险索赔调整

此图展示了自动化索赔调整系统,其中事故照片通过嵌入模型处理以创建向量表示,然后与 MongoDB Atlas 中的向量化图像集合进行搜索。系统执行相似度匹配,返回来自历史索赔的最相似的 5 个损失图像,从而实现快速且一致的损失评估。

更多信息请访问:www.mongodb.com/docs/atlas/architecture/current/solutions-library/insurance-image-search/.

基于矢量搜索和 LLMs 的 PDF 搜索应用程序

传统的 PDF 文件难以搜索,这使得保险工作人员难以快速找到信息。此解决方案使用 Superduper 等工具将 PDF 文件转换为可搜索的格式,使用户能够快速检索信息并简化保险工作流程。

图 14.15:使用矢量搜索和 LLMs 的 PDF 搜索应用程序管道

此工作流程图展示了通过五个阶段将 PDF 文件转换为可搜索内容的流程:数据加载、父块分割、子块分割、使用嵌入模型进行向量化,以及在数据库中存储。系统将 PDF 文档分解为分层块,为语义搜索创建向量嵌入,并存储父文档和子文档结构,以实现高效的检索和 LLM 驱动的搜索功能。

更多信息请访问:www.mongodb.com/docs/atlas/architecture/current/solutions-library/pdf-search/.

保险领域人工智能的未来

随着人工智能技术的不断成熟,我们看到了其应用范围扩展到新的和创新的使用案例,而不仅仅是当前的实现:

客户参与预测分析

基于历史数据和趋势,人工智能驱动的预测分析可以预测客户的需求、偏好和行为。通过利用预测模型,保险公司可以识别风险客户,预测客户流失,并主动与客户互动,预防问题并提高满意度。

这些能力使客户参与从被动转向主动,提高客户保留率、增加终身价值,并使客户服务资源的分配更加高效。

作物保险和精准农业

AI 正在农业保险中用于评估作物健康、预测产量以及减轻与天气事件和作物疾病相关的风险。通过结合卫星图像、天气数据、土壤传感器和历史产量信息,AI 系统可以在田地级别提供细粒度的风险评估,使保险公司能够提供反映每个农业经营特定风险特征的定制政策。

财产保险的预测性维护

利用安装在建筑和基础设施中的物联网IoT)传感器提供的 AI 驱动的预测性维护解决方案,正在财产保险中用于防止损失并最小化保险财产的损害。这些系统可以在设备故障、水泄漏和电气问题造成重大损害之前检测到早期预警信号。

商用车队基于使用情况的保险(UBI)

商用车辆中安装的 AI 赋能远程信息处理设备收集驾驶行为数据,包括速度、加速度、制动和位置。机器学习算法分析这些数据以评估风险并确定保险费率,这代表了从静态风险评估到基于实际驾驶行为的动态定价的根本转变。

今天建立强大 AI 基础的保险公司将能够充分利用这些新兴机会。最成功的组织将把 AI 视为不仅仅是独立的技术项目,而是一种基本能力,它改变了他们的运营方式、客户服务和风险管理。

想要了解更多信息和资源,请访问 MongoDB for Insurance 页面:www.mongodb.com/solutions/industries/insurance

摘要

在本章中,我们探讨了保险行业内 AI 的战略整合,以推动有意义的业务成果。它追溯了数据架构从遗留系统到基于统一数据存储的 AI 就绪基础设施的演变,突出了 AI 在数据处理方面的潜力,特别是在管理索赔管理中的非结构化数据。

本章涵盖了从传统机器学习到生成式和基于代理的系统等一系列人工智能技术,展示了它们如何增强决策能力、自动化流程,并在承保、索赔和客户体验方面提高效率。它证明了成功的 AI 实施需要首先理解业务流程,认识到结构化和非结构化数据之间的相互作用,并在统一的数据存储方法中围绕根本领域实体进行设计。最重要的是,组织必须专注于通过业务应用来创造价值,而不是孤立的 AI 实验,以超越实验,真正通过可衡量的商业价值来转型运营。

以下章节从战略概述转向了专注的实施,探讨了这些架构原则如何在实践中应用,将承保流程从长达数周的报价周期转变为实时决策。它概述了一个 10 步骤的 AI 管道,自动化承保工作流程,并展示了业务影响指标,表明周转时间、成本效率和承保能力有了重大改进。

参考文献

  1. 保险欺诈联盟insurancefraud.org

第十五章:使用 Fireworks AI 和 MongoDB 自动化保险承保

虽然上一章探讨了人工智能应用如何改变保险行业,从数据架构的演变到智能商业应用,但本章则考察了一个具体且影响深远的应用实例,展示了人工智能如何通过自动化革命性地改变核心保险操作。承保过程,传统上是商业保险中最耗时和劳动密集型的方面之一,展示了之前讨论的 AI 就绪数据架构和智能代理如何通过自动化提供即时的、可衡量的业务价值,同时保持准确性并显著提高速度。

考虑这个假设场景:下午 2:47,一位经纪人发送了一份价值 1500 万美元的建筑公司的报价请求。到下午 2:53,一份全面的报价和完整的承保分析已经到达他们的收件箱。这六分钟的周转时间代表了从传统报价周期到实时处理的根本转变,展示了之前章节中涵盖的架构原则和 AI 能力的实际应用。

到本章结束时,你将清楚地了解以下内容:

  • 使实时保险自动化成为可能的技術架构,结合 Fireworks AI 的推理能力与 MongoDB Atlas 的智能文档存储和检索系统

  • 完整的 10 步 AI 流程,将非结构化经纪人电子邮件转换为结构化报价,从电子邮件解析到风险评估再到最终报价生成

  • 如何通过 RAG 原则确保 AI 决策基于权威的承保文件,同时保持合规性和准确性标准

  • 生产级实现细节,包括向量搜索架构、结构化输出生成以及使 30 分钟内报价经济可行的成本效益扩展策略

  • 实际应用案例,展示了系统如何处理实际的报价请求,从初始电子邮件解析到最终报价交付,并包含完整的审计跟踪

  • 保险行业转型的更广泛影响,包括对承保人、经纪人和承运人的影响,这些影响超越了简单的流程自动化,到根本性的商业模式演变

理解速度的重要性

在商业保险中,时间就是一切。当经纪人提交一份新的商业保单的报价请求时,他们在高度竞争的市场中与时间赛跑,最快响应往往赢得交易。这种现实创造了一个行业悖论,即速度决定成功,但推动业务的基本流程仍然顽固地锚定在过时的方法中,这些方法优先考虑彻底性而不是敏捷性。

人工智能将标准保单的平均核保决策时间从 3-5 天缩短到 12.4 分钟,同时保持 99.3%的准确率[1]。然而,许多保险公司仍在使用手动流程运营,这导致它们在竞争中处于劣势,因为 InsurTech 公司通过简化和自动化操作获得了业务。

手动核保工作流程包含系统性的低效率,其中核保人员的大部分时间都花在手动数据处理上。这个过程涉及邮件混乱、非结构化沟通、通过碎片化系统查找文档、在多个费率表中进行手动计算,以及创建瓶颈的审批层级。这些低效率导致每天每个核保人员仅处理 2-3 个报价,准确性可变,且指导原则应用不一致。

破碎的工作流程

今天的核保流程是一个低效率的案例研究,涉及八个脱节的步骤,将本应几分钟的工作转变为数周延误:

  1. 邮件混乱:经纪人发送非结构化邮件,客户详情隐藏在段落中。信息以不一致的格式到达,通常缺少关键的核保数据。

  2. 手动数据录入:核保人员手动提取公司名称、行业分类、收入数据和承保限额,常常引入转录错误,影响最终报价。

  3. 文档搜索:这涉及在多个系统、不一致的组织中搜索存储的多个 PDF 手册、费率表和指南。

  4. 碎片化分析:风险评估涉及检查多个数据库和孤岛系统中的历史数据,这些系统之间不进行沟通。

  5. 手动计算:这涉及参考各种费率表并应用多个修正因子,这是一个耗时且易出错的流程。

  6. 审查瓶颈:复杂案例需要多个审批级别,通常涉及可能无法立即到场的资深核保人。

  7. 响应生成:这包括从头开始编写报价回复邮件,用经纪人友好的语言解释复杂术语。

  8. 跟进混乱:这包括手动管理多个报价版本、跟踪截止日期和经纪人沟通。

结果是每个核保人员每天处理 2 个或 3 个报价,错误率很高,质量不一致。

视野

基于第十四章中讨论的 AI 就绪数据架构,在保险中用 AI 创造商业价值,这个核保解决方案展示了如何将汇聚数据存储原则应用于解决一个关键业务问题:将长达数周的报价流程转变为实时决策。

我们将探讨使用Fireworks AI的实用实现,这是一个针对快速、成本效益高的大型语言模型LLM)部署进行优化的高性能推理平台,以及 MongoDB Atlas 的面向文档的数据库,该数据库内置向量搜索功能。这种组合实现了语义理解和实时处理,这对于智能自动化至关重要。

考虑以下适用系统的情况:

  • 非结构化经纪人邮件会立即解析并理解

  • 相关的承保指南会自动检索并应用

  • 风险评估会生成完整的引用轨迹

  • 报价生成的准确性等同于经验丰富的承保人

  • 整个过程是可审计的且符合规范

我们将首先概述该系统的关键概念,然后通过一个实际、真实世界的例子来展示系统的实际实施情况以及其组件如何交互。

设置核心技术组件

Fireworks AI 提供了驱动系统 NLP 的高性能推理引擎。Llama 3.3 70B 模型处理非结构化经纪人通信并生成结构化输出。模型选择标准包括推理速度、在提取任务上的准确性和生产规模化的成本效率。

如前所述,MongoDB Atlas 提供了一个面向文档的数据库,内置向量搜索功能,这使语义文档检索成为可能。对于承保而言,这意味着使用向量嵌入存储政策文档、评级手册和监管指南,以便在报价处理过程中进行上下文感知的信息访问。

文档架构

MongoDB 集合存储各种类型的承保知识,例如政策信息、评级手册和监管指南。这些知识被转换为向量嵌入,这使后续使用 RAG 进行快速语义搜索成为可能。

系统的智能依赖于复杂的语义搜索实现:

# Assemble vector-search pipeline
pipeline = [
    {
        "$vectorSearch": {
            "queryVector": query_embedding,   # the user's embedding
            "path": vector_field,             # field that stores each doc's embedding
            "numCandidates": limit * 10,      # oversampling for recall
            "limit": limit,                   # top-k to return
            "index": "vector_index"           # name of Atlas search index
        }
    }
]
# Execute search and fetch results
results = list(collection.aggregate(pipeline)) 

为了检索最相关的文档,该管道将查询嵌入与存储在vector_index中的每个嵌入进行比较,根据相似度分数对候选者进行排名,并返回得分最高的匹配项(或如果请求多个结果,则返回前-k个)。

以下图表展示了完整的 AI 驱动承保系统架构,展示了 Fireworks AI 如何处理经纪人邮件,同时 MongoDB Atlas 在承保文档中提供语义搜索:

图 15.1:保险承保系统架构

该系统包括一个保险经纪人邮箱发送报价请求,该邮箱连接到保险邮箱自动化系统。系统连接到 MongoDB 进行中央存储(文档嵌入、邮件处理信息)和 Fireworks AI 进行LLM 服务(嵌入搜索查询和文档)。承保人审查并批准决策,并通过连接到SERP API获取额外的数据源。

10 步 AI 流程:从电子邮件到报价

处理管道通过 10 个智能步骤将非结构化电子邮件转换为结构化报价,每个步骤都由 Fireworks-MongoDB 组合提供动力:

  1. 智能电子邮件信息提取: 当经纪人的电子邮件进入系统时,旅程开始。使用 Fireworks 的自然语言理解,平台从非结构化文本中提取结构化信息:

    # Email extraction using structured output
    email_info = pipeline.extract_email_info(email_content)
    # Returns: {
    #   "client_name": "ABC Construction Corp",
    #   "industry": "Commercial Construction", 
    #   "coverage_requested": {
    #     "type": "General Liability",
    #     "limits": "$2M/$4M"
    #   },
    #   "annual_revenue": 15000000,
    #   "employee_count": 85
    # } 
    
  2. 自动化行业分类: 一旦收集了公司详细信息,系统通过查询 MongoDB 的行业分类文档来确定精确的业务行业分类BIC)代码:

    # Semantic search for industry classification
    industry_results = vector_search(
        query=f"Industry classification for {company_industry}",
        collection="bic_codes"
    )
    bic_code = llm_client.classify_industry(industry_results, company_description) 
    
  3. 基础费率发现: 确定了 BIC 代码后,它从存储在 MongoDB 中的评级手册中检索行业特定的基础费率:

    # Vector search for base rates
    base_rate_docs = vector_search(
        query=f"Base rates for BIC code {bic_code}",
        collection="rating_manuals",
        filters={"document_type": "base_rates"}
    ) 
    

剩余步骤展示了 AI 推理和文档检索之间复杂的交互。

  1. 收入估算: 当未提供收入时,AI 驱动的承保自动化系统会根据行业标准、公司规模和其他可用数据点尝试估算收入。然而,由于从有限的数据中预测公司财务的固有不确定性,收入估算会被标记为需要承保人审查。

  2. 基础保费计算: 在行业分类(BIC 代码)、基础费率和收入确定后,系统通过将检索到的费率应用于公司的年度收入来计算基础保费。

  3. 保费调整因子: 通过查询调整因子表并让 Fireworks 推理其适用性来应用风险因素。

  4. 权限检查: 系统通过将覆盖限额与权限矩阵交叉引用来确定审批要求。

  5. 覆盖分析: 通过对覆盖指南的语义搜索确定推荐的批注和限制。

  6. 风险评估: 集成外部数据源以提供全面的风险概览。

  7. 回复邮件: 系统生成专业、经纪人友好的报价邮件,包含全面的覆盖细节、保费分解和清晰的承保解释。

图片

图 15.2:AI 驱动的保险报价生成流程

此流程图展示了将非结构化电子邮件咨询转换为结构化保险报价的 10 步自动化流程。

RAG 优势

以下步骤和代码展示了完整的 RAG 工作流程。它首先使用向量相似度搜索定位最相关的承保文档,将其内容作为可信上下文串联到提示中,然后指示模型返回一个经过模式验证的 JSON 答案:

  1. 获取与用户提示最相关的源文档:

    relevant_docs = self.retrieve_relevant_documents(prompt, limit=max_documents) 
    
  2. 将它们的内容串联成一个单一上下文块:

    doc_content = "\n\n".join(
        f"Document: {d.get('name','')}\n{d.get('content','')}" for d in relevant_docs
    ) 
    
  3. 构建一个嵌入用户问题的上下文增强提示:

    augmented_prompt = f"""Use the following documents as reference.
    Documents:
    {doc_content}
    Question/Task:
    {prompt}
    """ 
    
  4. 向 LLM 请求符合预定义模式的结构化 JSON 答案:

    response = self.client.chat.completions.create(
        model=self.model,
        messages=[{"role": "user", "content": augmented_prompt}],
        response_format={"type": "json_object",
                         "schema": schema_model.model_json_schema()}
    ) 
    
  5. 解析并返回模型输出:

    return json.loads(response.choices[0].message.content) 
    

首先检索相关文档,然后直接注入到提示中,这样模型在形成回复时必须引用它们。

在下一节中,我们将看到 MongoDB 如何提供完美的基础设施。

使用 MongoDB Atlas 构建现代数据库基础设施

在此系统中,MongoDB Atlas 被用作面向文档的数据存储库,支持上下文感知检索并支持实时 AI 驱动的流程。

系统智能的基础在于 MongoDB Atlas 的向量搜索功能。我们通过 Fireworks 使用 Nomic AI 嵌入策略实现了复杂的嵌入策略:

def generate_embeddings(self, input_texts: List[str], prefix: str = "") -> List[float]:
        """Generate embeddings from Fireworks python library"""
        start_time = time.time()

        if prefix:
            input_texts = [prefix + text for text in input_texts]

        response = self.client.embeddings.create(
            input=input_texts,
            model=self.embedding_model,
        )

        return response.data[0].embedding 

此代码演示了系统如何将文本转换为可搜索的向量。在设置过程中,每个承保文档、费率手册和政策指南都通过此嵌入函数进行处理,创建一个语义搜索索引,使 AI 能够根据意义而不是精确的单词匹配来查找相关信息。当收到报价请求时,用户查询会经过相同的嵌入过程以找到最适用的承保规则。

推理层实现:Fireworks AI

Fireworks AI 被选为推理引擎,基于其性能。它通过其 FireOptimizer 适应引擎运行推理层,该引擎为每个工作负载自动调整硬件映射、量化以及自适应推测执行。这种方法在生产测试中实现了高达 3 倍的生成延迟降低和大约 4 倍的每令牌成本节省,而像 Cursor 这样的客户通过一键部署确认了 2 倍的速度提升,这证明了该平台满足承保流程严格的延迟和预算要求。

Fireworks 的 JSON 模式确保语言模型生成机器可读的输出,消除了对额外解析的需求:

# Guaranteed structured output
response = self.client.chat.completions.create(
    model="accounts/fireworks/models/llama-v3p3-70b-instruct",
    messages=[{"role": "user", "content": prompt}],
    response_format={"type": "json_object"},
    temperature=0.1  # Low temperature for consistent outputs
) 

使用 Fireworks 的 JSON 响应模式迫使模型输出严格的、机器可读的对象,这样下游服务就可以在不进行脆弱的后处理的情况下消费数据。由于 JSON 是一种通用的交换格式,输出可以直接集成到现有的管道和 API 中,让开发者以最少的粘合代码将 AI 功能集成到生产系统中。

Fireworks 的定价模型允许组织以经济的方式处理大量报价:

  • 令牌效率:优化的提示减少了 40% 的令牌使用量

  • 批量处理:后台处理报价降低每请求成本

  • 智能缓存:缓存常见行业模式以减少重复推理

这些成本优化共同使得保险公司能够在不产生相应成本增加的情况下实现前所未有的规模。系统效率的提高意味着每天处理 1,000 个报价的成本与处理 100 个报价的成本大致相同,这为自动化提供了一个有说服力的经济案例,将承保从成本中心转变为竞争优势。

探索结果

这一实施展示了承保操作中可衡量的变化,特别是在处理速度、可扩展性和成本效率方面。

定量影响

自动化显著改变了承保工作流程的操作基准。以下指标比较了传统手动流程与 AI 辅助实施观察到的结果:

| 度量标准 | 手动处理前 | AI 赋能后 | 改进 |

| --- | --- | --- | --- |

| 平均报价周转时间 | 20–30 天 | 15–30 分钟 | 快 98% |

| 每日报价容量 | 5–10 份报价/承保人 | 千份报价/系统 | 增加 100–1,000 倍 |

| 每份报价的处理成本 | $125(人工+管理费) | $12(计算+管理费) | 减少 90% |

| 高风险检测率 | 60%(手动审查) | 89%(AI 标记) | 增加 29 个百分点 |

| 合规一致性 | 可变 | 100%(标准化) | 消除了差异 |

表 15.1:定量影响比较 – 手动与 AI 赋能的承保性能指标

数据揭示了根本性的转变。98%的速度提升与 100–1,000 倍的容量增加表明,自动化使业务能力发生了质的飞跃,而 90%的成本降低和改进的准确性指标显示,这一转变既具有经济上的吸引力,又具有操作上的优越性。

定性转变

除了数字之外,这个平台本身已经改变了承保职业本身。

对于承保人来说,该平台通过让他们从重复的数据录入任务中解放出来,从根本上提升了他们的角色,使他们能够将专业知识集中在复杂的风险分析和战略决策上。AI 提供全面的风险评估报告和支撑文件,使承保人能够做出更加明智和自信的承保决策。系统会持续从承保人的反馈中学习,随着时间的推移不断改进其推荐,并创建一个协作的人机伙伴关系。

经纪人通过实时状态更新和快速报价响应立即获得好处,这些响应符合现代客户的期望。对承保决策和推理的全面了解有助于经纪人通过提供对覆盖建议和定价理由的明确解释来更好地服务客户。最重要的是,更快的报价周转时间使经纪人在赢得新业务方面具有显著的竞争优势。

保险公司通过能够立即响应新机会的能力获得了前所未有的市场敏捷性,而不是受到处理瓶颈的限制。系统的可扩展性允许承保人处理季节性高峰和市场波动,而无需雇佣额外人员,而标准化的承保流程降低了监管风险并确保所有决策中指南的一致应用。

既然我们已经清楚地了解了这些好处,让我们更深入地了解一下它是如何运作的。

深入技术创新

让我们深入探讨 Fireworks 和 MongoDB 实现为何成为一个如此创新解决方案的原因。

量产级 RAG 实现

RAG 系统代表了高级 AI 技术的成熟实现:

图 15.3:量产级 RAG 实现工作流程

RAG 系统是一个强大且成熟的尖端 AI 方法实现。这个系统经过精心设计,旨在解决独立 LLMs 的局限性,通过无缝集成信息检索机制和强大的文本生成模块。这种架构允许模型实时访问并整合来自外部知识源的相关信息,从而产生更准确、上下文丰富和有信息量的生成响应。

我们 RAG 实现的核心组件包括一个高度高效的文档索引和检索管道,以及一个针对整合检索信息而微调的复杂生成模型。检索组件旨在速度和准确性,能够高效地搜索大量文档,并识别给定查询的最相关信息。这涉及到高级的语义理解和向量嵌入技术,以捕捉查询和文档的潜在含义。

一旦检索到相关信息,它将被仔细注入提供给生成模型的提示中。这个过程确保模型能够访问必要的上下文,以生成一个信息丰富且基于事实的响应。生成模块利用最先进的 transformer 架构,并专门训练以有效地利用检索到的信息,避免常见的陷阱,如忽略上下文或生成相互矛盾的陈述。

通过结合信息检索和 GenAI 的优势,这个量产级 RAG 系统在传统 LLMs 之上提供了显著的优势。它提高了生成文本的准确性和事实正确性,减少了幻觉的可能性,并允许模型提供基于最新和具体信息的响应。这使得它成为广泛应用的强大解决方案,包括问答、内容创作、聊天机器人和知识密集型任务。

现实世界应用:报价请求之旅

让我们跟随一个典型的报价请求通过系统,看看这项技术的实际应用。这个例子展示了章节中先前描述的 10 步 AI 流程中的关键步骤,重点关注最关键的过程,以说明系统如何处理现实世界场景。

让我们从启动整个过程的电子邮件开始:

Subject: Quote Request - ABC Construction Corp
Hi there,
I need a quote for ABC Construction Corp. They're a mid-size commercial 
construction company based in Texas, doing about $15M in annual revenue. 
They need General Liability coverage with $2M/$4M limits, plus Auto 
Liability for their fleet of 25 vehicles.
The company has been in business for 12 years, 85 employees. They've had 
two small workers comp claims in the past 3 years but nothing major. 
They're looking for coverage to start March 1st.
This is somewhat urgent; they're shopping around and want to make a 
decision by end of week.
Thanks,
Sarah Johnson
ABC Insurance Brokerage 

这封电子邮件包含了 AI 系统生成准确报价所需的所有基本数据点,尽管它们嵌入在自然、对话性的语言中。注意电子邮件如何清楚地说明公司的年收入($15M)、员工人数(85)、具体的承保需求(一般责任保险,2M/4M 限额,加上汽车责任保险)和车队规模(25 辆车)。AI 还将提取关键风险指标,如公司的 12 年运营历史和损失经验(两个小型工人赔偿索赔),以及运营细节,如德克萨斯州的地理位置和 3 月 1 日的生效日期。甚至细微的提示,如决策时间表的有些紧急本周末,也有助于系统适当地优先处理此请求。

现在,我们将按照 Fireworks 和 MongoDB 的逐步处理过程来查看 AI 如何将这份非结构化电子邮件转换为可操作的承保数据,使用我们之前概述的相同管道步骤:

  1. 智能电子邮件信息提取:自然语言处理(NLP)从非结构化的经纪人通讯中提取结构化信息,以高精度识别客户详情、承保需求和紧急指示。在 Sarah 的邮件中,AI 识别出ABC Construction Corp作为客户名称,将$15M 的年收入解析为数值,并从诸如“一般责任保险,2M/4M 限额,加上 25 辆车的汽车责任保险”之类的短语中提取具体的承保需求:

    # Fireworks extracts structured data
    extracted_info = {
        "client_name": "ABC Construction Corp",
        "industry": "Commercial Construction",
        "annual_revenue": 15000000,
        "employee_count": 85,
        "coverage_requested": {
            "type": "General Liability + Auto Liability",
            "limits": "$2M/$4M"
        },
        "fleet_size": 25,
        "urgency": "urgent",
        "loss_history": "Two small workers comp claims in past 3 years",
        "broker_contact": {
            "name": "Sarah Johnson",
            "brokerage": "ABC Insurance Brokerage"
        }
    } 
    
  2. 自动化行业分类:通过 BIC 代码数据库进行语义搜索(向量搜索),通过将公司描述与标准分类系统相匹配来确定精确的行业分类:

    # MongoDB vector search finds relevant BIC codes
    industry_docs = vector_search(
        query="Commercial construction company building contractor",
        collection="bic_codes"
    )
    # Returns: BIC Code 44 - Construction/Contracting 
    
  3. 基础费率发现:向量搜索从评级手册中检索行业特定的基础费率,确保基于既定的承保指南的准确基础定价。使用确定的 BIC 代码44(建筑行业),系统检索适用于 ABC Construction Corp 的一般责任保险的特定基础费率,即每$1,000 收入$8.50:

    # Retrieve construction industry base rates
    rate_docs = vector_search(
        query="Base rates BIC 44 construction general liability",
        collection="rating_manuals"
    )
    # Returns: $8.50 per $1000 of revenue for construction GL 
    
  4. 风险评估:它通过文档检索和 AI 推理分析风险因素。AI 特别处理了 Sarah 提到的过去 3 年中的两个小型工人赔偿索赔和公司的 12 年运营历史,以确定风险调整因子:

    # Vector search for construction risk factors
    risk_docs = vector_search(
        query="Construction company risk factors workers comp claims",
        collection="underwriting_guidelines"
    )
    # AI analyzes: Previous claims suggest 15% modifier increase 
    
  5. 响应电子邮件/报价生成:最后一步是生成一份包含完整文档和专业格式的综合报价。最终的报价直接针对 Sarah 的时间表(本周末)并整合了她邮件中的所有具体细节(3 月 1 日的开始日期、请求的确切承保限额和车队规模)到一个专业的回复中:

    Subject: Quote for ABC Construction Corp - General Liability Coverage
    Dear Sarah,
    Thank you for your quote request for ABC Construction Corp. We're pleased to provide the following quote:
    **Coverage Summary:**
    - General Liability: $2,000,000 / $4,000,000
    - Auto Liability: $1,000,000 Combined Single Limit
    - Effective Date: March 1, 2024
    **Premium Calculation:**
    - Base Premium (GL): $127,500 
      (Based on $15M revenue × $8.50 per $1000 - BIC Code 44)
    - Loss History Modifier: +15% ($19,125)
    - Auto Liability Premium: $18,750 (25 vehicles × $750 base rate)
    - **Total Annual Premium: $165,375**
    **Underwriting Notes:**
    - Previous workers compensation claims reviewed and factored into pricing
    - Construction operations fall within our standard appetite
    - No additional endorsements required for this risk profile
    This quote is valid for 30 days. Please let me know if you need any 
    modifications or have questions.
    Best regards,
    Automated Underwriting System 
    

这完成了自动核保过程,从 Sarah 的初始电子邮件到一份全面、专业的报价,准备交付。传统上需要几天或几周的手动工作,现在在不到 6 分钟内完成,展示了 AI 驱动自动化在保险运营中的变革力量。

整个过程在以下技术指标下完成,耗时不到 6 分钟:

  • MongoDB 查询:8 个向量搜索

  • Fireworks API 调用:10 个完成请求

  • 平均每个查询使用的令牌数:15,847(输入:9,234;输出:6,613)

  • 向量搜索准确性:平均 94%的相关性评分

  • 生成的引用:23 个支持性文件引用

总结来说,一个曾经需要大量手动努力的过程现在以前所未有的速度和精度执行,提供了准确性、效率和可靠性,为现代核保设定了新的标准。

转变日常运营

在此解决方案之前,核保人的一天可能会有所不同。他们之前的日常流程可能如下所示:

  • 上午 8:00:审查 15 个新的电子邮件报价请求

  • 上午 8:30:开始手动录入第一个报价

  • 上午 10:00:搜索评级手册以找到适当的费率

  • 上午 11:30:计算基本保费和调整因子

  • 下午 1:00:午餐休息

  • 下午 2:00:继续进行第二个报价请求

  • 下午 4:00:审查和批准流程

  • 下午 5:30:起草回复电子邮件

这导致每天处理 2-3 个报价。

现在,借助 Fireworks 和 MongoDB,当前的日常流程看起来更像这样:

  • 上午 8:00:审查夜间批次处理的 25 个 AI 处理的报价

  • 上午 8:30:专注于需要人类判断的三个复杂风险

  • 上午 10:00:审查和批准 15 个标准报价(每个 2 分钟)

  • 上午 11:00:对具有挑战性的案例进行深入的风险分析

  • 下午 1:00:午餐休息

  • 下午 2:00:经纪人关系管理和市场分析

  • 下午 4:00:关于新 AI 功能的培训会议

  • 下午 5:00:投资组合管理战略规划

这导致处理了 15+个报价,并完成了战略工作。

这样,一个人的日子可能会发生变化。让我们考虑它对整个行业可能产生的影响。

行业影响和影响

除了量化的改进之外,这个由人工智能驱动的平台从根本上改变了保险专业人士在整个价值链上的日常体验。对于承保人来说,这种变化代表着他们专业角色的全面提升。他们不再需要花费数小时进行重复的数据输入和手动文档搜索,现在可以将专业知识集中在真正需要人类判断的复杂风险评估和战略决策上。人工智能提供了全面的风险评估报告和相应的文件,使承保人能够做出更明智、更有信心的承保决策,同时从反馈中不断学习,随着时间的推移改进建议。这创造了一个人机协作伙伴关系,其中技术放大了人类专业知识,而不是取代它。

经纪人在服务客户和有效竞争的能力上也经历了同样戏剧性的改进。实时状态更新和快速报价响应使他们能够满足现代客户对即时服务的日益增长的需求。系统对承保决策和推理的透明度使经纪人能够提供清晰、详细的保险建议和定价理由解释,通过改善沟通加强客户关系。最重要的是,报价周转时间的显著减少使经纪人在赢得新业务方面获得了显著的竞争优势,因为他们可以在竞争对手仍在收集信息时提供报价。

保险公司从前所未有的运营灵活性和市场响应能力中受益。系统立即处理报价的能力使得保险公司能够迅速响应新的市场机会,避免了传统延迟可能导致的业务损失。可扩展性成为战略优势而非限制,因为保险公司可以处理季节性高峰、灾难性事件和市场波动,而无需承担雇佣额外人员的费用和复杂性。也许最重要的是,标准化的承保流程降低了监管风险,并确保了所有决策中指南的一致应用,提供了运营效率和合规信心。

更广泛的技术采用

这个人工智能驱动的承保解决方案的成功正在整个保险行业产生涟漪效应,推动着多个运营领域的更广泛人工智能应用。索赔处理已成为下一个主要前沿,保险公司正在实施自动索赔评估和结算系统,这些系统能够评估损坏照片、处理文件,甚至在没有人为干预的情况下授权简单索赔的支付。通过人工智能驱动的系统,保单管理正在被改造,这些系统能够实时处理保单变更、续保和修改,大大减轻了保险人和保单持有人的行政负担。客户服务运营越来越多地利用智能聊天机器人和支持自动化,这些系统能够处理复杂查询,引导客户了解保单选项,并以人类水平理解和同理心提供 24/7 的支持。通过先进的模式识别系统,欺诈检测变得更加复杂,这些系统能够通过分析大量数据集中微妙的模式来识别欺诈索赔,而这些模式对于人类审阅者来说是难以发现的。

监管考虑因素

随着人工智能在保险行业的日益普及,监管框架正在迅速演变,以应对新的挑战并确保消费者保护。算法透明度已成为一个关键焦点,监管机构越来越多地要求可解释的人工智能决策,这允许监管机构和消费者理解自动化系统如何得出结论,尤其是在影响覆盖范围和定价的领域。偏见预防已成为一个主要关注点,新的监控要求旨在检测和防止可能不公平影响受保护类别或造成意外覆盖范围获取差异的歧视性定价做法。数据隐私保护得到了显著加强,对客户信息在人工智能系统中收集、存储和使用的要求更加严格,反映了人们对这些系统可以处理的大量个人数据日益增长的担忧。专业责任标准正在被重新定义,以解决人工智能辅助承保的独特挑战,为自动化系统做出影响覆盖范围和索赔的决定时建立新的问责框架。

摘要

我们通过 Fireworks AI 和 MongoDB 实现的转型代表了保险运营的根本性转变,展示了人工智能平台如何在不牺牲准确性和合规性的情况下彻底改变传统流程。我们的实施证明,速度确实是一个竞争优势,将报价周转时间从周缩短到分钟,同时实现了 98%的处理速度提升,90%的成本降低和 100-1000 倍的能力提升。智能自动化、语义搜索和可解释人工智能的结合创造了一个基础,在这里,人类专业知识得到增强而不是被取代,让承保人能够专注于复杂的风险分析和战略决策。

这个平台的成功不仅超越了运营指标,还扩展到了根本性的商业模式演变。通过实现基于全面数据分析的实时承保决策,我们创造了一个将保险行业从被动转变为主动的系统。这里展示的架构原则(面向文档的数据基础、向量搜索能力以及 RAG 驱动的决策制定)为组织提供了一个蓝图,它们可以根据自己的需求进行适应,以推动自身的竞争性转型。

随着时间的推移,这些由人工智能驱动的转型原则正在彻底改变医疗保健的提供方式,其积极影响远远超出了商业指标,对人类健康和福祉的根本性改善。下一章将探讨如何通过融合数据架构和智能自动化解决医疗保健最紧迫的挑战,从提供者倦怠到患者护理协调。

参考文献

  1. 人工智能如何改变保险承保流程biztechmagazine.com/article/2025/03/how-artificial-intelligence-transforming-insurance-underwriting-process

第十六章:医疗保健和生命科学的人工智能驱动转型。

目前医疗保健产生的临床数据比以往任何时候都多,包括电子健康记录EHRs)、可穿戴设备、高级成像和基因组测序。然而,医疗保健专业人员越来越感觉与可操作的见解脱节。这不是技术失败,而是一种碎片化的成功,其中每个系统在单独方面都很出色,但无法和谐地工作,造成了医疗保健的数字债务。当我们急速迈向一个由通用人工智能和自主代理推动的人工智能未来,承诺革命化护理交付时,我们通过创建代理孤岛而风险指数级地加剧了这种碎片化:这些孤岛是脱离完整临床背景独立运作的 AI 系统。

通过 AI 转变医疗保健既代表了我们最大的机遇,也代表了我们最关键的挑战。虽然 AI 代理可以自动化文档、协调护理并提供增强临床专业知识的决策支持,但他们的有效性完全取决于对统一、全面的患者数据的访问。本章探讨了医疗保健组织如何构建智能数据基础,以支持协调的 AI 系统,这些系统可以增强而不是分割临床护理,从反应性的数据考古转向主动的智能激活。

在本章中,你将了解以下内容:

  • 从通用人工智能(GenAI)到自主代理的演变需要统一的数据基础,以防止危险的代理孤岛,这些孤岛在没有完整临床背景的情况下运作。

  • 传统的互操作性解决方案,如卫生七级组织HL7)的快速医疗互操作性资源FHIR)和供应商 API,在人工智能时代的需求面前显得不足,导致合规性缺乏有意义的可访问数据。

  • 基于文档的数据模型提供了将医疗保健标准与 AI 就绪架构相结合的灵活性,同时保持语义完整性。

  • 门面模式允许战略性地使用标准作为接口层,而不强迫内部数据刚性,从而保护组织数据所有权。

  • 多代理架构可以在保持人类监督和监管合规性的同时,在临床工作流程中协调专门的 AI 角色。

  • 未来证明的医疗保健数据基础必须适应新兴的数据类型、AI 能力和监管变化,同时保持临床关系。

理解医疗保健中的 AI 革命。

数字告诉我们一个严峻的故事:医疗保健专业人员现在花在将信息输入电子系统中的时间比直接提供患者护理的时间还要多。这种行政负担影响了提供者的福祉,直接破坏了患者护理质量,并加剧了威胁医疗保健人力资源基础的倦怠症。

但这里是什么使得这个危机特别紧迫:我们即将以指数级的方式加剧它。随着医疗保健机构急于在碎片化的数据基础上实施人工智能解决方案,它们冒着创造我们所说的代理孤岛的风险。这些是具有不完全临床背景的自主人工智能系统,可能会放大危险盲点,同时看似节省时间。每个在孤立数据上训练的人工智能代理都会对其有限的视角充满信心,错过了存在于其他系统中的关键交互和背景。

47 分钟的问题

考虑这个具有代表性的场景,它代表了医疗保健系统中每天数千次发生的事件。莎拉·陈博士是一位儿科专家,正在为复杂的自闭症评估做准备。她花费了 47 分钟在 7 个不同的系统中寻找所需的病人信息,以便进行 15 分钟的咨询。在走廊的另一边,护理协调员玛丽亚从五个不同的数据库中手动编制病人摘要,为明天的多学科团队会议做准备。在急诊室,威廉姆斯医生在三个不同的系统中记录相同的病人信息,以满足各种监管和运营要求。

这种场景每天都在全球医疗保健系统中重复数千次,不仅仅代表操作效率低下;这是一个人类潜能的危机。当熟练的临床医生将他们的专业知识作为数据考古学家而不是患者倡导者时,整个医疗保健生态系统都会受到影响。

这种行政负担推动了医疗保健对变革性解决方案的迫切需求。通用人工智能和自主代理承诺最终实现数字化转型目标,但只有当它们得到深思熟虑的实施时。大型语言模型可以处理非结构化的临床记录,理解医疗背景,并从复杂的患者数据中生成智能见解。人工智能代理可以自动化文档,协调护理,并提供增强临床专业知识的决策支持。

潜在的变革性巨大。风险无法更高。在探讨医疗保健的数据碎片化危机如何与新兴的人工智能能力相交之前,了解人工智能在医疗保健中的演变以及我们的方向至关重要。人工智能领域正在迅速从简单的自动化工具发展到复杂的自主系统,这将从根本上重塑医疗保健的提供方式。

为什么传统解决方案不足

医疗保健在通过互操作性标准如HL7 FHIR、专门的集成平台和供应商特定的 API 解决数据碎片化方面投入了大量资金。虽然这些方法提供了合规性和基本的数据交换,但它们为人工智能时代创造了新的问题:

  • 标准在特定目的上表现出色,但缺乏人工智能应用的灵活性

  • 实施复杂性创造了伪装成互操作性的供应商锁定

  • 组织实现了技术合规性,但没有有意义的数据可访问性

大多数医疗组织依赖于专门、领域驱动的解决方案,这些解决方案在互操作性方面处理得较为表面化。这些黑盒方法在维持合规性的同时创造了新的孤岛,实现了技术互操作性,但没有真正的数据所有权或控制。

同时,仅关注 API 级别的集成限制了组织使用自身数据的能力。当数据所有权位于供应商系统中而不是组织控制之下时,医疗系统无法快速适应新的 AI 能力、变化的法规或不断发展的护理模式。

揭秘 AI 术语

让我们来看看在以医疗为中心的 AI 应用中使用的一些重要术语。虽然你可能熟悉这些概念,但它们在医疗环境中的具体应用和影响值得探讨:

  • GenAI代表了医疗保健领域 AI 采用的当前主流。它作为智能助手,可以执行以下操作:

    • 概括复杂的医学文献和研究结果

    • 生成针对特定条件的患者教育材料

    • 从语音记录或结构化数据创建临床文档

    • 根据患者表现提供鉴别诊断建议

    • 在不同语言和识字水平之间翻译医学信息

GenAI 擅长特定、有界面的任务,但需要人类的指导和监督。一位医生可能会要求 GenAI 系统“总结关于老年糖尿病患者治疗选择的最新研究”,并收到全面、结构良好的回应。然而,医生仍需在特定的临床背景下解释这些信息并做出治疗决策。

  • AI 代理在医疗领域代表了超越通用人工智能(GenAI)的重大进步,它们作为能够独立处理多层任务的自主数字助手。与仅对特定提示做出响应的 GenAI 不同,AI 代理可以规划、执行并调整其行为以实现既定目标。以下是一个例子:

    • 查看患者的完整药物清单,根据患者的医疗史识别潜在的药物相互作用,建议适当的替代方案,并为医生生成新的处方订单以供批准

    • 从连接的设备监控患者生命体征,识别令人担忧的模式,提醒适当的临床人员,并启动基于协议的干预

    • 通过分析预约可用性、患者偏好、临床紧迫性和安排最佳护理顺序来协调多位专家的护理

    • 通过收集必要的临床文件、提交表格和跟进审批来处理保险预先授权请求

关键的区别在于自主性。AI 代理可以在定义的参数内独立运行,做出决策并采取行动,而无需持续的 human intervention。

  • 代理人工智能代表了一种系统架构,它使得多个 AI 代理能够作为一个协调的生态系统共同工作。与使用孤立工具不同,代理人工智能创建了由自主代理组成的互联网络,这些代理能够进行沟通、分享见解并协作完成复杂的医疗目标。考虑一家医院在多个部门实施代理人工智能的情景:

    • 急诊科代理:处理入院患者,根据症状和生命体征进行分类,并启动诊断方案

    • 实验室代理:接收检测订单,根据临床紧急程度进行优先排序,处理结果,并提醒临床医生注意关键值

    • 药房代理:审查药物订单,检查相互作用和过敏反应,管理库存,并与护理协调给药

    • 护理协调代理:监测患者进展,确定出院准备情况,与专家协调,并安排后续护理

当急诊科代理识别出需要紧急手术的患者时,它会自动与实验室代理协调进行术前检查,与药房代理协调药物准备,与护理协调代理协调手术安排和术后规划。

接下来,让我们看看这些工具如何被用来帮助改变医疗保健。

通用人工智能的变革性机遇

市场分析师预计到 2028 年,代理人工智能的采用将显著增长,医疗保健代表了最有意义的机遇之一。来自 NVIDIA 的 Amanda Saunders 观察到以下情况:

“代理人工智能已经正在改变企业,并可能成为一个价值数万亿美元的机会。医疗 IT 领导者应该积极参与学习,了解 AI 代理如何帮助改变药物发现、患者护理、运营以及更多领域的工作。[1]”

尽管代理人工智能在医疗保健领域具有巨大的潜力,但成功的实施需要认识到其能力和局限性。代理人工智能将主要帮助减轻计算工作量和行政任务,但复杂的临床决策仍然需要人类的专家知识和判断。

即使是技术开发者也承认,自主人工智能尚未准备好独立处理护理的关键方面,如开具药物处方、做出诊断决策或管理复杂的患者互动。

医疗保健领导者必须在部署代理系统与维持有意义的团队合作之间找到一个深思熟虑的平衡。目标不是取代临床专业知识,而是放大它,使医疗保健专业人员能够在他们的培训水平上运作,同时人工智能处理常规任务并提供智能支持。

为医疗保健人工智能构建正确的架构

为了有效地实现这种平衡的人机协作,医疗保健组织必须解决一个基本前提:确保人工智能代理能够访问完整的、统一的病人背景。代理人工智能的有效性与它能够访问的数据的质量和全面性直接相关。

这引发了一个重要的战略考虑:在未解决数据碎片化问题的前提下,实施代理人工智能的健康组织可能会实现局部改进,但会错失协调智能护理的变革潜力。关键在于建立数据基础,使人工智能代理能够有效协作,而不是创造孤立的自动化孤岛。

这种架构挑战(从碎片化的数据系统过渡到支持协调人工智能的统一基础)代表了医疗保健领域下一个重大的创新机会。

想象一下用训练于其中七个系统之一的 AI 代理来替代陈医生 47 分钟的数据考古。节省的时间是即时的。盲点是无形的:分析影像数据的人工智能代理可能会错过记录在单独系统中的关键药物相互作用,或者推荐它无法访问的护理计划相矛盾的治疗方案。潜在的危害在无声中扩大。与通常孤立发生的人类错误不同,人工智能代理可以在任何人意识到模式之前,在数千名患者中复制相同的危险盲点。

这代表了医疗保健领域人工智能的核心悖论:我们的系统越自治,就越需要统一它们依赖的数据。没有完整临床背景的人工智能代理是低效且危险的。它可能会推荐与其它护理计划相矛盾的治疗方案,错过关键的药物相互作用,或者因为无法看到完整的患者情况而重复干预。

我们称这种现象为代理蔓延:一个每个部门都有自己的 AI,但没有人真正看到完整病人的未来。为了了解人工智能碎片化是如何发展的,我们必须检查创造这些脱节人工智能生态系统的潜在数据架构挑战。

医疗保健数据架构的挑战

现代医疗保健领域数据泛滥,但往往缺乏可操作的见解。COVID-19 大流行显著暴露了在整个医疗保健领域,从个体临床护理到国家研究和战略规划,对易于获取、完整和可靠数据的迫切需求,揭示了数据基础设施的差距,并加速了健康系统中的数字创新 [2]。

医疗保健标准作为系统间互操作性的共同语言,确保了临床数据的语义完整性。这些标准旨在建立对每份数据含义的共享理解。它们保证了不同系统和利益相关者之间数据的语义完整性。如果没有这种共享理解,我们可能会出现误解、错误,最终导致患者护理质量下降。

标准是必不可少的。然而,仅靠标准本身并不能完全满足现代医疗保健组织不断变化和多样化的需求。标准通常是为了特定目的而设计的,每个标准都有其固有的优势和特定的局限性。在 Alastair Allen 的FHIR + openEHR — 2022文章等资源中分享的见解突出了不同标准如何提供互补的优势[3]。但是,医疗保健需要的数据远不止于此,标准主要定义了数据是如何结构化或共享的;它们很少解决数据应该如何最优存储、查询或利用以满足现代医疗保健创新的更深层次挑战。

具体来说,医疗保健组织面临一些标准本身无法解决的实践挑战:

  • 应用特定需求:不同的应用程序需要以不同的格式处理数据以创建用户友好的界面并支持专门的临床工作流程。标准定义了数据如何进入系统,但它们很少与应用程序需要组织或展示数据的方式相匹配。

  • 标准演变:标准不断变化,需要持续投资以保持最新。组织通常通过坚持旧版本来避免这些成本。这导致了技术债务、数据版本冲突,甚至更多的数据孤岛。

  • 实施复杂性:标准可能很复杂,难以正确实施。因此,组织通常选择现成的黑盒解决方案来处理互操作性,而不是将标准深入嵌入到他们的系统中。

  • 组织壁垒:数据治理不仅是一个技术挑战,也是一个组织挑战。数据孤岛通常反映了部门壁垒,不同的团队拥有自己的数据、优先级和激励措施。克服这些障碍需要强有力的领导、明确的数据治理政策和数据共享的文化。

理论上,像 openEHR 这样的标准,它们专注于结构化临床数据,可以解决许多这些问题。然而,即使采用 openEHR 的组织也常常发现自己增加了复杂性。供应商引入了专门的缓存,为特定应用构建快速视图,并开发复杂的架构以满足多样化的使用和性能需求,特别是支持跨患者和分析查询。虽然这些添加往往是必要的,但它们可能会显著增加成本和复杂性,甚至可能重新引入数据孤岛。这表明,即使是最好的标准也很少提供一刀切解决方案,现实世界的实施通常需要一个更具适应性的方法。

准备应对未来的医疗保健数据需求

我们迄今为止讨论的挑战是重大的,但它们只是未来医疗保健数据巨浪的前奏。例如,今天的基因组数据很少与临床记录集成,限制了精准医疗的现实世界影响。为了实现医疗保健的全部潜力,组织必须首先解决这个关键的集成差距:

  • 精准医疗正在从基因组学扩展到蛋白质组学、代谢组学、转录组学、成像、数字病理学、临床记录和可穿戴设备的实时患者数据。它还考虑了生活方式因素和健康的社会决定因素SDOH)如住房、环境和医疗保健可及性。然而,有效地捕获、集成和分析这些复杂的数据集远远超出了传统医疗保健数据架构的能力,需要更大的敏捷性、可扩展性和集成能力。

  • 人工智能的爆发:人工智能正在改变医疗保健的各个方面,从诊断和药物发现到个性化治疗和预测分析。但是,AI 模型需要大量的数据进行训练,并且它们生成复杂的输出(如风险评分和治疗建议),这些输出需要存储并与其他患者信息集成。

  • 非结构化数据金矿:临床笔记、研究论文、患者对话——非结构化数据包含大量有价值的信息,这些信息通常被锁在文本文档中。自然语言处理(NLP)和其他 AI 技术可以帮助我们解锁这个金矿,但我们需要能够有效存储和管理非结构化数据的系统。

简而言之,医疗保健的未来将由利用多种不断扩展的数据类型的能力来定义。

一种基于文档、AI 就绪的方法

面对这些挑战,有效的前进方式是什么?答案是采用一种实用的方法,旨在在灵活的架构中战略性地利用医疗保健标准。基于文档的模型提供了必要的敏捷性,使组织能够无缝地结合标准化数据和基本扩展,无需对存储模型进行持续的重构。

从本质上讲,基于文档的数据模型将数据存储为文档集合,其中每个文档可以被视为一个自包含的单元。这些文档可以包含结构化、半结构化和非结构化数据的混合。与传统关系数据库强制执行刚性架构不同,文档数据库提供灵活的架构,允许文档随时间演变,而无需进行昂贵的架构迁移。这使得它们非常适合处理医疗保健中发现的多样化和不断变化的数据类型。具体来说,它执行以下操作:

  • 符合医疗保健标准:如 HL7 FHIR 和 openEHR 等标准定义了复杂、层次化的数据结构,这些数据结构在 JSON 格式中自然表示。

  • 处理多种数据类型:轻松容纳来自电子健康记录的结构化数据、来自临床笔记的非结构化文本、图像元数据、基因组数据、可穿戴设备的传感器数据以及人工智能生成的见解。

  • 架构灵活性:允许在不要求破坏性迁移的情况下迭代数据模型演变。随着新数据类型的出现和数据需求的变化,架构可以相应地进行调整。

  • 性能提升:文档数据库通常为涉及整个文档检索的查询提供更快的查询性能。通过优化磁盘访问,由于相关数据连续存储,从而实现高效的检索和降低延迟。此外,由于高级分层存储策略,这种方法在成本效益上也是可行的,因为它自动将频繁访问的数据放置在更高性能的存储层。

  • 开发者友好:灵活的架构和基于 JSON 的表示简化了开发过程,使开发周期更快,复杂性降低,并提高了生产力。

解决方案不是放弃标准,而是将它们作为更灵活架构的组件使用。许多供应商提供的刚性架构通常施加限制,这些限制削弱了医疗保健所需的敏捷性。医疗保健数据的日益复杂需要一种新的方法。文档模型提供了这个基础。有关文档模型的更多信息,请参阅第三章行动系统

尽管医疗保健标准对于互操作性至关重要,但它们往往引入了实施复杂性。如前所述,组织经常转向现成的黑盒解决方案,这些解决方案表面上处理互操作性,而不是将标准深深嵌入其数据战略中。

但让我们明确一点:采用文档模型并不是要放弃标准。相反,它是关于战略性地利用它们。关键在于外观模式,这是一种软件设计方法,它提供了一个简化的接口来访问复杂的底层系统。将其视为使用标准作为翻译者,确保不同的系统可以通信,而不强制规定您数据的核心结构。这意味着,而不是将所有数据强制放入僵化的预定义模具中,您采用灵活的文档格式进行存储,允许丰富的结构化、半结构化和非结构化信息的混合。

然后,当需要交换数据或连接到外部系统时,标准如 FHIR 作为接口层,而不是内部结构。这种方法通过提供无缝互操作性和对您数据的完全所有权来提供两全其美的解决方案。这是外观模式的核心,它暴露了符合标准的视图,而不强制内部僵化。

一些架构,如 openEHR,采取相反的方法。它们使用标准本身作为基础数据模型。虽然这可以提供强大的一致性和语义结构,但往往引入了僵化,并将长期控制权交给了标准的约束。然而,相同的指导原则适用:组织必须保留对其数据模型的所有权,并确保满足未来需求时的灵活性。最终,你如何建模和查询数据,而不仅仅是暴露哪个 API,决定了你的系统如何适应新的要求。

使用外观模型增强灵活性和互操作性

以下 DiagnosticReport 示例展示了这种方法的实际应用,展示了文档模型如何容纳符合 FHIR 标准的临床数据和额外的操作元数据:

{
  "_id": {"$oid": "65ea3df8fde80681cde96175"},
  "metadata": {
    "documentVersion": "1.0",
    "fhirVersion": "4.0.1",
    "lastUpdate": "2024-03-07T22:07:02Z",
    "tenant_id": "TenantA",
    "uuid": "urn:uuid:0081fd71-59c0-4995-94e0-ce8628dc0529",
    "searchParameters": [
      {"key": "code", "value": "34117-2"},
      {"key": "date", "value": "2004-09-08T20:32:52-04:00"},
      {"key": "patient", "value": "Patient/1"},
      {"key": "status", "value": "final"}
    ],
    "vectorSearchEmbeddings": {
      "model": "text-embedding-3-small",
      "vector": [-0.01741, -0.02967, 0.01068, /* truncated for brevity */]
    },
    "applicationFields": {
      "reviewStatus": "pending",
      "priorityLevel": "high",
      "assignedTo": "Reviewer123"
    }
  },
  "fhirResource": {
    "resourceType": "DiagnosticReport",
    "id": "DiagnosticReport/7",
    "status": "final",
    "category": [
      {"coding": [{"system": "http://loinc.org", "code": "34117-2", "display": "History and physical note"}]}
    ],
    "code": {"coding": [{"system": "http://loinc.org", "code": "34117-2", "display": "History and physical note"}]},
    "subject": {"reference": "Patient/1"},
    "encounter": {"reference": "Encounter/7"},
    "effectiveDateTime": "2004-09-08T20:32:52-04:00",
    "issued": "2004-09-08T20:32:52.360-04:00",
    "performer": [{"reference": "Practitioner/62", "display": "Dr. Waltraud488 Gaylord332"}],
    "presentedForm": [{
      "contentType": "text/plain",
      "data": "Encoded clinical note content here."
    }]
  }
} 

在这个示例中,您可以看到:

  • FHIR 资源层: 这包含标准化的临床数据(DiagnosticReport)。

  • 元数据层: 这包括自定义字段(documentVersiontenant_id)和用于优化查询的搜索参数。

  • 特定应用领域: 这些字段,例如 reviewStatuspriorityLevel,允许在 FHIR 标准之外启用额外的操作工作流程。

  • 向量嵌入: 这些通过将临床信息嵌入向量格式来促进高级语义搜索和由人工智能驱动的功能。有关向量嵌入如何工作及其在人工智能系统中的作用的详细说明,请参阅第二章区分通用人工智能、RAG 和代理人工智能的特点

这种结构通过和谐地整合标准临床数据、附加元数据和特定应用细节来体现外观模式,而不损害互操作性。

图 16.1:用于人工智能增强医疗数据分析的医疗数据集成和向量嵌入架构

此图展示了 MongoDB 灵活的文档模型如何存储和整合各种医疗保健数据类型,包括患者信息、医学数字成像和通信DICOM)元数据、活检结果和临床评估。每个数据类别都存储为 MongoDB 文档,可以通过向量嵌入增强,以实现人工智能驱动的语义搜索和分析。该架构展示了 MongoDB 的架构灵活方法如何适应不同的医疗数据格式,同时通过嵌入向量实现高级搜索能力,以改善临床洞察力和决策支持。

正如我们所见,外观模式允许标准发挥其最佳作用,即促进沟通,而不强迫内部统一性。以面向文档的存储为基础,系统获得了自由发展的空间,可以整合新的数据模式,并响应新兴需求,而无需重新构建其整个基础设施。

医疗保健人工智能的新堆栈

这种以文档为核心、以标准为边缘的混合方法为下一跃奠定了基础:AI 代理不仅操作数据,还操作上下文智能。例如,在肿瘤学中,一个单一案例可能涉及数十个相互关联的工件:基于 FHIR 的临床笔记、DICOM 成像元数据、全基因组测序、PDF 病理报告和模型生成的风险评分。试图在关系或标准约束的架构中统一所有这些内容要么会失败,要么需要巨大的努力。但是,作为具有丰富元数据、关系和嵌入的嵌套文档存储,您使 AI 系统能够穿越这种复杂性,跨模态推理,并提供临床上有用的见解。

这不仅仅是一个理论上的可能性;它已经在发生。在癌症中心的试点项目中,基于文档的存储库正在使肿瘤学家能够查询与特定分子亚型匹配的放射学生长模式的病人,而病理学家则使用向量搜索呈现相似的组织切片,无论诊断标签如何。护理团队现在可以在单一查询中链接患者报告的结果、可穿戴数据、自然语言处理分析笔记和药物反应记录,创建以前无法实现的全面视图。

通过采取逐步的、分阶段的实施方法,医疗保健组织可以在满足即时运营需求的同时,平衡长期战略目标。结果是,一个数据架构通过标准化提供即时价值,同时保持适应未来医疗保健挑战的灵活性,无论这些挑战涉及新的数据类型、高级应用需求还是新兴的人工智能能力。

这种平衡策略,在尊重标准的同时拥抱适应性,最终使医疗保健组织能够实现运营效率和临床创新的双重目标。此外,所有这些因素都有助于显著降低总拥有成本TCO)。

图片

图 16.2:以 FHIR 为中心的方法与 MongoDB 灵活的文档模型

此图说明了 MongoDB 的文档模型如何使医疗保健组织能够集成各种数据源,包括 FHIR 数据、术语字典、OMOP CDM、分析数据视图以及其他医疗标准(如 openEHR 和 DICOM)。中心 FHIR 数据中心连接到各种访问方法(FHIR API、MQL 和 SQL),并为多个端点提供服务,包括电子病历系统、患者门户网站和临床研究应用。这种灵活的方法在标准化与适应性之间取得平衡,以适应不断变化的医疗数据需求。

通过控制您的数据战略,采用文档模型,并战略性地利用标准,您为医疗保健创新创造了一个未来证明的基础。这意味着构建能够适应新数据类型而无需架构重整的系统,集成新兴的人工智能能力而无需供应商锁定,并根据临床需求而不是技术限制来扩展计算资源。一个真正未来证明的基础能够适应监管变化、标准演变和突破性技术,同时保留使医疗智能成为可能的临床背景和数据关系。这个基础为智能护理协调奠定了基础,这种协调改变了医疗保健的提供方式。

实施架构模式

成功的基于人工智能的护理协调实施遵循一致的架构模式,这些模式可以适应不同的医疗环境和临床专业。

  • 面向文档的数据基础: 医疗信息自然存在于通过面向文档的数据模型保留的分层、相互关联的关系中。患者记录包含嵌套信息,其中问题包括干预措施,干预措施包括结果,在保持临床背景的同时,使高效查询成为可能。

  • 向量搜索集成: 语义搜索能力使临床文档中的自然语言查询成为可能,即使在使用不同术语描述的情况下,也能发现类似案例和相关的协议。这种能力对于必须在不同经验水平的提供者之间共享临床知识的专科护理领域至关重要。

  • 多模态数据处理:现代医疗保健产生多种数据类型,包括结构化评估、叙事笔记、家庭沟通和多媒体观察,这些必须协同工作以支持全面的护理决策。成功的平台在保持适当关系和临床上下文的同时,适应这种多样性。

  • 实时处理架构:临床决策是实时发生的,需要能够持续处理新信息并提供即时访问更新见解的系统。这种响应性对于协调护理场景至关重要,在这种场景中,多个提供者必须根据共享观察调整他们的干预措施。

一起,这些使护理方法更加协调。

AI 驱动的护理协调

从分散的医疗保健系统到智能协调平台的发展代表了医疗保健领域最具变革性的重大机遇之一。AI 驱动的护理协调解决了使跨学科团队可访问和可操作多样化临床信息的基本挑战,使提供者能够专注于患者护理而不是行政负担,同时提高护理质量和结果。

医疗保健协调需要复杂的编排能力,能够处理复杂的临床场景,处理多种数据类型,并在自动化工作流程中保持人工监督。多代理架构提供了管理这些交互的框架,同时确保临床准确性和法规合规性。

在临床工作流程中编排专门的代理角色

临床信息处理的各个方面需要专门的技能和领域知识。一个全面的护理协调平台采用多个 AI 代理,每个代理都针对特定的医疗保健任务进行了优化:

  • 临床查询处理代理理解特定于医疗保健的语言和意图,将自然语言问题转换为可以针对临床数据进行执行的结构化查询。当提供者询问“``本周哪些患者需要关注?”时,代理将其解释为需要分析进展趋势、即将进行的评估、家庭关注点和护理计划截止日期。

  • 上下文综合代理从多个来源收集全面的病人信息,理解不同类型临床数据之间的关系。这些代理认识到患者的进展可能受到药物变化、家庭情况、教育环境或社会因素的影响,从多样化的文档来源收集相关上下文。

  • 临床推理代理应用特定于医疗保健的逻辑来分析检索到的信息,识别可能影响护理决策的模式和趋势。这些代理理解临床意义,区分统计学上显著的变化和具有临床意义的改进,这些改进需要干预措施的改变。

  • 文档代理维护所有 AI 生成洞察力的审计跟踪和引用,确保建议可以追溯到特定的观察、评估或临床指南。这种能力对于合规性和临床问责制至关重要。

多个 AI 代理的协调需要复杂的流程管理,能够适应不同的临床场景,同时保持一致性和可靠性:

  • 顺序处理工作流程处理需要多个分析步骤的复杂查询,每个代理都基于先前处理阶段的成果。这种模式对于必须整合来自多个临床领域的患者全面评估是有效的。

  • 并行处理工作流程能够同时分析患者护理的不同方面,提高紧急临床查询的响应时间。多个代理可以同时分析行为数据、药物有效性和家庭报告,以提供快速、全面的评估。

  • 自适应工作流程根据临床问题的类型、可用数据源和紧急性要求调整其处理方法。紧急情况触发加速的工作流程,优先考虑立即的安全考虑,而常规进度审查则采用综合分析模式。

工作流程只是影响因素之一。这些代理的一个关键好处是它们在这个特定专业环境中处理语言的方式。

自然语言临床智能

通过自然语言处理对临床信息访问的转型代表了智能护理协调平台最直接的好处之一。而不是要求提供者导航复杂的数据库结构,自然语言界面使临床医生能够以对话方式与患者数据进行交互。

临床情境理解

医疗保健提供者使用的是不直接映射到数据库查询的临床语言。高级自然语言处理系统必须理解医学术语、时间关系和临床意义,以便为提供者的提问提供准确的响应。

有效的临床沟通需要针对特定角色和决策情境的响应。同一个临床问题,根据是由直接护理提供者、临床主管还是家庭成员提出,需要不同层次的具体细节和关注点。

角色适应性响应生成应提供以下内容:

  • 为提供者的技术术语和定量指标

  • 总结重点:为管理者提供关键见解和行动项目

  • 家庭沟通:易于理解的语言和进度说明

  • 监管格式:针对审计的合规性文档

这种针对特定角色的方法确保 AI 生成的见解与每个利益相关者的决策背景和信息需求相匹配,最大化效率和临床安全。

语义搜索功能

基于向量的语义搜索使临床医生能够在提供者或文档系统之间术语具体术语不同的情况下找到相关信息。这种能力在进步通过多个领域的微妙变化体现的专门护理领域尤其有价值。

语义搜索可以识别看似无关的观察之间的联系,例如将行为改善与沟通进步相关联或将环境修改与减少挑战性行为联系起来。这些见解通常来自个人提供者可能没有注意到的模式,但通过全面数据分析变得明显。

CentralReach 对自闭症和 IDD 护理的影响

现在让我们考虑人工智能驱动的护理协调在医疗保健组织实际应用中的好处。这些部署展示了临床效率、护理质量和提供者满意度的可衡量改进。

CentralReach 提供了一个令人信服的例子,展示了人工智能驱动的护理协调如何解决关键的医疗保健挑战。在自闭症和智力与发育障碍IDD)护理(一个面临严重提供者短缺的领域)中运营,CentralReach 开发了显著减少行政负担同时提高护理交付的解决方案。

如 CentralReach 的首席执行官 Chris Sullens 所解释的,护理差距挑战如下:

每 36 个孩子中就有 1 个被诊断为自闭症,在这 200 多万名儿童中,估计今天只有不到一半得到主要服务,主要是因为没有足够的临床医生提供护理。在 CentralReach,我们称之为自闭症和 IDD 护理差距,这推动我们的使命是提供尽可能最好的技术,以压缩提供者团队,尤其是治疗师,在行政任务上花费的时间。”

CentralReach 平台上的 AI 增强临床工作流程展示了人工智能如何改变常规临床任务。CentralReach 人工智能负责人 David Stevens 描述了其影响:

它将所有这些信息都呈现在你的指尖上。你不必像打字机一样逐字逐句地查找,也不必担心是否有人填写了正确的字段。用那种经典的话来说,人工智能不仅找到了干草堆里的针,而且还烧毁了干草堆。”

该平台允许在综合临床数据集中进行自然语言查询,使提供者能够提出诸如“我的客户在这个技能上进展如何?”等问题,并收到综合多个数据源和临床观察的合成响应。

CentralReach 的 Care360 计划代表了向全面护理协调的演变,将数据集统一为整体学习者档案,支持多学科团队合作。这种方法消除了重复的数据输入,同时确保每位提供者都能访问其干预的全面背景。

如需了解更多关于这个故事的信息,请访问venturebeat.com/data-infrastructure/ai-boosted-autism-and-idd-care-centralreach-and-mongodb-transform-how-care-is-delivered/.

使用 GenAI 进行视觉诊断

考虑以下场景,这反映了放射科医生面临的常见挑战。马蒂内斯医生研究一个胸部 CT 扫描,而先前的研究图标在三个 PACS 服务器上旋转,图像清晰可见,但故事却遥不可及。右肺上叶的 8 毫米结节孤立于患者的吸烟史中,这些史实被锁定在电子病历中,上个月活检的病理报告存储在另一个系统中,以及可能将这一发现从常规随访转变为紧急干预的肿瘤学笔记。

在那一刻,她体验到了医疗保健的 47 分钟问题视觉版本:不是像陈医生那样在七个基于文本的系统之间搜索,而是导航图像孤岛,这些孤岛将完整的临床图像分解成不连贯的视觉片段。

但用单一视角的 AI 取代马蒂内斯医生的系统跳转,会带来更微妙的风险。你获得了速度,但失去了吸烟史、EGFR 结果和细微差别。在成像中,半知半解是危险的,因为诊断准确性取决于完整的临床背景。一个只看到结节生长但忽略了患者免疫抑制状态的 AI 系统可能会在需要密切观察时推荐激进随访,或者相反,可能会低估高风险患者的癌症风险,从而可能延迟救命干预。

现代放射学面临这一确切挑战:如何在确保访问完整临床背景的同时利用 AI 的模式识别能力,将像素转换为病人护理。该解决方案需要统一的数据架构,将成像洞察与全面的病人故事连接起来。

GenAI 通过弥合系统可见性和临床医生所需知识之间的差距,改变了医学影像。这些系统同时处理多种数据类型,即图像、元数据、临床历史和比较研究,创建统一的病人背景,使人类专业知识和 AI 能力都能发挥最佳效果。

模型看到 8 毫米的毛刺状结节,知道 30 包年的吸烟史,并引用 Fleischner 社会指南(肺结节管理的建立医疗建议),建议三个月后进行随访:

PRELIMINARY AI IMPRESSION  
8mm solid pulmonary nodule, RUL, spiculated.  
Given smoking history, repeat CT in 3 months per Fleischner.  
[Radiologist review required] 

这种自动生成展示了面向文档的架构如何使 AI 系统访问完整的临床背景,而不是孤立的图像数据,这正是防止形成代理孤岛的基础。

人工智能最具变革性的能力之一是解决影像的基本挑战:理解发现如何随时间演变。当与综合数据存储库集成时,AI 系统可以自动检索相关的先前研究,并突出显示当前解释中提供的信息的关键变化。

考虑马丁内斯博士正在审查后续扫描:5 月显示原始 6 毫米的结节,7 月显示增长到 7 毫米,10 月测量为 8 毫米。对马丁内斯博士来说,AI 分析感觉就像去年拍摄的胶片永久性地安装在今天的灯箱上,但实时标注了生长计算、倍增时间估计和基于指南的建议。

这种时间智能只有在影像数据与完整的患者病史无缝连接时才成为可能。

医学视觉问答

医学视觉问答代表了集成临床智能的最高表达,使临床医生能够通过自然语言与影像数据进行交互,同时访问完整的患者背景。这项技术将放射科医生与影像系统之间的传统关系从被动观看转变为积极的诊断协作。

当急诊医生询问“是否有颅内出血的证据?”时,系统会检查密度模式、解剖标志和体积效应指标,并在几秒钟内回答:“没有急性出血,中线无移位,检查结果为阴性”。

该系统能够将视觉发现与从统一的患者数据中提取的临床背景相关联。

应用向量嵌入

向量嵌入将医学图像转化为数学指纹,使语义搜索能够在庞大的影像库中进行。想象一下病理切片被切成小块,每块都分配了一个向量指纹,让计算机能够发现人类观察者可能错过的肿瘤之间的家族相似性。

当马丁内斯博士遇到罕见的腺癌变体时,向量搜索可以立即定位来自数千项先前研究的类似病例,提供视觉参考和诊断指导,这是通过传统的基于文本的搜索无法找到的。统一存储库将这些指纹变成了一个临床谷歌,几秒钟内就能找到双胞胎肿瘤。

这项技术展示了统一数据架构如何使新的临床推理形式成为可能。只有当病理图像、临床元数据和诊断结果存在于集成存储库中时,向量嵌入才能提供有意义的临床见解,而不是孤立的模式匹配。

图片

图 16.3:使用 MongoDB Atlas 进行医学图像分析的向量嵌入工作流程

这个两阶段工作流程展示了向量嵌入如何实现医学图像的语义搜索。阶段 A(准备)显示了通过图像编码模型将医学图像和知识库数据转换为存储为集合的向量嵌入的过程。阶段 B(使用)说明了查询图像如何在 MongoDB Atlas 集合中进行瓦片分割和向量搜索,结果在查看器界面中显示,用于检测可疑区域和肿瘤。这种方法将视觉医学数据转换为数学表示,以供人工智能辅助诊断。

医学成像人工智能代表了医疗保健更广泛转型的有吸引力的应用和关键测试案例。当成像系统可以无缝访问患者病史,将发现与临床背景相关联,并将见解与护理协调平台集成时,它们展示了定义医疗保健数字未来的统一智能。

放射学只是侦察兵。到 2028 年,扫描将自行提取先验知识,标记生长情况,并在患者离开 CT 扫描之前向肿瘤科发出活检请求。

这种成像转换展示了统一数据架构如何使人工智能能力得到增强,而不是碎片化临床护理,同时为医疗保健向真正集成、智能护理交付系统的演变提供实际模型。

将智能扩展到生命科学

虽然我们的探索主要集中在医疗保健服务和临床工作流程上,但我们开发的结构原则,即统一数据基础、语义智能和面向文档的灵活性,自然地扩展到患者护理环境之外。生命科学组织面临着非常相似挑战:复杂、层次化的数据结构抗拒传统的关联方法,需要跨不同信息类型的语义关系,以及消除将专业知识从核心科学工作中转移的行政摩擦的必要性。

同样的碎片化模式困扰着临床系统,其中关键信息存在于相互隔离的孤岛中,在整个药物开发生命周期中显现,从分子研究到监管批准。那些使临床智能化的外观策略和向量搜索能力,当应用于药物发现、监管流程和市场授权工作流程时,同样具有变革性。

在生命科学领域,在整个药物生命周期中,从基础研究到市场,将大量数据转化为可操作的见解至关重要。随着精准医学和基因组学的兴起,AI 通过根据遗传、环境和生活方式因素为个体患者量身定制治疗方案,发挥着变革性的作用。GenAI 加速药物发现,分析基因组数据以实现个性化治疗途径,并优化临床试验。

革命性提升 CSRs(临床研究报告)的效率,借助 GenAI 和 MongoDB

药品行业面临着加快新药和疗法监管审批流程的巨大压力。这一流程的关键组成部分是创建临床研究报告CSRs),这些通常是数百页的综合性文件。这些报告作为主要证据提交给监管机构,如美国食品药品监督管理局FDA)和欧洲药品管理局EMA),以证明药物的安全性和有效性。它们详细说明了临床试验的方法、执行和结果,为药物审批决策提供了完整的科学基础。

传统上,编制 CSR 是一项劳动密集型任务,通常需要几周时间才能完成,并涉及临床研究人员、生物统计学家、医学作家和监管专家的多学科团队。这个漫长的周期不仅延误了急需治疗的患者可能救命治疗的引入,还导致了与延长研发周期和更长的上市时间相关的显著成本。

生成 CSR 的过程复杂,涉及大量临床数据的整合。这包括统计输出、安全性分析、有效性摘要和必须符合严格监管格式要求的详细叙述。手动方法耗时且易出错,这可能会进一步延误监管审批或触发来自监管机构的额外信息请求成本。遵守如 FDA 和 EMA 设定的严格监管标准,为文档创建过程增加了另一层复杂性。任何偏离规定格式或缺失信息都可能导致提交延误或被拒绝。

GenAI 与如 MongoDB Atlas 等现代数据库平台的集成,通过自动化 CSR 创建过程,为这些挑战提供了突破性的解决方案。这种方法可以将生成 CSR 所需的时间从几周缩短到几分钟,使制药公司能够加快新药上市的时间。

将 GenAI 与灵活、可扩展的数据库环境相结合,支持临床试验中固有的动态和多样化的数据结构。这种灵活性对于管理 CSR 生成中涉及的多种数据类型至关重要,包括文本、表格和复杂统计数据。通过使用 GenAI 模型,公司可以自动化 CSRs 的起草,生产出高质量、合规的文件,需要最少的人工干预。

这些 AI 模型可以自动化数据表的导入和转换,生成准确的叙述,并确保最终文件符合监管机构要求的合规标准。高级搜索功能通过允许以高精度检索相关数据,进一步增强了这一过程,AI 利用这些数据生成一致且准确的内容。

对于 CSRs 所描述的相同方法可以提供一个端到端解决方案,涵盖广泛的监管文件,包括临床试验叙述CTNs)、总结临床安全性SCS)和总结临床有效性SCE)。然而,某些文档类型可能需要特定的方法:早期阶段或已中断研究的简略 CSRs 可能需要不同的模板,非有效性研究的概要 CSRs 需要压缩格式,涉及新型疗法或突破性设计的监管提交可能需要超出标准 AI 自动化能力范围之外的额外文件。尽管存在这些例外,但全面的覆盖确保公司可以自动化其大部分监管提交,降低人为错误的风险并加快整个流程。

通过将 GenAI 与现代数据库平台集成,制药公司可以改变其生成 CSRs(临床研究报告)的方法。此解决方案提供了无与伦比的速度、准确性和合规性,使公司能够更快地将新疗法推向市场,同时保持最高的质量和监管标准。结果是更高效的药物开发过程,最终通过加速患者获得创新疗法而受益。

诺和诺德利用 NovoScribe 和 GenAI 加速药物审批

诺和诺德是全球医疗保健领域的领导者,正通过使用 GenAI 和基于云的数据库解决方案来改变其将新药推向市场的方式。以其在糖尿病护理领域的开创性工作而闻名,诺和诺德生产了世界上 50%的胰岛素,并为全球数百万患者提供服务。

随着 NovoScribe(一个基于 Amazon Bedrock、LangChain 和 MongoDB Atlas 构建的内部人工智能工具)的引入,公司显著减少了生成 CSRs 所需的时间,这是监管审批过程中的关键步骤。该应用程序由一个由三名成员组成的小团队构建:Louise Lind Skov、Waheed Jowiya 和 Tobias Kröpelin。NovoScribe 使诺和诺德公司能够将编译 CSRs 的时间从 12 周缩短到仅 10 分钟。这一创新帮助诺和诺德公司更快地将新药带给患者,提高了他们监管提交的速度和质量。该系统自动化了复杂的数据检索和分析,使公司能够高效且安全地在多个云平台上扩展其运营。

了解更多关于这个故事的信息:www.mongodb.com/solutions/customer-case-studies/novo-nordisk

Spotlight_Icon1

从 CentralReach 减轻自闭症护理的行政负担到诺和诺德加速药物审批,这些实施案例展示了一个一致的模式:统一的数据基础使人工智能系统能够增强人类的专业知识,而不是创建孤立的自动化。

展望智能医疗

我们首先关注了陈博士 47 分钟的挣扎:一位熟练的儿科专家变成了数据考古学家,在七个相互独立的系统中寻找本应无缝流动的信息。她的故事揭示了医疗行业的核心问题:我们比以往任何时候都产生了更多的临床数据,然而临床医生却从未感到如此与可操作的见解脱节。

这段医疗行业人工智能转型的旅程揭示了统一的数据基础能够实现全面的临床智能。无论是马丁内斯博士获取完整的临床背景以进行影像解读,还是护理协调代理在各个专业之间综合信息,或者诺和诺德将监管报告编制时间从 12 周缩短到 10 分钟,成功都取决于人工智能系统能够访问完整、统一的患者背景。

文档导向的架构在保留医疗行业自然的信息层级结构的同时,也促进了人工智能的创新。采用标准作为接口而非结构约束的“外观策略”,使得 FHIR 合规性得以实现,同时支持向量嵌入、语义搜索和智能应用。这种方法消除了传统方法中常见的重复数据和 ETL 复杂性,同时能够快速适应新的需求。

向量嵌入将医学图像转化为可搜索的临床智能,而多智能体架构在人类监督下协调专门的 AI 能力。自然语言界面用对话智能取代了复杂的数据库导航,这种智能理解临床背景和意图。

对于医疗保健提供者来说,这意味着将重点回归到患者护理上。而不是花费 47 分钟进行系统考古,综合临床智能通过自然语言交互流动,同时人工智能处理常规文档并提供增强临床专业知识的智能洞察。

对于医疗保健组织来说,统一平台能够实现与需求而非复杂性成比例的操作效率。支持当前运营的相同基础设施能够无缝适应新的 AI 能力和不断发展的临床需求。对于患者来说,增强人工智能的医疗服务通过提供者获得完整信息、跨专家的智能协调以及从全面分析而非孤立观察中获得的诊断洞察,提供了更加个性化的护理。

在不久的将来,在最先进的医疗保健系统中,正如我们之前所看到的,扫描将在患者离开 CT 扫描之前自行提取先验信息并询问肿瘤科进行活检。护理协调代理将综合跨专业信息,标记交互并优化治疗顺序。临床文档将自动生成,同时保持审计轨迹以符合规范和质量改进。

这不是科幻小说;这是今天由具有前瞻性的医疗保健组织实施的统一数据基础和 AI 能力的逻辑演变。当医疗保健数据存在于能够保持临床上下文同时实现复杂分析的人工智能平台中时,从碎片化护理到协调智能的转变变得不可避免。

今天正在实施这些基础的医疗保健组织将定义明天的护理标准。他们将证明,当技术放大人类专业知识、保持临床关系并使提供者能够在他们的培训最高水平上操作,同时人工智能处理复杂的数据集成和分析时,技术实现了其最高目的。

想要了解更多信息和资源,请访问www.mongodb.com/solutions/industries/healthcare上的MongoDB for Healthcare页面。

摘要

在本章中,我们展示了熟练的临床医生如何成为数据考古学家而不是患者倡导者,在碎片化系统中寻找必要的信息。随着医疗保健向由 GenAI 和自主代理驱动的 AI 未来迈进,存在创建代理孤岛的危险风险,其中断开的 AI 系统在没有完整的临床上下文的情况下操作,可能会无形中扩大伤害,同时看起来节省了时间。

解决方案在于建立在文档导向架构之上的统一数据基础,它既保留了医疗保健的自然信息层次结构,又促进了人工智能的创新。通过实施外观模式,将如 HL7 FHIR 等标准用作接口层而不是结构约束,医疗保健组织可以在保持数据所有权和灵活性的同时实现互操作性。现实世界的实施案例,如 CentralReach,展示了人工智能驱动的护理协调、自然语言临床智能和统一医学影像如何将行政负担转化为临床洞察。从陈博士 47 分钟的挣扎到智能、协调的护理交付的转变,代表了医疗保健的又一次重大飞跃,其成功取决于人工智能代理能够访问完整、统一的病人背景,而不是孤立的数据片段。

第三部分,智能企业的未来通过现代人工智能协议和架构的视角描绘了智能企业的未来轨迹。它介绍了如模型上下文协议MCP)和因果 AI 等框架,作为构建适应性、可解释和互操作系统的基本元素。下一章探讨了企业文档管理EDM)如何从静态存储演变为智能基础设施,展示了现代平台如何利用人工智能在规模化的业务工作流程中分类、丰富和激活非结构化内容。

参考文献

  1. 医疗保健中的代理人工智能medicalfuturist.com/agentic-ai-in-healthcare/

  2. Covid-19 大流行期间数字医学和 eHealth 的重要性日益增加www.tandfonline.com/doi/full/10.1080/02813432.2020.1770466

  3. FHIR + openEHRwww.better.care/news/fhir-openehr/

第三部分:

智能企业的未来

这套章节展望了 AI 系统及其依赖的企业平台必须如何发展。从重新思考传统文档存储到实施因果智能、模型上下文协议和大规模代理编排,本部分概述了将定义下一代智能企业系统的架构模式和运营模式。

本书本部分包括以下章节:

  • 第十七章使用 Encore 和 MongoDB 的企业文档管理

  • 第十八章使用 Dataworkz 和 MongoDB 民主化企业代理 AI

  • 第十九章展望:超越今天的 AI

第十七章:使用 MongoDB 和 AI 的企业文档管理

智能企业的转型始于一个基本真理:AI 的强大程度取决于它可以访问和理解的数据。虽然组织已经花费了几十年积累大量信息库,但其中许多关键业务智能仍然被困在那些从未为 AI 时代设计的传统系统中。

本书最后一部分探讨了企业平台必须如何演变以支持真正智能的操作:从重新构想我们存储和访问非结构化内容的方式,到民主化代理 AI 能力,再到实施下一代因果和协调的智能系统。每一次转型都建立在上一代的基础上,为企业奠定基础,这些企业不仅使用 AI 工具,而且本身作为智能系统运行。

我们从可能被忽视但最基本挑战开始:将每个组织中存在的庞大暗数据档案转化为 AI 就绪的智能内容平台。

但这一切正在迅速改变。AI 终于能够弥合结构化/非结构化数据差距。多亏了像Encore这样的平台,它建立在 MongoDB 之上,企业文档管理(EDM)正成为生产力、合规性和客户体验的动态、AI 驱动的基石。

到本章结束时,你将理解以下内容:

  • 为什么传统的 EDM 系统创建了大量无法访问的暗数据,这限制了决策

  • 非结构化数据在增长和相关性方面都超过了结构化数据

  • 为什么 AI 特别适合将被动文档转化为活跃的、智能的内容资产

  • 如何通过 MongoDB 驱动的平台(如 Encore)通过灵活的架构和本地 AI 集成来创造价值

  • 通过现代 EDM 用例(如索赔处理、客户支持和审计准备)组织所取得的成果

  • 文档导向架构和集成矢量搜索如何使 AI 驱动的内容管理成为可能

  • 如何通过 Encore 与 AWS Bedrock 的集成实现即时内容智能,而无需复杂的配置

  • AI 转型的最后一英里涉及的内容,以及为什么内容就绪是关键因素

  • 如何将电子文档管理(EDM)现代化视为业务价值加速器,而不是存储升级

  • 为什么随着 AI 成为企业运营的核心,EDM 的作用越来越重要

数字文件柜时代

传统电子文档管理系统是为不同的时代设计的。它们被设计用来存档扫描文档、满足合规性要求,如果你很幸运的话,还能让你找到和检索文档。内容通过基于传统 SQL 数据库结构的严格分类法进行索引。搜索依赖于简单的关键字查询,针对有限的索引字段,当处理大型文档库时,往往会产生令人沮丧的结果。这些系统无法理解内容,提供动态搜索,处理自然语言,或集成到 AI 工作流程中。最好的情况下,它们只是数字文件柜。

传统系统的隐藏成本

传统电子文档管理的局限性远不止不便。它们创造了可衡量的业务影响,大多数组织从未完全计算过。例如,当团队搜索例如 Q3 的合同时,典型的系统会返回数百个无关的文件,与相关文件混合在一起,迫使手动在大量的错误正例中进行排序。知识工作者每天花费高达 3.6 小时仅仅是为了寻找信息,对于大型组织来说,这代表着数百万的生产力损失 [1]。

合规性变成了一个反复出现的噩梦。当审计员到来时,团队会花费数周时间收集本应立即可访问的文件。版本控制混乱意味着关键决策是基于过时的信息做出的,多个文档版本散布在电子邮件、共享驱动器和本地存储中。隐藏的成本是惊人的;文档检索失败代表着企业巨大的生产力损失,搜索所花费的时间转化为大型组织数百万的价值损失。

传统的架构限制

基于关系数据库构建的传统电子文档管理平台创造了基本的架构限制,随着内容量和组织复杂性的增长,这些问题变得越来越突出。理解这些限制有助于解释为什么许多组织在文档管理转型方面遇到困难。

模式刚性代表了最大的限制。每个新的文档类型或元数据字段都需要仔细的数据库模式规划,通常涉及实施期间的系统停机。这造成了一个根本的不匹配:业务文档本质上是多变且不可预测的,而关系结构则要求一致性和预定义的关系。PDF、图像、电子邮件和多媒体内容不得不强行适应表格结构,在这个过程中往往丢失了有价值的相关信息。

可扩展性瓶颈随着存储库的增长而出现。传统架构在地理分布上遇到困难,使得全球组织难以在时区之间提供一致的文档访问。随着复杂连接和原子性一致性隔离性持久性ACID)合规性要求带来的计算开销随着数据量的增加而恶化,性能的下降是可预测的。在高峰使用期间搜索超时成为了一种常见的挫折。

集成复杂性加剧了这些问题。每个业务系统都需要与文档存储库进行点对点连接,从而创建维护密集型的架构。当底层系统发生变化(它们经常发生变化)时,集成就会中断,需要持续的 IT 关注,这会分散资源,使其无法用于增值能力。

现代替代方案通过各种方法解决这些限制:处理非结构化内容的面向文档的数据库、动态扩展的云原生架构、减少集成复杂性的微服务设计以及支持全球操作的分布式系统。关键洞察力并不是关系数据库本身有缺陷,而是电子文档管理系统(EDM)的要求已经超越了传统架构设计所能处理的能力。

当数字承诺未能实现时

数字转型的承诺常常与实施现实相冲突。组织在企业内容管理系统上投入了大量资金,却发现数字化破旧流程只是创造了更快的无效方式。麦肯锡的研究表明,66%的企业软件项目存在成本超支,这表明整个行业在实施方面存在系统性挑战[2]。

组织经历了代价高昂的文档管理失败,这是更广泛模式的一部分,其中大型 IT 项目经常超出预算,未能实现承诺的好处。基本问题不在于技术;而是遗留的电子文档管理系统(EDM)架构无法随着业务需求的发展而发展,也无法与新兴的人工智能能力集成。

结果呢?堆积如山的数据暗物质,实际上无法有效搜索或用于决策[3]。

非结构化数据挑战

这就是挑战:非结构化数据不遵循模式。它存在于 PDF 文件、图像和电子邮件中,散布在各个系统中,通常没有可靠的元数据。没有专门的基础设施,很难搜索、治理或分析。

这为人工智能(AI)设置了一个障碍。大型语言模型LLMs)需要丰富上下文、组织良好的数据。标签不良或无法访问的内容阻止了 AI 提供有意义的价值。

数字告诉我们故事:非结构化数据现在占所有企业信息的 90%以上,包括电子邮件、文档、视频、社交媒体内容和传感器输出。这种数据类型每年增长 55-65%[4],远远超过结构化数据增长。

图 17.1:显示非结构化数据与结构化数据增长对比的图表

图 17.1 展示了这种指数级增长模式。虚线橙色线表示非结构化数据从 2016 年的不到 200 个单位急剧上升到 2029 年的超过 1000 个单位,而代表结构化数据的蓝色线则相对平坦,在同一时期内仅从大约 100 个单位增长到 200 个单位。

尽管其数量和潜在价值巨大,但非结构化数据通常仍然被孤立、未分类和未充分利用,给旨在利用人工智能和数据分析的组织带来挑战。随着企业越来越多地采用人工智能技术,有效管理和分析非结构化数据的能力变得至关重要。如果没有强大的策略来处理和解释这个庞大的信息库,企业可能会错失关键见解,在竞争格局中落后。

使用 Encore 重新定义文档管理

现在,组织需要的不仅仅是内容存储;他们需要能够从非结构化数据中提取关键见解,将这些见解输入到下游自动化和数据分析中,并在不造成过度运营负担的情况下确保合规性的系统。这就是人工智能的用武之地。当人工智能能够理解你的档案时,你的文档就不再仅仅是被动、不透明的记录,而是成为活跃的商业资产。让我们看看在这个领域人工智能的一些实际成果。

索赔处理

保险索赔通常涉及大量文档,包括事故报告、评估、医疗记录、照片、电子邮件等等。传统上,团队需要花费数小时追踪文件并将所有内容拼凑在一起。

使用 Encore,这些文档在通过电子邮件、第三方门户或分支上传到达的瞬间就会被摄取。Encore 会自动标记和组织它们,提取关键细节,如索赔编号和日期,并以清晰、可搜索的时间线呈现所有内容。

现在,处理者只需简单地说,“给我展示 John Doe 2024 年 3 月的汽车索赔的所有文档”,就能立即获得包含相关文档和缺失信息的即时摘要。

这导致索赔处理速度更快、准确性更高,客户也更满意。

呼叫中心支持

支持代表在同时处理过时系统和散乱的文档的同时,还要回答棘手的问题。大量支持电话无法仅凭业务应用中的数据解决。许多关键政策和索赔文档的细节仅存在于存储的文档图像中。这会导致长时间的等待和沮丧的呼叫者。

Encore 通过将政策文件、历史互动、常见问题解答和通话记录集中在一个智能内容中心来简化混乱。当客户问:“我的挡风玻璃损坏是否受保?”时,代理可以搜索那个确切的问题,并立即获得正确的摘录,以及相关的案例和类似查询。

这导致回答更快,通话更短,客户体验更好。

合规性和审计准备

当进行审计或合规性检查时,团队通常会急忙寻找多年的文档,如表格、证书和批准文件,这些文件通常被埋藏在孤立的系统中。

Encore 简化了审计流程。随着文档的上传或捕获,Encore 对其进行索引和分类,将每个文档与正确的流程或案例关联起来。在审计期间,团队可以立即调出所需的内容,查看摘要,甚至标记缺失的项目,如未签署的表格或过期的文件。

这导致审计响应更快,合规差距更少,且心情更舒畅。

使用 MongoDB 和 Encore 构建新的 EDM 平台

那么,Encore 有何不同之处?从根本上讲,Encore 从零开始重新构想 EDM。基于 MongoDB 构建,它摆脱了传统内容平台的僵化结构。文档被视为灵活的、智能的数据对象,而不仅仅是带有名称和日期的附件。

带有文本的云 AI 生成的内容可能不正确。

图 17.2:Encore 的 AI 驱动的内容智能平台

本图展示了 Encore 将非结构化企业内容转化为智能商业资产的方法。在左侧,来自组织各处的不同文档类型、电子邮件、图像和文件流入 Encore 的云原生平台。系统随后通过 AI 驱动的分类和组织处理这些分散的内容,在右侧提供三个核心智能能力:启用代理 AI以实现自主内容处理、AI 分析以实现自动化洞察和总结,以及企业搜索以实现即时内容发现。这个可视化展示了现代 EDM 平台如 Encore 如何突破传统数字文件柜的限制,创建活跃的智能内容生态系统,从而推动 AI 驱动的业务运营和决策。

即使在我们讨论 AI 之前,MongoDB 的 NoSQL 架构和丰富的搜索功能集也为传统 EDM 平台提供了实际的优势。例如,Atlas 的分面搜索功能提供了传统系统所不具备的直观内容过滤级别。

在向 AI 能力发展过程中,Encore 利用 MongoDB 对向量嵌入和向量搜索的支持,这些工具使 Encore 能够充分利用 AWS Bedrock LLM 和 GenAI 套件。几乎无需额外的配置或设置,用户发现他们的非结构化内容得以释放,进入 AI 的力量。

下面是 Encore 和 MongoDB 一起立即提供的内容:

  • 灵活性:无需重新设计数据库即可存储和演进您的内容

  • 实时搜索和访问:立即检索您所需的内容

  • AI 驱动的洞察:自动分类、提取和总结内容,无需更多手动标记或翻阅文件夹

这是为 AI 时代构建的 EDM。Encore 不仅允许您管理内容,还允许您激活内容。

EDM 现代化的紧迫性

组织拥有堆积如山的文档,其中大部分仍然无法搜索、非结构化和利用率低。无论是客户服务、合规、索赔处理还是审计,团队都在浪费时间挖掘静态文件。

现代化传统文档管理的业务案例远不止简单的存储改进。采用智能内容平台的组织在多个运营维度上实现变革性价值,从流程自动化到增强的安全框架。

图片

图 17.3:现代化对 EDM 的价值

此图展示了当组织使用 AI 驱动的平台现代化其文档管理基础设施时实现的全面业务效益。这种转型创造了相互关联的价值链,其中改进相互增强。AI 驱动的流程自动化是催化剂。当文档自动分类和路由时,信息可访问性自然会提高。这种增强的可查找性直接促进了丰富的协作,因为团队花在搜索上的时间减少,而花在共同处理内容上的时间增加。结果是决策速度更快,因为关键信息在需要时浮现。这些运营收益创造了生产力乘数效应。在文档任务上节省的时间在每位员工的互动中累积。同时,数据安全和合规管理协同工作。组织内容以实现可访问性的相同 AI 系统还识别敏感信息以进行保护。财务效益相互关联,因为自动化减少的运营成本使组织能够投资于战略举措,而增强的搜索和知识管理则防止了重复工作。这些相互关联的改进说明了为什么现代化的 EDM 代表了一种战略性的商业投资,而不仅仅是简单的技术升级。

AI 可以解决这个问题,但前提是它能够访问高质量、可读、结构化的内容。AI 创新通常失败并非因为模型薄弱,而是因为数据准备不足。非结构化内容是 AI 转型的“最后一公里”,而由 MongoDB 驱动的 Encore 则填补了这一差距。它使组织能够现代化其内容基础设施,释放隐藏的价值,并加速企业 AI 的道路。

现代解决方案如 Encore 展示了 MongoDB 的面向文档的架构如何使组织超越传统的数字文件系统。当与人工智能功能相结合时,这些平台将传统档案转化为可搜索的、智能的内容库,能够积极支持业务运营,而不仅仅是存储文档。

摘要

电子文档管理(EDM)从尘封的数字文件柜转变为人工智能驱动的智能内容平台,这一转变是由解锁暗数据的迫切需求所驱动的根本性转变。随着 90%的企业信息作为无法访问的非结构化内容被困住,年增长率为 55-65%,组织面临一个关键选择:进化他们的文档管理方法,或者眼睁睁地看着宝贵的商业智能被埋藏在旧系统中。基于 MongoDB 灵活的面向文档架构的现代 EDM 平台,如 Encore,展示了人工智能如何通过自动分类、向量搜索能力和与 AWS Bedrock 的无缝集成,将被动存储转化为积极的企业资产。

在索赔处理、呼叫中心支持和合规管理等方面的实际应用证明,智能文档平台通过大幅减少搜索时间、提高准确性和简化审计流程,能够立即带来可衡量的价值。现代面向文档的架构与人工智能驱动的内容智能的结合,使组织能够超越僵化的、依赖于模式的系统,转向能够自主理解、分类和综合信息的动态平台。这一演变将电子文档管理(EDM)定位为人工智能转型的关键最后一公里,适当的数据准备决定了企业人工智能项目能否成功实现可衡量的业务成果。

下一章探讨了组织如何通过与 MongoDB 的合作伙伴 Dataworkz 合作,在他们的企业中民主化代理人工智能,超越文档管理,构建能够自主工作以实现特定商业目标并带来即时运营转型的智能代理。

参考文献

  1. 报告:员工每天花费 3.6 小时寻找信息,导致倦怠增加venturebeat.com/business/report-employees-spend-3-6-hours-each-day-searching-for-info-increasing-burnout/

  2. 按时、按预算、按价值交付大规模 IT 项目www.mckinsey.com/capabilities/mckinsey-digital/our-insights/delivering-large-scale-it-projects-on-time-on-budget-and-on-value

  3. 暗数据www.gartner.com/en/information-technology/glossary/dark-data

  4. 数据未来:你应该了解的非结构化数据统计信息www.congruity360.com/blog/the-future-of-data-unstructured-data-statistics-you-should-know/

第十八章:使用 Dataworkz 和 MongoDB 民主化企业代理 AI

围绕人工智能的喧嚣比以往任何时候都要大,然而,大多数组织都难以将人工智能的潜力转化为有形、即时的商业价值。核心问题通常在于决策,因为公司陷入等待完美的数据基础设施、尝试需要数年才能完成的巨大变革,或者部署无法扩展的孤立解决方案。

代理人工智能系统自主工作以实现特定的商业目标,在无需持续人工监督的情况下做出决策和采取行动。这种向主动智能的转变使组织能够实施能够立即产生价值的同时,朝着更复杂的自动化方向发展的 AI 解决方案。

成功的 AI 采用不需要大量前期投资或数年的开发周期。通过涵盖金融服务、开发者运营和品牌管理的现实案例研究,我们将探讨不同成熟度的组织如何部署代理 AI 解决方案,以改变特定的业务流程,并在几周内而不是几年内实现可衡量的投资回报率。

在本章中,您将了解以下内容:

  • 数据成熟度光谱上不同组织如何实施适合其当前能力和基础设施的 AI 解决方案

  • 代理人工智能在金融服务、DevOps 和品牌传播等现实世界应用中,通过实际应用实现即时商业价值的作用

  • 客户洞察引擎通过动态场景生成和个性化反馈,将金融顾问培训进行变革的能力

  • 如何通过自动化管理任务和简化工作流程,DevOps 效率代理消除开发者生产力瓶颈

  • 品牌传播代理如何通过复杂的 RAG 和代理编排确保大规模通信的一致性

  • 简单有效的 AI 实施,无需大量前期投资或复杂的开发周期,就能提供可衡量的投资回报率

  • 现代数据架构,如 MongoDB Atlas,为快速 AI 开发和部署提供支持,适用于各种用例

  • 代理人工智能的未来轨迹,指向作为虚拟员工和值得信赖的伙伴的自主系统

为每个组织定制 AI

成功实施 AI 不是一项一刀切的任务。组织存在于数据成熟度的光谱上,每个组织都有其独特的挑战和机遇。了解您的组织在这个光谱上的位置对于制定能够利用当前能力产生即时影响的 AI 战略至关重要。以下是它在光谱上的表现:

  • 新兴组织:如果您正在处理碎片化的数据、有限的基础设施和内部技术人才的短缺,您的重点应放在建立基础数据实践和展示快速、有影响力的胜利,以建立势头和内部对 AI 采用的认可。

  • 发展中的组织:如果你被孤岛式数据系统、大量不无缝集成的点解决方案以及难以在整个企业中扩展初始人工智能成功所困扰,那么你的首要任务应该是统一数据、优化现有投资并构建可扩展的人工智能框架。

  • 成熟组织:这些组织数据丰富,通常拥有显著的技术能力,但仍可能面临诸如模型可解释性、从复杂数据流中获得实时洞察或在没有广泛人工监督的情况下完全自动化复杂流程等问题。对于这些公司来说,挑战通常在于解锁更深层次的智能和实现全面运营效率。

在您的组织中实现人工智能民主化的关键是实施适合您当前阶段的解决方案。一个关键推动者是采用现代数据架构。例如,MongoDB 向量搜索等技术提供了处理不同数据类型和支持人工智能驱动洞察动态需求的灵活性和可扩展性,使得无论您的成熟程度如何,快速的人工智能开发和部署都成为可能。

以下案例研究展示了不同成熟阶段的组织如何成功实施代理人工智能解决方案。

案例研究 1:客户洞察引擎 – 代理人工智能为金融顾问

Dataworkz 代理人工智能的一个领先案例是客户洞察引擎。该解决方案解决了金融服务中的一个关键需求:在不断变化的监管和市场环境中,金融顾问的持续、实用的技能发展。传统的培训方法往往无法提供构建信心和磨练金融咨询微妙艺术所需的动态、动手经验。

客户洞察引擎通过多代理架构运行,集成了各种数据源和处理能力。如图图 18.1所示,系统从组织的现有数据资产开始,包括 PDF 和 Salesforce 记录,这些数据被输入到一个由专门的 RAG 应用程序组成的协调网络中。中央 Dataworkz 代理协调不同工具之间的交互,从报告分析到文档处理再到 Salesforce 集成,综合每个组件的响应,通过 API 向外部应用程序提供全面的洞察。

图 18.1:客户洞察引擎架构

客户洞察引擎的主要目标简单而深刻。它提高了顾问的专业能力,确保了坚定不移的合规性,并最终显著改善了客户结果。它通过超越静态学习,转向由代理人工智能驱动的自主、互动式辅导系统来实现这一点。

这是您如何利用其代理组件来转变顾问培训的方法:

  • 动态场景生成:您可以根据具体的学习目标、当前市场状况和个别顾问的需求,生成无限量的真实和多样化的客户场景。这创造了一个真正动态的实践环境,它随着您的培训需求而发展。

  • 实时性能分析:当您的顾问在模拟客户交互中导航时,您可以监控他们的响应是否符合您建立的最佳实践框架、合规性指南和有效的客户参与策略。系统使用您直接提供给代理的指南实时分析性能。

  • 个性化反馈和指导:您可以超越简单的正确/错误评估,为您的顾问提供具体、可操作的改进建议。系统解释为什么某些方法更有效,以及如何改变响应的情感以更加专业。这使您能够提供全天候可用的个性化辅导。

  • 集成:您可以利用现有的内部知识库、行业最佳实践和现实世界的案例研究来指导场景生成和反馈机制。通过 RAG 技术,您可以找到并利用与顾问经验中最相似的场景。

通过部署客户洞察引擎,您可以为个人顾问以及您的整个金融公司带来显著和即时的价值:加速技能发展、增强信心、提高合规性、保持咨询质量的一致性、增强客户保留,最终实现业务增长。

案例研究 2:DevOps 效率代理 – 提升开发者生产力

除了面向外部的解决方案之外,代理 AI 在内部运营效率方面具有巨大的潜力。对于大型企业,尤其是在软件开发和 IT 运营领域,大量的开发者时间往往被行政开销、信息检索和常规任务自动化所消耗。Dataworkz 通过其DevOps 效率代理等解决方案应对这一挑战,这是代理 AI 如何为家庭办公室员工,尤其是开发者提高效率的一个例子。

DevOps 效率代理通过协调多个企业平台之间的交互,简化了开发者工作流程。如图图 18.2所示,系统通过集中的 Dataworkz 代理与您现有的工具,如 Confluence、Jira 和 Slack 无缝集成。当用户通过 Slack 机器人界面提交查询时,代理会根据上下文、严重性和关键词智能选择合适的工具,然后在响应中包含相关链接之前,根据需要检索现有信息或创建新项目。

图片

图 18.2:DevOps 效率代理工作流程

考虑企业开发者的典型工作流程:在多个平台之间导航,如内部知识库、任务跟踪系统、代码库和服务管理工具。每次上下文切换、每次搜索和每次手动创建工单都消耗了宝贵的时间,这些时间本可以用来创新和建设。研究表明,开发者的日常工作中,可能高达 25% 的时间,对于拥有数千名开发者的大型组织来说,被用于这些非编码任务。这代表着巨大的未被挖掘的效率提升。

DevOps 效率代理旨在成为开发和运维团队的高级副驾驶。它是一个面向内部的代理,简化了复杂的流程,自动化了日常的行政任务,并提供了对分散系统中的关键信息的即时访问。它作为开发者和他们日常使用的工具之间的智能中介,提供以下功能:

  • 智能信息检索和上下文问答:开发者可以与 AI 代理进行对话式交互,查询存储在各个存储库中的信息,如内部知识库、代码库、任务管理系统和服务管理系统。代理利用其对自然语言的理解以及从这些跨领域数据源访问和综合信息的能力,提供精确、可操作的反应。

  • 自动化行政任务执行:代理使开发者和利益相关者能够自动化常见的、耗时较长的行政任务。例如,开发者可以简单地要求代理创建一个针对“影响“Analytics Reporting”服务的“Sev 2”问题的“创建一个事件工单””,代理将与服务管理系统交互,以草稿状态创建一个工单,预先填充字段并关联相关数据。它还可以管理对较低环境的常规发布,所有这些操作都使用现有的草稿作为参考点。

DevOps 效率代理通过提供显著的时间节省、减少上下文切换、提高信息可访问性、增强开发者体验以及更快的故障事件解决和变更管理,为组织提供了实质性的、可衡量的价值。

案例研究 3:品牌信息代理 – 确保大规模的品牌沟通一致性

考虑到业务需求变化之快,在所有沟通中保持一致和真实的品牌信息至关重要,这对于信誉和认可至关重要。然而,对于大型组织来说,确保每个内部电子邮件、外部社交媒体帖子或客户沟通都遵循特定的风格指南可能是一项挑战。Dataworkz 利用代理式 AI 直接应对这一挑战,提供如 品牌信息代理 这样的解决方案,使组织能够创建始终如一地反映独特和已建立的品牌人格的内容。

品牌信息代理通过一个复杂的内容生成管道运行,确保所有沟通中的风格一致性。如图 18.3 所示,系统首先通过各种格式(Word 文档、PDF 和 Markdown 文件)摄取您组织现有的内容资产。当您提交内容请求时,Dataworkz 代理首先对意图进行分类(您是在创建博客文章、LinkedIn 更新、演讲还是电子邮件),然后使用 RAG 技术进行上下文研究和 LLM 能力进行意图分析。交互层根据您的特定风格指南生成草稿,允许用户确认和改进,并最终以您首选的格式输出内容。

图片

图 18.3:品牌信息代理架构

目标很简单:赋予从营销和传播到内部利益相关者等各个团队权力,让他们每次都能生成听起来和感觉上完全正确的内 容。这不仅仅是关于语法或拼写;这是关于细微差别、语气、特定措辞,甚至格式,所有这些都对独特的品牌身份做出了贡献。

品牌信息代理是一个智能系统,它结合了 RAG 和复杂的代理编排,以实现这种风格一致性。它旨在复制特定角色(让我们称其为Alex)的独特沟通风格,确保每一块内容都带有 Alex 所体现的权威而又平易近人的语气。

这里是如何实现这种代理解决方案的:

  • 专用上下文 AI 应用:对于 Alex 可能创建的每种内容类型(例如,内部团队更新、面向公众的思想领导力文章和销售接触信息),Dataworkz 使用我们的上下文 AI 框架构建一个专门的 RAG 应用。每个这些应用都精心配置了针对该内容类型的 Alex 特定风格指南,以及作为参考知识库的其过往沟通的全面集合。

  • 智能代理编排:当用户请求在特定主题上生成特定类型的内容时,中央品牌信息代理介入。该代理智能地识别适合请求内容类型的适当 RAG 应用,然后将用户的主题作为查询发送。RAG 应用作为一位高度见闻的策展人,从 Alex 过往内容的存档中检索出最符合风格和主题的相似示例。

  • 具有上下文指导的 GenAI:最后,代理将用户的原始请求以及由 MongoDB 驱动的 RAG 应用检索到的丰富、风格相关的示例结合起来,并指导一个 GenAI 模型创建新的内容。这种内容不仅解决了用户的具体主题,而且与 Alex 确立的风格、语气甚至首选格式保持一致。

品牌信息代理通过确保一致的品牌身份、加速内容创作、降低偏离品牌信息的风险、赋权非专家用户以及使沟通工作具有可扩展性,从而提供有形的价值。

这三个案例研究展示了一个关键见解。代理 AI 解决方案不需要多年的开发或大规模的基础设施改造,就能带来有意义的商业影响。无论您是在培训财务顾问、简化开发者工作流程,还是维护品牌一致性,关键在于识别特定的痛点,并实施与现有系统协同工作的针对性解决方案。这种实用的 AI 实施方法构成了任何组织都可以遵循以实现类似结果的框架基础。

使用 Dataworkz 和 MongoDB 实施有效的 AI 解决方案

一个常见的误解是,有影响力的 AI 需要多年的复杂开发和大量的前期投资。然而,我们探索的案例研究表明了一个不同的现实。简单的、有效的 AI 解决方案可以立即带来可衡量的商业价值。关键在于关注务实的实施,使 AI 在组织的各个部分都变得可访问和有用。

将您的 AI 策略付诸实践

您可以通过遵循强调快速部署而非完美解决方案的框架来实现可衡量的结果。从您当前的能力开始,并根据结果进行迭代。

以下关键原则概述了一个有效实施的框架:

  • 识别高影响用例:确定 AI 可以快速提供明确、可衡量价值的特定痛点或机会。

  • 利用现有数据:通过使用现代工程技术来摄取、转换和统一来源,从结构化数据库到半结构化云存储和 SaaS 应用程序,解锁现有、通常孤立的、数据的价值,使其为即时使用做好准备。

  • 敏捷原型设计和迭代:优先考虑快速原型设计和迭代开发,以快速看到工作的 AI 解决方案,尽早展示价值,并在整个生命周期中提供反馈,以完善代理的能力。这种敏捷方法最小化了风险并加速了价值实现的时间。通过灵活的 A/B 测试,您可以确保您的应用程序表现最佳。

  • 关注用户采用:一个 AI 工具的好坏取决于其采用率。您应该优先考虑直观的无代码和低代码界面,以及与现有工作流程的无缝集成。对于财务顾问、开发者和传播团队来说,这意味着对话式 AI 和自然、辅助的用户体验,确保工具真正被使用和接受,而不是成为技术上的奇观。

  • 架构考虑因素:任何成功 AI 实施的基石是一个可扩展的架构。你可以设计和实施可扩展的数据解决方案,通常利用 MongoDB Atlas 等技术与向量搜索相结合来为 AI 应用提供动力。其灵活的文档模型和可扩展性使其适合存储 AI 代理所需的各种数据,从用户交互到知识库,促进快速 AI 开发和部署。

这些实施原则为部署能够带来即时价值的智能代理 AI 解决方案提供了一个实用的路线图。然而,随着组织开始体验到这些自主系统的变革力量,值得考虑的是这项技术将何去何从,以及它将如何在未来几年重塑企业运营。

企业智能代理 AI 的未来方向

企业中 AI 的发展轨迹指向越来越复杂和自主的智能代理系统,这些系统作为虚拟员工行动。由 MongoDB 提供动力的 Dataworkz 等解决方案设想了一个未来,其中 AI 代理不仅仅是工具,而是企业运营中不可或缺的、积极主动的合作伙伴。

虽然 AI 将继续增强人类能力,但智能代理 AI 将越来越多地承担更复杂、积极主动的角色。想象一下,代理可以自主监控实时市场情绪,识别新兴风险,或在没有直接人类提示的情况下启动初步合规性检查。

这并不是关于取代人类专业知识,而是提升它。AI 代理将成为值得信赖的合作伙伴,处理常规或数据密集型任务,使人类专业人士能够专注于战略思考、复杂问题解决和关系建立。本章涵盖的案例研究都是这一现象的缩影,在同时提高输出质量的同时释放人力资源。

Dataworkz 致力于使高级 AI 对所有类型的组织都变得可访问,从大型金融机构到繁忙的 IT 部门和动态的营销团队。我们相信,智能代理 AI 的好处不应仅限于科技巨头。

随着 AI 系统获得更多自主权,道德考量变得至关重要。实施智能代理 AI 的组织必须优先考虑负责任的发展实践,确保在所有企业应用中公平、透明和强大的安全性。可解释的 AI 架构,允许利益相关者了解决策是如何做出的,对于在自主系统中培养信任和问责制变得越来越关键。

摘要

本章解决了一个当今组织面临的关键挑战:如何超越 AI 炒作和试点项目,实施能够带来切实、即时商业价值解决方案。核心问题不是技术能力,而是实施瘫痪;公司陷入等待完美的数据基础设施,尝试需要数年才能完成的巨大变革,或者部署无法在整个企业中扩展的孤立解决方案。

我们探讨了代理人工智能提供了一种根本不同的方法,从反应模型转向主动智能,这种智能能够自主工作以实现特定的商业目标。通过三个全面的案例研究,我们展示了实际应用:客户洞察引擎通过动态场景生成和个性化反馈,改变了金融顾问培训;DevOps 效率代理通过在多个平台(如 Confluence、Jira 和 Slack)上自动化行政任务,消除了开发者生产力瓶颈;品牌信息代理通过使用复杂的 RAG 和代理编排技术,确保大规模通信的一致性。我们提出的实施框架强调识别高影响用例、利用现有数据资产、敏捷原型设计和迭代、关注用户采用,以及使用现代技术(如具有向量搜索功能的 MongoDB Atlas)构建稳健的架构基础。

在下一章中,我们将探讨实现这一未来愿景的技术基础,研究如何像模型上下文协议MCP)这样的新兴标准正在革命性地改变人工智能的集成,并为由因果人工智能和上下文感知系统的发展所推动的更高级智能架构铺平道路。

第十九章:展望:超越今天的 AI

当我们开始这本书时,我们知道存在一种风险,即到读者阅读时,技术可能已经发生了变化。这就是 AI 的速度。但建筑原则超越了任何单一模型发布。这就是为什么我们专注于构建多年后仍保持相关性和适应性的概念。

在这些章节中,我们追踪了从现代化基础设施到智能架构的生动、有生命力的现实的轨迹:感知、适应和演化的系统。我们看到行业在野外证明了这些概念,将它们从抽象转化为运营优势。

这不是猜测。这些模式已经进入生产阶段。问题不再是它们是否会塑造企业系统,而是领导者将如何快速适应它们。未来不会属于单体或狭窄的点解决方案。它属于为上下文、互操作性和持续进化而构建的智能架构。随着代理对其网络拓扑和环境(无需早期时代的痛苦)的认识增强,自我配置的适应性将出现。随着软件能力的增强,连接性也将随之出现。系统将越来越多地捕捉其创造者的意图,而不仅仅是用来描述它们的代码、文字或图像。

因此,最后一章不仅仅是为了作为结论。它是下一阶段的起点。你今天做出的决定将决定你的系统能否跟上已经出现在地平线上的事物。

从工具到上下文:智能架构的兴起

传统的软件系统执行孤立的任务。当存在智能时,它是脆弱和反应性的。传统的记录系统只能跟踪发生了什么。几十年来,这些记录系统定义了企业 IT。它们仍然有其位置,但下一波企业系统将决定接下来应该发生什么。

智能架构正在出现,它们可以:

  • 感知和解释其环境,无需手动编码进行调整,例如,在移动到新的部署环境时自动重新配置。

  • 根据实时数据**调整其行为,例如,调整摄入功能以处理新的智能电表。

  • 通过多模态输入与人类和其他系统**进行交互,例如,外科医生在手术过程中在声音、视频和输入之间切换。

  • 先前结果中学习并优化未来表现

这些转变反映了人类行为,不是作为孤立的功能,而是作为模块化、记忆丰富、目标驱动的协作者。在企业中,这意味着构建数据访问、推理、工具执行和决策权本身就内置到架构中的系统。

MCP:构建上下文智能的基石

这一转变到自主智能体的最重要加速器之一是模型上下文协议MCP)。由 Anthropic 于 2024 年[1]提出,并被包括 MongoDB 在内的多个组织迅速采用,MCP 定义了智能体访问工具、管理权限和跨任务保留记忆的标准。

与传统的 ETL-like 方法(将上下文映射到数据可能需要数月或数年)不同,MCP 绕过了这一负担。考虑传统的元数据管理项目,其中全球产品 ID 必须痛苦地在品牌和国家之间进行协调。MCP 通过允许 LLMs 直接解释上下文并相应地采取行动,避免了这种复杂性,大大减少了集成时间。

实际上,MCP 提供:

  • 一种结构化的方式,让智能体发现和调用外部工具

  • 明确的授权边界,定义何时以及如何使用这些工具

  • 持久上下文,使智能体能够从过去的交互中学习

将 MCP 视为 AI 智能体及其操作工具之间的共享语言。它不是依赖于一次性集成,而是一个可组合的生态系统,其中上下文和治理被整合到每一次交互中。

MongoDB 的 MCP 服务器通过充当智能体接口(如 IDE、支持工具、内部共飞行员)和 MongoDB 功能库之间的连接组织体现这一方法。智能体可以做到以下几点:

  • 列出 Atlas 集群或集合

  • 创建或管理数据库用户

  • 在 MongoDB 集合中读取、写入或索引数据

  • 描述模式或提出性能优化建议

图 19.1:MongoDB MCP 服务器如何使智能体能够访问上下文工具

图 19.1 展示了 MongoDB MCP 服务器如何将 Atlas 管理连接到数据库操作,为智能体提供安全、策略感知的工作流程。

使用 MCP,这些操作成为安全、策略感知的工作流程。它们不仅连接工具,还通过记忆、实时适应和累积经验来协调它们。所有这些都保持在定义的范围内。

因果 AI:超越预测,迈向影响

单一的预测并不能定义企业 AI 的下一阶段。为了塑造结果,系统必须理解事件发生的原因,而不仅仅是可能发生的事情。

因果 AI 映射表示因果关系,使干预措施既可解释又以结果为导向。它将系统从对模式的反应转变为塑造决策。在金融服务中,除了将投资组合标记为表现不佳之外,因果系统可以确定确切的驱动因素(宏观经济指标、行业转变、投资组合构成),并在采取行动之前模拟干预措施(如重新分配或对冲)的影响。在客户体验方面,它可能揭示流失更多是由延迟的入职而不是定价驱动的,从而清楚地表明应该拉动哪个杠杆。

因果 AI 通过使结果可追溯、可解释和可问责,使决策更加清晰。但挑战是显著的:它们需要更干净的数据、更强的模型设计,以及将统计推断与领域专业知识相结合的判断。

随着自主性的增长,对可解释性的需求也将增加。在高风险行业中,领导者将坚持要求系统不仅能够展示其推荐的内容,还要说明为什么这个推荐会有效以及它将如何改变结果。在企业架构中,因果 AI 将与预测和生成系统并肩而立,提供将感知与行动联系起来的推理层。其集成将取决于:

  • 数据准备:支持因果推理的强大、良好管理的数据集。

  • 模拟环境:在部署前测试干预措施的安全的沙盒。

  • 治理框架:确保因果模型反映道德、监管和业务约束的政策。

在企业架构中,因果 AI 更像是一个信任加速器,而不是一个新功能。当系统能够用人类语言解释其推理时,利益相关者更有可能采用并依赖它们做出关键决策。

内存架构:为智能代理提供持久上下文

随着代理能力的增强,它们从无状态的实用工具转变为高度情境化的合作者。像人一样,它们发展历史、偏好和连续性意识,但只有当它们的架构被设计为能够记住时。如果没有这一点,它们就像健忘症患者一样,每次互动都像是从头开始。

软件代理也面临着任何托管服务相同的日常风险:停电、网络故障,甚至一个任性的清洁工拔掉服务器。与可以无后果替换的相同、无状态的容器群不同,智能代理依赖于它们随着时间的推移所建立的环境。这就是记忆进入架构的地方。

传统数据库提供CRUD创建读取更新删除)。代理需要更多,我们可以将其总结为RALF记住适应学习遗忘。他们需要灵活、具有偏差意识、高性能的数据层,能够承受故障、跨越多个实例,并在时间上保持上下文。这些不是老式 RDBMS 的优势。它们是现代文档数据库(如 MongoDB)的标志,尤其是在与以下结合使用时:

  • 向量数据库用于语义回忆(例如,MongoDB Atlas Vector Search)

  • RAG 管道用于动态上下文注入

  • 代理记忆框架,例如 LangGraph、MemGPT 或 MongoDB 自身的代理记忆功能

这些模式共同使代理能够回忆先前的互动,随着时间的推移进行个性化,并保持目标导向的状态。它们还带来了责任:防止过时或带有偏见的知识,执行隐私保护,并设计可以解释为什么某些事物被记住或遗忘的生命周期。

投入是值得的。记忆将代理从反应性工具转变为主动的合作伙伴。在客户服务中,它们不会重复提出相同的问题。在工业维护中,它们将根据多年的性能数据预测故障。在每一个领域,它们将根据所需的上下文和连续性采取行动,以在一段时间内更可靠地做出更好的决策。

宪法 AI:用原则治理智能

如果因果 AI 关乎推理,那么宪法 AI 关乎价值观。它确保智能系统不仅具有能力,而且受到可以阅读、辩论和随时间改进的原则的引导。

由 Anthropic 开发和推广的宪法 AI 不仅训练模型以人类反馈或真实情况为基础,还基于一套书面指导规则,这种类似于宪法的规则塑造了系统的行为、响应和对其行为的推理方式[2]。这些规则可能包括对有益性、无害性、诚实、公平以及在不明确时刻尊重人类判断的承诺。

这种方法部分源于从人类反馈中进行强化学习RLHF)的局限性。虽然 RLHF 有效,但它成本高昂、不透明,并且高度依赖于人类评分者的质量。结果听起来可能很礼貌,但并不始终一致。宪法 AI 将一致性提升到上游。它不是在每一个转折点都依赖人类判断,而是允许模型根据明确的原则对其输出进行批判,并根据自己的响应调整这些原则,从而实现:

  • 可扩展性:一旦原则被写下来,就可以广泛应用,无需数百万次的手动标注

  • 透明度:行为可以追溯到书面规则,而不是隐藏的评分函数

  • 一致性:响应在边缘情况和随时间推移中保持更稳定

但这并不意味着难题会消失。谁决定哪些原则最重要?冲突如何解决?我们如何处理文化细微差别?即使像“避免冒犯”这样的规则在不同行业或地区也可能意味着非常不同的含义。

然而,架构上的含义是明确的。可治理性必须内置于设计之中,而不是作为事后考虑的补充。正如 MCP 标准化了代理的行为,因果 AI 结构化了他们的推理方式,宪法 AI 设定了评判他们行为的标准。这些元素共同为设计上强大、可解释且值得信赖的 AI 系统构建了框架。

多代理系统:从单一模型到协作智能

如果一个 AI 模型可以学习、推理、计划和行动,那么当你将数百个这样的模型放在一起,每个模型都有自己的角色、记忆和视角时,会发生什么?

这不再是一个理论问题。多智能体系统已经在现实世界中运行:在制造业中,协调预测性维护、流程优化和质量控制;在医疗保健中,整合多个专业的输入以实现协调护理;在金融中,将投资组合管理和风险评估分配给专业代理。这些实施展示了多智能体架构如何迅速从实验转向生产。

这种模式简单明了,但具有变革性。多个相互作用的代理,每个代理都针对特定功能进行了优化,合作解决任何单一模型都无法触及的问题。AutoGPT、BabyAGI、OpenDevin 和 ChatDev 等项目通过模拟具有定义角色(规划者、编码者、评论家、测试员)的工作流程,并在迭代循环中传递任务来证明这一点。斯坦福、伯克利和谷歌 DeepMind 的研究小组现在正在调查这种模式的潜力和风险。

优势是令人信服的:

  • 任务分解到专业角色

  • 并行执行以加快工作流程

  • 交叉检查以减少错误

  • 通过代理之间的交互产生涌现创造力

然而,随着复杂性的增加,风险也随之而来。多智能体系统可以产生反馈循环、未预见的依赖关系或满足即时目标但错过预期结果的战略。

为了这些系统能够运行,它们需要一个共享的环境,其中代理可以实时存储、读取和更新上下文。MongoDB 通过灵活的文档模式支持这一点,以适应不同的代理输出,通过变更流实现即时事件传播,通过向量搜索实现语义协调,以及基于角色的访问控制来维护边界。在实践中,分布式计算的原则正在应用于推理实体以及服务。

多智能体系统也不孤立存在。它们依赖于本章前面描述的治理框架、因果推理和记忆架构。这就是这些元素汇聚的地方。智能架构在作为相互依赖的社会而不是孤立的表现者时,在规模上证明了自己的价值。

回顾过去,展望未来:领域的模式

当我们进入最后阶段时,停下来反思这段旅程是值得的。在这些章节中,我们追踪了现代计算中最重大的转变之一:将人工智能操作化为现实世界系统的结构。最初是学术研究,现在已经成熟为一个分层、细腻且准备扩展的建筑学科,其中智能代理、基于检索的定位和多模态数据集成汇聚在一起,以支持跨行业的决策、个性化、优化和发现。

这本书并非旨在用抽象术语预测 AI 的未来。相反,它的目的是为实践者、架构师和决策者提供一个实际和概念性的基础,以理解今天的 AI 系统是如何构建的,性能良好的架构与脆弱架构的区别,以及这些系统是如何在制造业、媒体、零售、金融、保险和医疗保健等多样化的行业中大规模部署的。

在本节的结尾部分,我们总结了全书探讨的关键思想。我们通过回顾早期章节中阐述的核心架构原则和第二部分讨论的特定领域部署来实现这一点。

基础架构:从理论到实践

本书的前半部分定义了使生成和代理 AI 成为可能的架构原语和系统级概念。我们首先澄清了常被误用或误解的术语:生成 AIGenAI)、检索增强生成RAG)和代理系统。

这些都代表了不同的架构类别。基于大型语言模型LLMs)构建的 GenAI 系统可以生成连贯且上下文合理的输出,但默认情况下缺乏基础。RAG 系统通过实时检索外部知识并附加到模型上下文窗口来增强生成模型。这种模式引入了可追溯性和事实基础,减轻了幻觉,并使输出可解释。

代理系统进一步扩展了这一点。它们不仅在一个输入-输出循环上操作,而是维护记忆、调用工具、跨步骤协调,甚至与其他代理交互。它们不仅从狭义上的提示,而且在更广泛的意义上,即不断演变的状态和目标导向上具有情境意识。这些系统使我们更接近自主软件,尽管始终受政策、记忆和架构的限制。

为了支持这些系统,本书深入探讨了向量嵌入的作用,这是语义的数值表示,允许系统在非结构化内容上进行搜索、聚类和推理。嵌入实现了语义搜索、个性化推荐、文档分类以及文本、图像和结构化数据之间的跨模态对齐。我们展示了嵌入如何在 RAG 和代理架构中成为基础,尤其是在向量启用文档数据库中存储时。

通过这个视角,我们介绍了行动系统概念:这些数据库不仅设计用来存储数据,还能实现人类与 AI 代理之间的实时决策、自动化和协作。我们探讨了面向文档的架构如何提供所需的灵活性来处理多种数据类型,同时保持智能应用所需的性能特征。

这本书的基础部分以对可信赖的人工智能和现代化的处理结束。我们确定,成功的 AI 实施不仅需要技术能力,还需要确保公平、透明和法规合规的治理结构。然后,我们展示了 AI 如何加速现代化努力,通过智能自动化将遗留代码和系统进行转型。在这个过程中,我们确立了理解第二部分:现实世界案例研究和实施中探讨的应用所需的架构背景。

行业应用:通过多样性进行验证

这本书的第二部分从基础转向应用。每一章都基于一个特定的行业,但共同来看,这些用例揭示了超越领域的架构模式。变化的不在于系统的结构,而在于数据的形式、监管约束和运营需求。从这个比较分析中,出现了一套共享的设计原则。

制造业展示了人工智能在物理操作上最直观的影响。在这里,智能系统将供应链从反应式转变为预测式,通过多标准分类优化库存,这种分类结合了定量指标和来自客户评价及供应商沟通的定性洞察。最引人注目的架构是多智能体系统,它协调预测性维护、流程优化和质量保证,每个智能体都有独立的记忆和反馈循环,通过文档数据库中的共享上下文实现统一。制造业还揭示了如何通过 GenAI 保留机构知识,否则这些知识将在经验丰富的工人退休时丢失,将机构知识转化为可搜索、可操作的见解。在汽车应用中,我们探讨了人工智能如何推动下一代车内体验和自动驾驶车队管理,这需要在不同数据速度的系统之间进行实时协调,而不创建危险的代理孤岛。

媒体和电信行业展示了那些面临推荐流量下降和平台依赖的部门如何利用人工智能进行转型。在这里,人工智能增强的搜索将传统的关键词匹配转变为以意图驱动的体验,理解用户上下文和偏好。内容个性化成为关键的区别因素,RAG 系统使大规模生成动态、定制化的体验成为可能。搜索生成式体验展示了传统信息检索如何演变成为对话式、上下文感知的交互,降低跳出率并加深用户参与度。在电信领域,代理式 AIOps 框架展示了复杂网络操作如何自动化和优化,实时欺诈检测系统处理数百万事件。这些行业强调了关键洞察:推动内容推荐的同一种架构,根据数据源和界面要求,也可以推动运营卓越。

零售业展示了人工智能在客户旅程的各个方面所展现的力量。在这里,人工智能增强的搜索功能使客户能够通过自然语言查询找到产品,超越了简单的关键词匹配,理解意图和上下文。个性化的营销和内容生成展示了人工智能的可扩展性优势,系统能够同时为数百万客户提供定制化的体验。需求预测和预测分析展示了零售商如何从被动转向主动规划,通过智能预测优化库存和供应链管理。店内互动的数字化揭示了实体零售如何从与数字渠道相同的智能中受益,通过数字收据和实时个性化等技术弥合线上线下体验之间的差距。对话式和代理式聊天机器人成为客户服务的变革性工具,提供自主、上下文感知的辅助,不断学习和适应客户需求。

金融服务提出了可能最复杂的监管和安全要求,需要平衡创新与合规的解决方案。在这里,我们追溯了从预测分析到生成式 AI 再到代理系统的演变,展示了每个阶段都是基于前一个阶段来创建更高级的能力。信贷申请的转型展示了人工智能如何使金融服务更具包容性,同时保持风险管理标准。企业知识管理系统展示了生成式 AI 如何革命性地改变内部运营,帮助员工访问和综合大量的监管和程序信息。客户体验转型成为了一个关键主题,AI 驱动的交互提供了个性化、实时的支持,同时保持了金融服务所必需的信任和安全标准。在环境、社会和治理(ESG)分析、支付处理和资本市场的高级应用展示了人工智能在整个金融生态系统中的潜在影响范围。从这个行业的一个关键洞察是语义数据保护的重要性,这些方法在保护敏感信息的同时保留了数据的含义和效用。

保险业揭示了人工智能如何改变世界上数据密集型产业之一。在这里,我们探讨了领域驱动的人工智能实施,展示了如何通过集成的数据存储统一处理结构化保单数据和如照片和报告等非结构化文档。承保自动化案例研究展示了书中最戏剧性的变革,将报价周期从数周缩短至数分钟,同时保持准确性和合规性。这展示了 RAG 架构与高性能推理的结合如何带来变革性的商业价值。索赔处理展示了人工智能在处理涉及多种数据类型和利益相关者的复杂工作流程中的力量。在客户沟通、损失评估、保单解释和监管合规之间协调的代理系统,展示了自主代理如何编排复杂的企业流程。保险行业验证了一个关键架构原则:成功的 AI 应用必须直接嵌入到业务工作流程中,而不是作为独立的系统运行。

医疗保健既代表了我们最大的机遇,也代表了我们最关键的挑战,因为 AI 的错误可能会影响人类的生活。在这里,我们探讨了如何碎片化的数据系统导致了47 分钟问题,有经验的临床医生在寻找信息上花费的时间比提供病人护理的时间还要多。面向文档的架构和外观模式可以在保持医疗保健标准如 HL7 FHIR 的同时,促进 AI 创新。AI 驱动的护理协调展示了多智能体系统如何能够在保持人类监督和合规性的同时,跨专业综合信息。医学影像 AI 揭示了统一临床背景的重要性,展示了诊断准确性如何依赖于完整的病人信息,而不是孤立的分析。自然语言临床智能将提供者与数据之间的交互从复杂的数据库查询转变为对话式的临床沟通。医疗保健的转型验证了我们的核心论点:AI 代理需要统一、全面的数据背景才能有效和安全。碎片化的系统创造了危险的代理孤岛,在那里 AI 在没有完整的临床图像的情况下运作。

合作伙伴生态系统:在统一基础上实现的专业卓越

在我们的行业探索过程中,我们见证了如何一个繁荣的合作伙伴生态系统将平台能力扩展到特定领域的应用。Cognigy展示了在危机情况下,对话式 AI 如何扩展到每分钟处理数千次交互,将客户沟通从被动支持转变为智能、情境化的参与。RegData展示了语义数据保护如何能够在保持严格的安全标准的同时,促进 AI 创新,证明了合规性和能力不必是相互对立的力量。

Iguazio通过通用人工智能共飞行员改变了财富管理,允许关系经理从行政任务转向高价值的客户互动。这一举措在生产力客户满意度方面都带来了可衡量的改进。Fireworks AI通过高性能推理能力实现了实时保险承保,将长达数周的过程缩短为几分钟的决定,而不会牺牲准确性。Encore通过将静态存储转变为智能、AI 驱动的平台,从而激活而不是仅仅归档组织知识,彻底改变了文档管理。

Dataworkz展示了如何将代理 AI 民主化,应用于不同技术成熟度的组织中,提供定制解决方案,无论现有基础设施的复杂性如何,都能提供即时的商业价值。在这些合作伙伴关系中,一个清晰的模式出现了:当统一的数据架构与专业领域的专业知识相结合时,就会产生变革性的 AI 应用,这些应用是单独的组件无法实现的。

领域间的通用模式

尽管用例多样,但一些原则在每个章节和每个合作伙伴的实施中都反复出现:

  • 情境是一等公民。将大型语言模型建立在语义相关数据上,这是新颖性和实用性的区别。每个成功的实施都将丰富、全面的情境置于模型复杂性之上。

  • 记忆是基础设施。长期运行的代理需要持久、可查询和可检查的记忆。无论是用于知识重用的向量搜索还是持久代理状态,那些记住的系统能够提供更多情境智能的结果。

  • 检索是一个控制面。大型语言模型所知的内容不再仅限于其训练权重;它由其可以检索的内容所中介。RAG 架构被证明对于在组织知识中确立人工智能至关重要。

  • 架构是命运。从文档管理到承保自动化,那些构建灵活、模块化系统的人适应得最快。系统结果、准确性、可追溯性和性能更多地取决于组件如何交互,而不是选择了哪个模型。

  • 治理不再是可选项。我们自动化程度越高,就越需要使价值观和政策机器可读。宪法人工智能、语义数据保护和可解释决策制定成为监管行业的关键要求。

  • 可组合性获胜。从医疗保健中的语义管道到银行业的可配置人工智能工厂,即插即用的架构使实验免于混乱。最成功的组织构建了组件可以混合、匹配和独立演化的系统。

  • 统一数据基础促进专用应用。每个行业、每个合作伙伴、每个用例的成功都归功于灵活、统一的数据架构,这些架构能够适应多样化的需求,而不会损害性能或一致性。

本书不仅提供了一组词汇,还提供了一种参考架构。它展示了如何使生成人工智能、RAG 和代理系统可组合、可观察和可扩展,无论领域如何。随着人工智能应用的深入,成功将更多地取决于应用正确的系统思维,而不是拥有正确的模型。这种方法必须建立在清晰的基础上,以开放数据原则为基石,并与明确的运营目的保持一致。

最后的想法:架构是智慧

我们正站在人工智能新范式的前沿,不仅仅是更强大的模型,还有更有意图的架构。轨迹是清晰的:从孤立的预测到集成、情境化和受控的系统,这些系统能够在动态环境中推理、行动和适应。正是在这样的背景下,我们见证了从记录系统行动系统的过渡。

参考文献

  1. 介绍模型上下文协议www.anthropic.com/news/model-context-protocol

  2. 宪法 AI:来自 AI 反馈的无害性www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback

第二十章:后记

当我们撰写这篇文档时,我们深感这个项目自从最初提出将我们分散的行业洞察力整合成一本连贯指南以来已经取得了多么大的进展。起初,这是一项组织现有知识的努力,但最终演变成我们从未预料到的东西:一个连接 AI 理论与生产现实的全面框架。

写作的过程也改变了我们看待自身经验的方式。起初是记录案例研究,很快转变为认识到更深层次的力量在发挥作用。我们意识到,关于数据、治理和系统设计的决策始终影响着结果。与其说是一系列脱节的叙述,不如说章节揭示了一个更大的图景。真正的突破来自于将技术选择与商业现实相一致。

我们学到的

撰写这本书强化了三个在我们开始时并不明显的关键洞察。首先,成功的 AI 实施集中在数据架构上。我们研究的每一个具有变革性的应用程序,从实时欺诈检测到临床报告生成,都取得了成功,因为这些组织在担心模型选择之前,投资于统一和灵活的数据基础。

其次,通用人工智能(GenAI)、阅读-回答(RAG)系统和代理架构代表了系统设计的基本不同方法。每种方法都对数据管理、治理和运营监督有独特的要求。那些蓬勃发展的公司理解这些差异,并故意选择他们的架构模式。

最后,AI 代理需要全面的环境才能既有效又安全。我们遇到的最危险的实施并不是那些未能产生智能输出的,而是那些在信息不完整的情况下运行的系统。无论是在医疗保健、金融服务还是制造业,数据碎片化创造了碎片化的智能,而碎片化的智能又创造了运营风险。

建筑洞察

在这个旅程的早期,我们就清楚地意识到基础设施选择对客户将通用人工智能(GenAI)驱动的应用程序投入生产的能力有着重大影响。在我们研究的每一个实施案例中,建立在旧但熟悉的技术(如关系数据库管理系统 RDBMS)之上的应用程序在技术蔓延和运营复杂性上产生了巨大的阻力,导致项目迅速枯萎并失败。

同时,文档导向型数据库已成为现代时代的统一平台。线索一直都在那里,随着我们追踪技术要求跨越各个行业而浮现。向量嵌入、运营数据、分析工作负载和代理记忆都汇聚于相同的架构模式。灵活的架构可以随着智能应用程序的发展而演变,同时保持实时决策所需的性能特征。

这种趋同表明了关于企业软件未来的深刻见解。我们正在见证我们所称的“行动系统”的出现:这些平台不仅设计用来存储数据,而且能够促进人类与人工智能代理之间的智能协作。其影响远远超出了任何单一技术栈。

不仅仅是案例研究

本书涵盖的行业(制造业、媒体、零售、金融服务、保险和医疗保健)只是开始。正如我们在各个领域与科技领导者交流并旅行时所见,类似的模式无处不在。运输公司正在优化物流网络,能源公司正在协调分布式发电,教育机构正在大规模个性化学习体验。

架构原则保持一致。实施细节会有所不同,但对于值得信赖、可扩展、智能系统的核心要求在各个领域保持惊人稳定。这让我们有信心,这里提出的框架将随着人工智能能力的持续发展而保持相关性。

我们的合作伙伴生态系统验证了这一信念。像 Cognigy、RegData、Iguazio、Fireworks AI、Encore 和 Dataworkz 这样的公司不仅提供了专业化的能力。他们展示了统一数据架构如何在不同用例中实现快速创新。他们的成功故事强化了一个关键论点:当灵活的平台与领域专业知识相遇时,就会出现变革性的人工智能应用。

接下来是什么

如果你已经走到这一步,你很可能会面临自己的人工智能实施决策。我们的建议很简单:了解你的用例,并利用它来指导你的架构。如果你的用例需要生成式人工智能(GenAI),那么你需要一个集成了向量搜索、嵌入和重新排序等能力,以及如灵活的架构、安全性和性能等基本功能的统一平台。如果最令人信服的人工智能演示无法访问其在生产中安全有效运行所需的信息,那么它就变得无关紧要了。

在担心模型选择或界面设计之前,先专注于创建统一、全面的数据上下文。投资于能够随着你的 AI 能力发展的治理结构。即使你从简单的自动化开始,也要为代理协调进行设计。最重要的是,记住值得信赖的人工智能不仅仅是关于算法公平性;它关乎的是人类可以理解、监控和控制系统。

技术格局将继续快速发展。不会改变的是,我们需要基于完整信息、受明确政策治理、旨在增强而非取代人类判断的人工智能系统。

未来属于那些能够快速行动同时保持安全、高效扩展同时保持质量、持续创新同时建立信任的组织。本书中的架构原则和实现模式为那个未来提供了路线图。

我们很期待看到您接下来会构建什么!

请通过industry.solutions@mongodb.com与我们联系,分享您的 AI 实施经验,或访问www.mongodb.com/resources/use-cases/artificial-intelligence获取更多资源、案例研究更新和社区讨论。

第二十一章:索引

A

高级代理架构,组件

代理 169

大脑 169

记忆 169

工具 169

代理人工智能 37,252,381

基础 38,39

用于将零售预测分析进行转型 238,239

用于将零售聊天机器人进行转型 246

工作 42,43

用于网络管理的代理人工智能操作 200

人工智能驱动的网络系统,用于电信 200-203

人工智能驱动的运营 204

欺诈检测和预防 204,205

代理人工智能解决方案

案例研究 419-426

代理人工智能系统 331,332

与 LLMs 相比 332

代理系统

架构特性 336-340

代理配置文件 185

人工智能

用于库存优化 123

制造 116,117

定制化,适用于每个组织 418,419

人工智能代理 39,40,380

特性 38

核心组件 40

人工智能数据设计

实际考虑因素 56

人工智能驱动的数字银行体验 266

人工智能驱动的数字银行数据 267

客户体验,通过通用人工智能提升 266

参考解决方案架构 268

人工智能驱动的客户支持参考解决方案架构 267

人工智能驱动的 ESG 分析 275,276

政策和法规合规 278,279

在理赔流程中的人工智能驱动的改进

领域驱动的人工智能实施 343-346

集成 340

层 341-343

成熟度和实施策略 341

承保和风险管理 346-350

人工智能驱动的营销

现代数据库,用于可扩展 231-234

AI 增强的金融犯罪减轻和合规 269

利用 AI 减轻金融犯罪 270

MongoDB 在 AML 中的作用 272,274

MongoDB 在 KYC 中的作用 272-274

监管智能和政策自动化 271,272

战略商业效益 274,275

趋势重新定义,新兴 270

AI 演变 16

LLMs 的兴起 18,19

AI 在制造业中的扩展作用 187

连接的车队事件经理 188

维护优化 188

生产再优化 187

质量检验报告 187

供应链编排 187

AI 金融演变 252

信用申请,利用 AI 进行转型 254

领域特定嵌入 253

更智能的信用系统,使用 MongoDB 构建 255-258

AI 在保险业

未来 354

用例 350-353

AI 在零售业

AI 驱动的商品执行 247

动态劳动力编排 247

扩展 246

主动损失预防 247

实时可持续性优化 248

自愈的商店运营 247

AI 模式 438

AI 驱动的信用分析 259

AI 驱动的现代化

使用,以解锁创新 92,93

AI 驱动的网络系统

电信领域构建,范围 200-203

AI 驱动的运营 204

AI 就绪数据架构

构建 359

AI 就绪数据基础

可用性 53

构建 46

合规性 54

数据一致性 50

数据质量 50

治理 54

模型微调 55

模型训练 55

性能 53

RAG 51

实时上下文 51

可扩展性 53

安全性 54

统一数据访问架构 48,49

人工智能革命 378,379

传统解决方案 379

人工智能解决方案

实施,使用 Dataworkz 427

实施,使用 MongoDB 427

人工智能战略

未来,在企业中使用 Dataworkz 428

转化为行动 427

人工智能术语 380

代理人工智能 381

人工智能代理 380

通用人工智能 (GenAI) 380

AlphaGo 18

年度美元使用量 (adu) 131

反洗钱 (AML) 269

Apache Spark 17

API 网关

使用 MongoDB 302

使用 RegData 的提示装饰 302

应用架构

操作性结构化和非结构化数据,管理 336

应用程序管道 321

近似最近邻 (ANN) 27

架构模式

人工智能驱动的护理协调 391

临床上下文 393

用于视觉诊断的通用人工智能 (GenAI),使用 395,396

实施 391

医学视觉问答 396

自然语言临床智能 393

语义搜索 394

专用代理角色,协调 392,393

向量嵌入,应用 397,398

人工智能 (AI) 17

Atlas 向量搜索

参考链接 31

原子性、一致性、隔离性和持久性 (ACID) 409

平均处理时间 (AHT) 217

B

银行、金融服务和保险 (BFSI) 领域 67

偏差审计 68

二进制大对象 (BLOBs) 48

品牌信息代理 424-426

破碎的工作流程 358,359

牛鞭效应 118

商业行业分类 (BIC) 362

商业智能 (BI) 55

商业模式创新 4

商业支持系统 (BSS) 193

C

通话详细记录 (CDRs) 205

资本市场部门 283

人工智能驱动的投资组合管理 286, 287

人工智能在金融服务中的作用 290-292

智能投资组合管理 284, 285

使用人工智能 (AI) 代理的智能投资组合管理 288-290

投资组合管理,通过代理人工智能重新构想 284

随意人工智能地图 434

CentralReach 394

思维链 (Chain-of-Thought, CoT) 20

思维链 (Chain-of-Thought, CoT) 260

字符大对象 (CLOBs) 48

分块 25

参考链接 29

客户识别数据 (CID) 296

客户洞察引擎 419

临床研究报告 (CSRs) 399

革命性的,与通用人工智能 (GenAI) 399

革命性的,与 MongoDB 399

临床试验叙述 (CTNs) 400

通信服务提供商 (CSPs) 200

合规性 54

合规性和监管考虑因素 310-312

综合语义保护架构

建设 301-304

计算机化维护管理系统 (CMMS) 157

基于条件的维护 (CBM) 148

宪法人工智能 436

联系中心即服务 (CCaaS) 平台 214

内容发现和个性化 194

内容建议和个性化平台 195, 196

内容摘要和重新格式化 196

自动创建见解和摘要 197

关键词和实体提取 196

上下文语义保护 299, 300

集成数据存储 335

对话式和代理聊天机器人 243

核心技术组件

文档架构 360, 361

Fireworks AI365,366

MongoDB Atlas,用于现代数据库基础设施 364,365

管道转换,处理 361-363

RAG 优势 363,364

设置 360

创建、读取、更新、删除(CRUD)435

CUDA17

D

数据 19

数据架构

发展 329

发展,阶段 328

数据架构,具备 AI 能力

保险领域的 AI,频谱 330-334

应用 334-336

索赔处理,例如 329,330

数据基础 93,95

利益 94

数据湖 55

数据管道 320

数据保护困境

在金融 AI 中 296,297

Dataworkz

用于实施有效的 AI 解决方案 427

确定性分词 301

DevOps 效率代理 421,423

故障诊断代码(DTCs)168

数字专家 41

医学数字成像与通信(DICOM)388

数字收据

作为数据催化剂 239,241

发现与分类模块 299

基于文档的数据模型 385

文档管理

通过 Encore 重新定义 411

文档管理,使用 Encore

客户服务中心支持 412

索赔处理 411

合规性和审计准备 412

领域驱动 AI

实施 343-346

领域特定嵌入 253

E

电子健康记录(EHRs)377

嵌入器 24

嵌入模型 24

AI 应用策略 28,29

关键阶段 25

关键词匹配 30,31

语义搜索的多模态应用 32

语义搜索 30

向量数据库 26-28

Encore 407

重要性 413, 414

用于构建 EDM 平台 412, 413

用于重新定义文档管理 411

端到端测试 99, 100

企业文档管理 (EDM) 407

平台,使用 MongoDB 构建 412, 413

企业 JavaBeans (EJBs) 99

企业知识管理 (EKM) 251

GenAI 的集成 265

由 GenAI 驱动的架构考虑 263, 264

GenAI 在银行中的应用案例 262

革命性,在银行中使用 GenAI 260

系统,在银行中的转型 261, 262

传统挑战,在银行中 261

环境、社会和治理 (ESG) 5, 275, 441

基于事件的架构

用于自主行动 339, 340

交易所交易基金 (ETFs) 286

可解释人工智能 (XAI) 255

提取、转换、加载 (ETL) 53

F

门面模式 386

快速医疗互操作性资源 (FHIR) 378

金融 AI

数据保护困境 296, 297

金融行业监管局 (FINRA) 322

金融服务业 (FSI) 295, 321

金融犯罪 270

FireOptimizer 365

爆竹 AI 359, 365, 366

舰队运营优化 173

逻辑和物理架构 174, 176

MongoDB 用于车队管理的优势 186

MongoDB 用于车队调度 176

调度代理 173, 174

食品配送平台

库存挑战,应对 228

格式保留令牌化 299

基础架构 438, 439

生态系统 442

行业应用 439-441

通用模式 442, 443

碎片化 49

欺诈检测和预防 204, 205

G

游戏化学习体验 199

Gear Transmission Systems Ltd 150

GenAI 252, 380

层 341-343

使用,以满足现代零售的内容需求 229, 230

使用,以重塑零售领域的预测分析 236, 237

使用,以革新临床研究报告 (CSRs) 399

GenAI 聊天机器人 264

GenAI 共同飞行员

规模化 317, 318

工作 318, 319

GenAI 时代 18

GenAI 工厂 320, 321

FSI 工程学,需要 321-323

FSI 用例 323

由 GenAI 驱动的智能呼叫中心分析应用 324

GenAI 库存分类演示

由 AI 驱动的标准,生成 135, 136

分析,运行 137, 138

基本分类 134, 135

标准,整合到分类中 136, 137

权重控制 137, 138

由 GenAI 驱动的库存分类 123, 124

代理应用程序,创建以执行基于标准的转换 129, 130

评估标准,设计 126, 127

评估标准,存储 128

实施,方法论 124, 125

重新运行 131, 132

向量嵌入,从非结构化数据存储 125, 126

由 GenAI 驱动的供应链优化 118, 119

多级规划方法 119, 120

生成式人工智能(GenAI)解决方案 324

生成式人工智能(GenAI)改变医疗保健 381

架构,建设 382

数据架构挑战 383

生成式人工智能(GenAI) 3, 15, 115, 223, 251, 331, 413

挑战 22

内容,从模式中创建 19, 20

数据转换,进入向量 23, 24

局限性 22

需要 121, 122

驱动库存分类 123

工作 20, 21

生成式人工智能(GenAI),检索增强生成(RAG) 438

谷歌云

人工智能领导力 171

云平台 171

开发者工具 172

集成人工智能 171

可扩展的基础设施 172

谷歌云集成 167

治理 54

H

Hadoop MapReduce 17

医疗保健数据未来

基于文档的数据模型 385

灵活性和互操作性,388

灵活性和互操作性,通过外观模型增强 386

需要 384

堆栈 389, 390

健康水平七(HL7)的 378

层次可导航小世界(HNSW) 27

HL7 FHIR 379

人在回路(HITL) 38

混合保护策略 309, 310

混合搜索方法 35, 36

超个性化车内体验 164

高级代理架构 168, 169

人工智能集成车内系统优势 172

生成式人工智能(GenAI) 166

谷歌云 171

车载语音助手,人工智能解决方案 165

车载语音助手,挑战 165

MongoDB 171

车辆手册的 RAG 实施 170

解决方案架构 167, 168

I

识别和验证 (ID&V) 217

车载助手

转型 166

创新 4

商业模式创新 4

流程创新 4

产品创新 4

社会创新 5

解锁,借助人工智能现代化 92, 93

创新,借助人工智能现代化

分析 98, 99

代码转换和测试 101-107

部署和迁移 107, 108

工厂流程,自动化 96

协调 96, 97

测试生成 99, 101

工作,基于数据基础 93, 95

智力和发展障碍 (IDD) 394

智能架构 432

智能护理交付系统 398, 401

国际银行账户号码 (IBAN) 格式 299

物联网 (IoT) 8

库存分类和优化方法 120

ABC 分析 120, 121

MCIC 121

J

JavaScript 对象表示法 (JSON) 337, 365

K

关键绩效指标 (KPIs) 217

关键词匹配 30, 31

知识管理和保存 161

人工智能解决方案 161, 162

机构知识挑战 161, 162

实时知识应用 163

知识管理方法

文档 161

导师制 161

培训计划 161

了解你的客户 (KYC) 269

L

湖屋 55

大型语言模型(LLMs) 5,16,124,214,229,252,331,359,410,438

通过上下文数据增强 32,33

用于 RAG 的索赔管理 351

用于 PDF 搜索应用 353

与代理式 AI 系统 332

传统系统 8

本地可解释模型无关解释(LIME) 255

长期记忆 185

M

机器学习(ML) 17

机器学习模型 330

机器学习操作(MLOps) 235

媒体和电信

内容发现和个人化 194

内容建议和个人化 196

内容建议和个人化平台 195

内容摘要和重新格式化 196

进化 192,193

媒体和电信,AI 的作用 206

定价模型 206

视频搜索和剪辑 207

内存架构 435

机器学习(ML)和 CI/CD 管道 321

模型

微调 55

模型上下文协议(MCP) 296,308,309,432

模型训练 55

现代人工智能代理

突破 211

案例研究 210

Cognigy 的代理式 AI 212

进化 210

卓越,扩展 216-218

局限性 211

现代数据需求 213

MongoDB 的作用 213

个人化 218

实时性能,在关键时刻 215

真实世界应用 213,214

技术基础,实现无缝集成 215

现代数据平台 12

AI 力量 13

创新,通过敏捷性和速度实现 12

现代化,简化 13

现代化 8

驱动创新的人工智能 10

人工智能局限性 10, 11

挑战 88-92

常见策略 9

动机 89

现代零售商,进化

语义向量搜索 225-228

MongoDB

加速开发 172

带有 302 的 API 网关

汽车行业存在感 172

面向文档的数据模型 172

故障预测 153, 154

用于库存优化 123

机器优先级 152

维护指南生成 156, 157

带有 303 的保护向量搜索

维修计划生成器 155

用于构建 EDM 平台 412, 413

用于实施有效的 AI 解决方案 427

用于革命性的临床试验报告 (CSRs) 399

规模化的向量存储 172

MongoDB Atlas 132, 160, 167

人工智能驱动的库存分类管道 132, 133

对于库存管理的益处 142

需求预测 141

GenAI 库存分类演示 134

库存管理,为工业 5.0 重新构想 142

库存优化 140, 141

通过代理人工智能进行原材料管理 139, 140

用于现代数据库基础设施 364, 365

MongoDB 在车队管理中的优势 186

MongoDB 用于车队调度 176, 177

代理配置文件和说明 177

连接的车队事件顾问 180, 181

数据类型和存储 184, 186

事件顾问架构 181-183

短期和长期记忆 178-180

MongoDB 查询语言 (MQL) 104

MongoDB 的作用

在 ESG 数据管理中 277

MongoDB 矢量搜索 419

监控和反馈系统 321

多智能体协作 146

多智能体系统 41, 437

优势 437

多标准库存分类 (MCIC) 121

多模态 275, 276

语义搜索的多模态应用 32

N

自然语言处理 (NLP) 18, 116

Novo Nordisk 400

NovoScribe 400

O

在线事务处理 (OLTP) 55

运营支持系统 (OSS) 193

最佳维护策略 148

基于条件的维护 (CBM) 148

预测性维护 148

预防性维护 148

反应性维护 148

订单管理系统 (OMS) 237

总体设备效率 (OEE) 153

P

基于纸张的测试 101

PDF 搜索应用

使用大型语言模型 (LLMs) 353

使用矢量搜索 353

个性化,人工智能代理 218

架构 218

综合要求 220

管理和合规框架 220

准确性的风险 219

技术基础 218, 219

个人可识别信息 (PII) 220, 296, 324

简单旧式 Java 对象 (POJOs) 99

销售点 (POS) 237

在 242 进行个性化

实际考虑因素,人工智能数据设计 56

数据流 57, 58

数据结构 56, 57

预测性人工智能 252

预测分析

通过在零售中使用通用人工智能进行重塑 236, 237

通过在零售中使用代理人工智能进行转型 238, 239

预测性维护 146, 148

人工智能 (AI) 151

MongoDB 151

多代理协作系统 158

最佳维护策略 148

生产环境,优化 159,160

状态和挑战 149-151

工作 147

预测性维护代理 159

预防性维护 148

流程创新 4

流程优化代理 159

产品创新 4

生产级 RAG 实现 368

提示工程 19

提示 19

Q

定性转型 367

质量保证代理 159

服务质量(QoS) 199

定量影响 366

可查询加密 54

引用请求 369,371,372

R

RAG 优势 363,364

反应性维护 148

实时上下文 51

实时全渠道客户档案

建设 241

RegData 的数据安全平台(DSP)

MongoDB,作为基础 302

RegData 的提示装饰

带有 302 的 API 网关

RegData 的保护套件(RPS) 305

强化学习 18

从人类反馈中进行强化学习(RLHF) 436

关系迁移器(RM)工具 99

记住,适应,学习,忘记(RALF) 435

零售聊天机器人

转型,使用代理式 AI 246

零售行业,采用先进技术

对话式和代理式聊天机器人 243-246

需求预测 235-239

店内互动,智能数字化 239,240,241,242

个性化营销和内容生成 229-234

预测分析 235-239

零售搜索

转型 225,226

检索增强生成 (RAG) 5, 15, 32, 33, 51, 153, 197, 223, 252

实施,以增强人工智能应用 34

局限性 34

工作 33, 34

投资回报率 (ROI) 152, 284

机器人流程自动化 (RPA) 4

根域名实体 336

S

搜索引擎优化 (SEO) 196

搜索生成体验 (SGEs) 197, 198, 224

游戏化学习体验 199

服务保证 199

智能对话界面 198

搜索结果

精炼 36, 37

安全 54

语义数据保护

高级技术 299

领域特定智能,以增强安全和性能 304-308

MongoDB 方法 297

分区,使用标记类别 300

原则 297-299

RegData 方法 297

Voyage AI 方法 297

语义数据保护,高级技术

上下文语义保护 301

语义数据保护,高级技术和标准 308

合规性和监管考虑因素 310-312

混合保护策略 309, 310

MCP 308, 309

语义搜索 30

语义向量搜索 224-228

服务保证 199

服务级别协议 (SLAs) 199, 336

SHapley Additive exPlanations (SHAP) 255

短期记忆 185

智能对话界面 198

更智能的信用系统

优势 255

健康的社会决定因素 (SDOH) 384

社会创新 5

SQL 紧身衣 409

利益相关者参与 68

直达支付处理 (STP) 279

商业展望 280

未来领导者,定义 283

GenAI 角色 280-282

战略转折点 5

概述临床有效性 (SCE) 400

概述临床安全性 (SCS) 400

供应链规划

运营层面 120

战略层面 120

战术层面 120

可持续金融披露法规 (SFDR) 275

系统集成商 (SI) 150

行动系统 48

行动数据库系统

成本管理 59

数据生命周期管理 59

部署模式 58

维护工作流程 59

迁移策略,从遗留系统 60

实施运营 58

优化 59

性能监控 59

资源分配 59

团队培训和采用,考虑因素 60

T

技术创新 368

更广泛的技术采用 375

每日运营,转型 373, 374

行业影响和影响 374

生产级 RAG 实施 368

报价请求 369-372

监管考虑因素 375

技术现代化 8

网络安全改进 8

数字化 8

数字化 8

集成 8

系统升级 8

电信即服务 (TaaS) 207

文本搜索 35

存活时间 (TTL) 27

总拥有成本 (TCO) 389

传统 EDM 系统

数字文件柜时代 408, 410, 411

转换器 18

翻译层 126

透明度和可解释性 255

可信人工智能

原则,在紫罗兰织物中 67

U

超高净值 (UHNW) 305

统一客户视图

构建 226,227

统一数据访问

架构 48,49

V

矢量数据库 26

需要 26,27,28

矢量搜索 35

矢量搜索

用于 RAG 的索赔管理 351

用于 PDF 搜索应用程序 353

语音活动检测 (VAD) 318

波动率指数 (VIX) 286

Voyage AI 207

使用 303 进行受保护的矢量搜索

Voyage AIs 嵌入模型

参考链接 26

W

财富关系管理 316

GenAI 协作者,扩展 317,318

GenAI 协作者,工作 318,319

packtpub.com

订阅我们的在线数字图书馆,全面访问超过 7,000 本书和视频,以及领先的行业工具,帮助你规划个人发展和职业进步。欲了解更多信息,请访问我们的网站。

为什么订阅?

  • 通过来自 4,000 多位行业专业人士的实用电子书和视频,节省学习时间,增加编码时间

  • 通过为你量身定制的技能计划提高你的学习效果

  • 每月免费获得一本电子书或视频

  • 完全可搜索,便于轻松访问关键信息

  • 复制粘贴、打印和收藏内容

www.packtpub.com,你还可以阅读一系列免费的技术文章,订阅各种免费通讯,并享受 Packt 书籍和电子书的独家折扣和优惠。

你可能还会喜欢的其他书籍

如果你喜欢这本书,你可能对 Packt 出版的其他书籍也感兴趣:

使用 MongoDB 的高性能

Asya Kamsky, Ger Hartnett, Alex Bevilacqua

ISBN: 978-1-83702-263-2

  • 诊断和解决部署中的常见性能瓶颈

  • 设计架构和索引以最大化吞吐量和效率

  • 调整 WiredTiger 存储引擎并管理系统资源以实现最佳性能

  • 利用分片和复制进行扩展并确保正常运行时间

  • 积极监控、调试和维护部署以预防问题

  • 通过客户端驱动配置提高应用程序响应速度

官方 MongoDB 指南

Rachelle Palmer, Jeffrey Allen, Parker Faucher, Alison Huh, Lander Kerbey, Maya Raman, Lauren Tran

ISBN: 978-1-83702-197-0

  • 构建安全、可扩展和性能卓越的应用程序

  • 为实际工作负载设计高效的数据模型和索引

  • 编写强大的查询以排序、过滤和投影数据

  • 使用身份验证和加密保护应用程序

  • 使用 AI 驱动和 IDE 工具加速编码

  • 有信心启动、扩展和管理 MongoDB Atlas

  • 解锁高级功能,如 Atlas Search 和 Atlas Vector Search

  • 应用 MongoDB 自己的工程领导者证明的技术

封面

MongoDB Essentials

ISBN: 978-1-80670-609-9

  • 理解 MongoDB 的文档模型和架构

  • 快速设置 MongoDB 本地部署

  • 设计符合应用程序访问模式的架构

  • 高效执行 CRUD 和聚合操作

  • 使用工具优化查询性能和可伸缩性

  • 探索 AI 驱动的功能,如 Atlas Search 和 Atlas Vector Search

Packt 正在寻找像你这样的作者

如果你有兴趣成为 Packt 的作者,请访问authors.packt.com并今天申请。我们已与成千上万的开发者和技术专业人士合作,就像你一样,帮助他们将见解分享给全球技术社区。你可以提交一般申请,申请我们正在招募作者的特定热门话题,或者提交你自己的想法。

分享你的想法

现在你已经完成了《面向智能 AI 就绪企业的架构》,我们很乐意听听你的想法!如果你在亚马逊购买了这本书,请点击此处直接转到该书的亚马逊评论页面并分享你的反馈或在该购买网站上留下评论。

你的评论对我们和整个技术社区都很重要,并将帮助我们确保我们提供高质量的内容。

下载此书的免费 PDF 副本

感谢您购买此书!

你喜欢在路上阅读,但无法携带你的印刷书籍到处走吗?

你的电子书购买是否与你的选择设备不兼容?

别担心,现在每购买一本 Packt 书籍,你都可以免费获得该书的 DRM 免费 PDF 版本。

在任何地方、任何设备上阅读。从你最喜欢的技术书籍中直接搜索、复制和粘贴代码到你的应用程序中。

优惠远不止这些,你还可以获得独家折扣、时事通讯和每日收件箱中的精彩免费内容。

按照以下简单步骤获取这些好处:

  1. 扫描下面的二维码或访问以下链接:

二维码

packt.link/free-ebook/9781806117154

  1. 提交你的购买证明。

  2. 就这样!我们将直接将你的免费 PDF 和其他好处发送到你的电子邮件。

posted @ 2026-07-27 16:27  绝不原创的飞龙  阅读(11)  评论(0)    收藏  举报