华为云受邀出席AICon2024 分享AI Agent在企业生产中的技术实践

近日, InfoQ在北京举办行业技术盛会——AICon全球人工智能开发与应用大会2024,华为云aPaaS首席架构师陈星亮受邀出席,和技术爱好者分享AI Agent在企业生产中的技术实践。

大模型技术发展浪潮下,AI Agent成为新一代AI原生应用范式。当前,在问答、交互类应用中,大模型+AI Agent已经给用户带来新一代体验。但当AI Agent进入企业生产场景时,会面临新的挑战,如:企业生产场景的专业复杂问题、AI生成结果难以达到生产场景的可用标准以及主题偏离、恶意诱导等安全防护问题。华为云aPaaS首席架构师陈星亮从上述痛点和挑战出发,分享华为云在实际场景的技术实践,解决企业引入AI生成技术的瓶颈,使得AI Agent在企业生产场景得以成功运用。

华为云aPaaS首席架构师陈星亮在AICon现场分享

AI Agent进入企业生产场景时的挑战

AI Agent引领了新一波人工智能技术浪潮,进入企业生产场景时主要面临四类挑战:

  • 专业性:特定领域的专业复杂问题需要专业知识,Agent理解难度大,生产场景要求输出准确率大于90%,并且要专业、简洁、高效;
  • 协作性:大模型、传统模型、现有API协同调度难,在业务流程中难闭环;
  • 责任性:企业生产和客户服务场景对输出严肃性要求高,要保证内容的正确、及时、完整、可解释;
  • 安全性:专业知识是企业核心资产,既要共享,又要防泄露,大模型框架内集成的模块或本身可能含漏洞,成为安全威胁。

华为云在AI Agent的探索与实践

针对专业性、协作性、责任性、安全性四大挑战,华为云进行了五大技术探索:

一、企业词表

1)多轮理解和主动澄清,将指令理解准确率提升到90%以上;

2)优化知识地图,分门别类建设企业词表;

3)建设大模型数据准入标准,完善数据治理标准并持续清洗

二、模型编排

大模型善于理解生成,小模型精于感知执行,将模型编排能力和原有IT系统、原有传统模型结合起来,解决复杂问题

三、外挂知识库

让动态知识快速更新和循环,紧跟企业知识更新节奏,确保实时交互体验

四、防退化

纳入数据飞轮能力,基于知识的敏感度提高循环频率,加快知识库更新迭代,不断赋予AI Agent持续自学习能力,保持数据最新

五、防安全风险

企业对模型自身的安全很难去做提升,可以从数据、大模型交互、Agent应用自身这三个角度提升安全能力:

  • 数据安全:在训练过程中,对敏感数据自动化识别和归类,评估清洗程度和可暴露程度,平衡可用性和隐私保护;在推理过程中,识别输入的敏感数据,过滤和替换后,无感知还原输出内容
  • 模型交互安全:在企业内部建好模型网关,把内外部模型统一接入起来,并在此基础上搭建三层安全隔离带,第一层针对模型返回的内容建立安全评分滤网,通过通检或抽检方式及时发现模型自身的安全问题;第二层建立企业信息安全滤网,检查所有的调用,看是否包含敏感信息;第三层建立企业领域滤网,各领域的敏感词和控制力度不一,各领域基于这套机制自行控制,更好地将关键信息隔离在内部
  • Agent框架应用安全:在跟模型交互过程中,要把Agent规划的动作和原有的安全技术检查结合起来;在任务执行过程中,针对代码执行的环境,要加上对应的安全技术;应用框架自身和三方组件中可能存在漏洞、服务越权问题,要多加关注,及时防护。
AI原生应用引擎产品体验入口

华为云将上述技术实践融入了自身平台型产品——AI原生应用引擎,面向企业提供低门槛、高效率Agent开发/运行平台,将大模型能力接入到应用中,使能企业场景应用智能化,充分释放AI大模型价值。

AI Agent在企业生产场景的运用效果

场景案例1:客服助手

随着业务量逐年增加,业务团队面临人力持续增长的压力,使用Agent降本增效已经迫在眉睫。研发团队通过Prompt+垂域知识增强检索,搭建原始框架,基于人工标注、外挂知识库微调大模型,再通过制定标注规范、融入客服作业流,驱动作业和AI训练双循环等手段逐步提升标注质量,最终准确率达到90%。

场景案例2:会议纪要生成

基于大模型、ASR语音识别、智能文档解析等模型编排,完善会议纪要总结能力,经过语音转写、ASR纠错、口水稿分段、核心观点提取等步骤,大幅提升会议纪要生成效果。

场景案例3:生产指挥

Agent进入专业领域后,带来了很大的工程能力挑战。研发团队在原有机制的技术基础之上做了对应的优化,通过多轮澄清、任务分解、API检索、序列长度控制等手段,最终在智能巡检等专业场景上取得了良好效果。

未来展望

未来大致会有三类AI Agent,围绕企业生产场景,帮助人、事、物更高效的完成工作任务。

第一是人+AI:规划、协同完成复杂任务,现在大部分都是面向人的任务,帮助人甚至替代人处理一些事情;

第二是事+AI:分解、执行业务功能,Agent在应用中占的比重会越来越大,逐渐取代一些原有的应用;

第三是物+AI:感知、改变物理世界,在企业中,尤其是工业场景,让设备变得智能化也将势在必行。

随着大模型、Agent技术的提升,Agent将进入更多的企业生产场景,使用程度逐渐加深,使用难度慢慢变弱,希望未来大家一起把这些技术做得更加工具化、产品化和平台化,让各行各业都能更容易地实现智能化。

 

点击关注,第一时间了解华为云新鲜技术~

 

posted @ 2024-05-24 08:36  华为云开发者联盟  阅读(11)  评论(0编辑  收藏  举报