测试case数据分析

结论：

当前的case问题主要分为三类：

native_rag测试问题：检索不到相关内容占比较大73.6%，部分检索到占比15.7%，检索相关性差5.2%。

native_rag测试问题解决：使用agentic_rag 可以解决19个case

native_rag VS agentic_rag时间分析：native_rag 平均耗时 3.9s，agentic_rag 平均耗时 28.1s，大约为7.2倍的耗时

问题类型	检索不到	部分检索	检索相关性差
native_rag占比	14/19=73.6%	3/19=15.7%	1/19=5.2%

备注：19条数据（两个模型同时打分小于3分），16条数据存在赵鑫的数据中refrence

case：

序号	query	原因	具体原因	refrence	文档真实内容	问题质量	问题质量原因	是否可以解决	解决的图片
1	在WorkVisual中，KRL编辑器的颜色代表什么含义？	检索差	未检索到颜色信息，检索内容相关性不是最高	KRL编辑器会识别输入代码的组成部分并自动用不同的颜色来表示。		低质量	1. 无实际应用场景（未关联编程 / 调试等实操环节）； 2. 仅询问基础定义，无参数 / 步骤 / 目标等实用信息，无法直接指导操作	agentic_rag 可以解决
2	如何通过MCP协议将大模型与KUKA机器人API集成？这种集成对操作界面有何影响？	检索不到内容&回复差	实用性不足			低质量	1. 范围模糊：未限定 KUKA 系统版本（如 KSS 8.3）、API 类型； 2. 信息缺失：未说明集成场景（如程序传输 / 远程控制）、前提条件（如权限 / 硬件连接）	agentic_rag 可以解决
3	在云部署场景中，如何确保机器人控制系统与云端服务的安全通信？	检索不到				低质量	1. 范围模糊：未限定 KUKA 系统版本、云端服务类型（如 KUKA Cloud）、通信场景（如数据同步 / 远程调试）； 2. 无具体需求（如加密等级 / 合规标准），实用性低	agentic_rag 可以解决
4	作为KUKA机器人系统技术员，在进行节拍时间测量和优化练习时，如何正确执行名为“Zeitmessung”的程序以测量装盘、卸盘和总耗时？	检索不到	可操作性不足，实用性低			高质量	1. 针对性强：限定场景（节拍时间测量优化）、程序名称（Zeitmessung）、测量对象（装盘 / 卸盘 / 总耗时）； 2. 实用性高：贴合实操场景，明确 “执行程序” 的核心动作，可直接对应解决方案； 3. 逻辑清晰：明确 “要做什么（执行程序）+ 要达到什么效果（测量耗时）”	agentic_rag 可以解决
5	在识别方块位置时，如何将位置数据保存到 $config.dat 文件中？	检索不到&模型生成内容泛化				低质量	1. 信息缺失：未限定 KUKA 系统版本、方块识别场景（如视觉识别 / 手动定位）、位置数据类型（如笛卡尔坐标 / 轴坐标）； 2. 无前提条件（如专家权限 / 程序状态）	agentic_rag 可以解决
6	在KUKA机器人编程中，如何使用DEF关键字来定义一个中断例程？	检索到内容，检索DEF但是和中断例程无关，导致模型生成幻觉				低质量	1. 仅询问基础语法使用，无应用场景（如故障处理 / 信号响应）； 2. 无参数配置、安全注意事项等实用信息，无实际操作指导价值	agentic_rag 可以解决
7	在KUKA机器人编程中，使用TIME_BLOCK START指令时，对于其前后的样条段编程有什么建议？	检索到内容，样条运动的通用编程原则，未与TIME_BLOCK START指令相关联，问题原因				高质量	1. 针对性强：限定指令（TIME_BLOCK START）、关联功能模块（样条段编程）； 2. 实用性高：贴合编程实操，询问 “编程建议” 可直接指导程序编写； 3. 逻辑清晰：明确 “指令使用 + 关联编程” 的核心需求	agentic_rag 可以解决
8	在SUBMIT解释器编程中，如何控制E1轴？	SUBMIT解释器 和 控制E1轴 在检索到的内容中没有关联性				低质量	1. 信息缺失：未限定 KUKA 系统版本、控制场景（如手动运行 / 自动程序）、控制目标（如速度 / 位置控制）； 2. 范围模糊：未说明 SUBMIT 解释器的编程环境（如 WorkVisual / 专家界面）	agentic_rag 可以解决
9	如何激活C_PTP？	检索不到				低质量	1. 范围模糊：未限定 KUKA 系统版本、激活场景（如编程初始化 / 调试）； 2. 信息缺失：无前提条件（如权限 / 硬件状态）、无目标效果（如激活后用于何种运动）	agentic_rag 可以解决
10	在配置KUKA机器人运动系统时，如果$RED_ACC_EMX参数设置不当，会导致哪些具体问题？	检索不到				高质量	1. 针对性强：限定参数（$RED_ACC_EMX）、场景（运动系统配置）； 2. 实用性高：贴合调试场景，询问 “具体问题” 可指导故障排查； 3. 逻辑清晰：明确 “参数设置 + 问题反馈” 的关联需求	agentic_rag 可以解决
11	在调试KUKA机器人时，如果激活了扭矩模式但机器人释放制动器后发生漂移，如何根据系统变量$HOLDING_TORQUE和$HOLDING_TORQUE_MAND来诊断问题并确保安全编程？	检索不到				高质量	1. 针对性强：限定场景（扭矩模式调试）、故障现象（制动器释放后漂移）、系统变量（$HOLDING_TORQUE 等）； 2. 实用性高：贴合故障处理，明确 “诊断问题 + 安全编程” 的目标； 3. 逻辑清晰：包含 “故障现象 + 工具（系统变量）+ 目标” 的完整结构	agentic_rag 可以解决
12	在KUKA机器人系统中，如何通过STEP功能实现程序的单步执行，并描述其与提交解释器状态切换的关联操作？	检索不到				高质量	1. 针对性强：限定功能（STEP 功能）、操作（程序单步执行）、关联模块（提交解释器状态切换）； 2. 实用性高：贴合编程调试实操，需描述 “操作步骤 + 关联动作”； 3. 逻辑清晰：明确 “实现单步执行 + 描述关联操作” 的核心需求	agentic_rag 可以解决
13	在KRL编程中，如果我想使用PULSE指令控制输出端50产生一个脉冲，但又在脉冲期间手动复位了输出端，实际的脉冲曲线会怎么变化？请结合PULSE指令的优先级和重叠处理规则说明。	检索不到				高质量	1. 针对性强：限定指令（PULSE）、输出端（50）、场景（脉冲期间手动复位）； 2. 实用性高：贴合编程实操中的异常处理，需结合规则分析结果； 3. 逻辑清晰：明确 “操作场景 + 疑问点 + 需结合的规则”，表述完整	agentic_rag 可以解决
14	在机器人程序中，如果使用RESET_TORQUE_LIMITS()触发了提前运行停止，怎么才能防止这个停止？	检索不到				高质量	1. 针对性强：限定函数（RESET_TORQUE_LIMITS ()）、故障现象（提前运行停止）； 2. 实用性高：贴合程序调试，明确 “防止停止” 的实操目标； 3. 逻辑清晰：“故障触发 + 解决需求” 的结构完整，无模糊表述	agentic_rag 可以解决
15	在KUKA机器人编程中，如何声明一个在上级程序层面也有效的中断，并确保其能正确响应外部信号事件？请描述完整的配置步骤和关键注意事项。	检索不到				高质量	1. 针对性强：限定中断范围（上级程序层面有效）、触发条件（外部信号事件）； 2. 实用性高：要求 “完整配置步骤 + 关键注意事项”，可直接指导实操； 3. 逻辑清晰：明确 “声明中断 + 确保响应” 的目标，结构完整	agentic_rag 可以解决
16	在KUKA机器人控制系统中，如果一个中断被禁用后其触发事件多次发生，之后重新许用该中断，机器人控制系统将如何反应？请结合中断标记机制说明其行为。	检索不到				高质量	1. 针对性强：限定场景（中断禁用后触发事件多次发生 + 重新许用）、关联机制（中断标记机制）； 2. 实用性高：贴合调试中的中断逻辑分析，需结合机制说明行为； 3. 逻辑清晰：“场景 + 疑问 + 需结合的机制” 表述明确	agentic_rag 可以解决
17	在配置KUKA机器人运动系统时，如何结合等待功能与外部转换的坐标系设置来完成一个完整的定位任务？					低质量	1. 范围模糊：未限定 KUKA 系统版本、等待功能类型（如 WAIT FOR/WAIT SEC）、坐标系类型（如基坐标 / 工具坐标）； 2. 信息缺失：无定位任务的具体要求（如精度 / 目标位置）、前提条件	agentic_rag 可以解决
18	作为一名KUKA机器人系统技术员，在编写一个需要传感器校正和精确模拟输出的程序时，如何正确配置系统变量$TECH_ANA_FLT_OFF以确保ANOUT行指令的精度，并请描述从激活传感器校正到设置静态模拟输出的完整操作步骤？	检索不到				高质量	1. 针对性强：限定场景（传感器校正 + 精确模拟输出）、系统变量（$TECH_ANA_FLT_OFF）、指令（ANOUT）； 2. 实用性高：要求 “完整操作步骤”，可直接指导编程实操； 3. 逻辑清晰：明确 “配置变量 + 操作步骤 + 目标（确保精度）”，信息完整	agentic_rag 可以解决
19	在使用KUKA系统软件8.3进行机器人编程时，如果需要在SCIRC圆弧运动中设置软件限位开关以防止机器人碰撞，应该如何操作？请描述从编程到设置安全限位的完整流程。	检索不到				高质量	1. 针对性强：限定系统版本（KUKA 8.3）、运动类型（SCIRC 圆弧运动）、功能（设置软件限位开关）； 2. 实用性高：贴合安全编程场景，要求 “完整流程”，可直接落地； 3. 逻辑清晰：明确 “编程 + 设置限位 + 防止碰撞” 的核心需求，表述完整	agentic_rag 可以解决

 

native_rag VS agentic_rag 时间分析：

• 答案生成：native_rag 平均耗时 3.9s，agentic_rag 平均耗时 28.1s，大约为7.2倍的耗时，主要是因为agentic_rag生成内容长度更长、更全面、更具体
• 首token耗时：native_rag 平均耗时 1.16s，agentic_rag 平均耗时 1.28s
• 非首token平均耗时：native_rag 平均耗时 0.01785s，agentic_rag 平均耗时 0.0805s
• 总token长度：native_rag 平均长度66.7个 ，agentic_rag 平均长度 337个
• 答案字符长度：native_rag 平均长度297.6个，agentic_rag 平均耗时 1678个

query	native_rag					agentic_rag					agentic_rag-native_rag			ratio
	总token长度	答案字符长度	首token耗时(秒)	非首token平均耗时(秒)	答案生成总耗时(秒)	总token长度	答案字符长度	首token耗时(秒)	非首token平均耗时(秒)	答案生成总耗时(秒)	首token耗时diff	非首token平均耗时diff	答案生成总耗时diff	首token耗时ratio	非首token平均耗时ratio	答案生成总耗时ratio
在WorkVisual中，KRL编辑器的颜色代表什么含义？	80	352	1.2445	0.0401	4.4254	483	2483	2.5763	0.0564	29.7862	1.3318	0.0163	25.3608	107%	1%	573%
如何通过MCP协议将大模型与KUKA机器人API集成？这种集成对操作界面有何影响？	143	634	1.5816	0.0339	6.3958	910	4011	4.5143	0.1157	109.7632	2.9327	0.0818	103.3674	185%	5%	1616%
在云部署场景中，如何确保机器人控制系统与云端服务的安全通信？	101	453	1.5716	0.0344	5.0311	616	2833	2.5959	0.1819	114.5292	1.0243	0.1475	109.4981	65%	9%	2176%
作为KUKA机器人系统技术员，在进行节拍时间测量和优化练习时，如何正确执行名为“Zeitmessung”的程序以测量装盘、卸盘和总耗时？	239	1070	1.5586	0.0387	10.8062	940	4486	2.8963	0.1041	100.6889	1.3377	0.0654	89.8827	86%	4%	832%
在识别方块位置时，如何将位置数据保存到 $config.dat 文件中？	87	358	1.3395	0.0264	3.6203	962	5669	2.5853	0.0884	87.5873	1.2458	0.062	83.967	93%	5%	2319%
在KUKA机器人编程中，如何使用DEF关键字来定义一个中断例程？	135	601	9.4985	0.0468	15.7862	679	3293	2.4692	0.0899	63.4643	-7.0293	0.0431	47.6781	-74%	0%	302%
在KUKA机器人编程中，使用TIME_BLOCK START指令时，对于其前后的样条段编程有什么建议？	297	1394	2.6399	0.0468	16.4958	494	2318	2.2583	0.194	97.9501	-0.3816	0.1472	81.4543	-14%	6%	494%
在SUBMIT解释器编程中，如何控制E1轴？	120	495	1.5829	0.0542	8.0351	992	5125	3.2768	0.1024	104.8593	1.6939	0.0482	96.8242	107%	3%	1205%
如何激活C_PTP？	144	565	1.5643	0.0468	8.2666	463	1977	3.0168	0.1419	68.5576	1.4525	0.0951	60.291	93%	6%	729%
在配置KUKA机器人运动系统时，如果$RED_ACC_EMX参数设置不当，会导致哪些具体问题？	202	1033	2.0581	0.0425	10.6018	385	1924	2.6709	0.1551	62.2457	0.6128	0.1126	51.6439	30%	5%	487%
在调试KUKA机器人时，如果激活了扭矩模式但机器人释放制动器后发生漂移，如何根据系统变量$HOLDING_TORQUE和$HOLDING_TORQUE_MAND来诊断问题并确保安全编程？	136	650	1.9129	0.048	8.3924	889	4460	4.7305	0.1261	116.8477	2.8176	0.0781	108.4553	147%	4%	1292%
在KRL编程中，如果我想使用PULSE指令控制输出端50产生一个脉冲，但又在脉冲期间手动复位了输出端，实际的脉冲曲线会怎么变化？请结合PULSE指令的优先级和重叠处理规则说明。	196	814	1.395	0.0322	7.6844	807	3548	2.7596	0.0931	77.8917	1.3646	0.0609	70.2073	98%	4%	914%
在机器人程序中，如果使用RESET_TORQUE_LIMITS()触发了提前运行停止，怎么才能防止这个停止？	77	304	2.6624	0.0344	5.2765	670	3323	2.9883	0.0993	69.4725	0.3259	0.0649	64.196	12%	2%	1217%
在KUKA机器人编程中，如何声明一个在上级程序层面也有效的中断，并确保其能正确响应外部信号事件？请描述完整的配置步骤和关键注意事项。	130	570	1.8336	0.0386	6.8271	836	4077	5.7789	0.119	105.1757	3.9453	0.0804	98.3486	215%	4%	1441%
在KUKA机器人控制系统中，如果一个中断被禁用后其触发事件多次发生，之后重新许用该中断，机器人控制系统将如何反应？请结合中断标记机制说明其行为。	168	772	1.3139	0.0374	7.5813	728	3308	2.8626	0.092	69.7541	1.5487	0.0546	62.1728	118%	4%	820%
在配置KUKA机器人运动系统时，如何结合等待功能与外部转换的坐标系设置来完成一个完整的定位任务？	482	2403	1.3587	0.0301	15.8428	527	2758	3.2002	0.2182	118.0249	1.8415	0.1881	102.1821	136%	14%	645%
作为一名KUKA机器人系统技术员，在编写一个需要传感器校正和精确模拟输出的程序时，如何正确配置系统变量$TECH_ANA_FLT_OFF以确保ANOUT行指令的精度，并请描述从激活传感器校正到设置静态模拟输出的完整操作步骤？	404	1993	1.4474	0.0276	12.5649	1135	5577	8.8645	0.1413	169.319	7.4171	0.1137	156.7541	512%	8%	1248%
在使用KUKA系统软件8.3进行机器人编程时，如果需要在SCIRC圆弧运动中设置软件限位开关以防止机器人碰撞，应该如何操作？请描述从编程到设置安全限位的完整流程。	361	1458	1.8427	0.0568	22.3218	777	3518	4.5362	0.1774	142.5097	2.6935	0.1206	120.1879	146%	7%	538%
total	1202	5357	21.0171	0.3213	70.5959	6076	30218	23.1724	1.449	505.8191	2.1553	1.1277	435.2232	10%	5%	616%
mean	66.77777778	297.6111111	1.167616667	0.01785	3.921994444	337.5555556	1678.777778	1.287355556	0.0805	28.10106111	0.119738889	0.06265	24.17906667	10%	5%	616%