CDIP-ChatGLM3：农作物病害识别与处方大模型

近日，西北农林科技大学赵刚教授与山东科技大学闫长青副教授、广西农业科学院曲俊杰副研究员共建的智慧农业联合创新团队，联合中国农业大学等机构在农作物病虫害防控方面取得重要进展。其最新成果《CDIP-ChatGLM3: A dual-model approach integrating computer vision and language modeling for crop disease identification and prescription》在国际权威期刊《Computers and Electronics in Agriculture》（SCI中科院一区Top期刊，影响因子7.7）正式发表。该研究创新性地提出了"计算机视觉+大语言模型"的双模型协同架构，通过深度学习与自然语言处理的有机结合，显著提升了农作物病害智能诊断与防治指导的准确性和实用性。

病害准确识别和科学防治是保障农业产量与品质的关键。传统依赖农民经验或专家诊断的方式在大规模种植环境下效率低且易出错。针对当前深度学习模型虽识别准确但无法给出治理处方，而多模态大模型在测试中表现出较低识别精度（最高仅0.21），且存在模型体量过大（具备初步识别能力的模型参数规模约30B及以上）和部署资源需求过高（满足基本性能要求的模型推理内存超过60GB）等问题，研究团队提出并研发了CDIP-ChatGLM3框架(图 1)。该框架结合了高效能视觉识别模型EfficientNet-B2和经过领域微调的ChatGLM3-6B大语言模型，在48种病害、13种作物上实现了97.97% ± 0.16%的识别准确率，并能为农民提供清晰、专业、可执行的病害防治建议。

图1给出了本文的研究思路，首先对视觉模型进行对比分析，同时对大语言模型进行专业能力增强，然后集成两个最优模型建立双模型架构的CDIP-ChatGLM3，最后在云端部署供用户应用以实时识别病虫害并实时交互式得到处方。

图1 图形摘要：识别模型与专业大语言模型研发、双模型集成与应用

在识别模型方面，本研究通过系统评估近年来多种高性能视觉模型，评估结果如图 2所示，最终选定EfficientNet-B2作为病害视觉理解模块的骨干框架；文本生成部分基于ChatGLM3-6B，结合Freeze微调与双阶段混合训练（DMT）策略，显著提升了作物病害防控领域的专业应答能力，在BLEU-4和Average ROUGE F-score指标上分别实现了33.16%和27.04%的提升。