基于多模态融合大模型架构Agri-QA Net的作物知识问答系统

基于多模态融合大模型架构Agri-QA Net的作物知识问答系统

吴华瑞， 赵春江*， 李静晨

（北京市农林科学院信息技术研究中心，北京 100079，中国）

摘要： ［目的/意义］随着农业信息化和智能化的快速发展，多模态人机交互技术在农业领域的重要性日益凸显。本研究提出了一种基于多模态融合的大模型架构Agri-QA Net，旨在针对甘蓝作物的农业知识，设计多模态专业问答系统。

［方法］该模型通过整合文本、音频和图片数据，利用预训练的BERT（Bidirectional Encoder Representations from Transformers）模型提取文本特征，声学模型提取音频特征，以及卷积神经网络提取图像特征，并采用基于Transformer的融合层来整合这些特征。此外，引入跨模态注意力机制和领域自适应技术，增强了模型对农业领域专业知识的理解和应用能力。本研究通过收集和预处理甘蓝种植相关的多模态数据，训练并优化了Agri-QA Net模型。

［结果和讨论］实验评估表明，该模型在甘蓝农业知识问答任务上表现出色，相较于传统的单模态或简单多模态模型，具有更高的准确率和更好的泛化能力。在多模态输入的支持下，其准确率达到了89.5%，精确率为87.9%，召回率为91.3%，F1值为89.6%，均显著高于单一模态模型。

［结论］案例研究展示了Agri-QA Net在实际农业场景中的应用效果，证明了其在帮助农民解决实际问题中的有效性。未来的工作将探索模型在更多农业场景中的应用，并进一步优化模型性能。

关键词： 多模态融合；人机交互；农业知识问答；甘蓝作物；大语言模型

文章图表

图1　多模态融合架构Agri-QA Net框架

Fig. 1  Framework of multi modal fusion architecture Agri-QA Net

图2　Agri-QA Net甘蓝作物知识问答系统测试集样例及模型输出样例

Fig. 2  Examples of test set and the corresponding outputs of Agri-QA Net cabbage crop knowledge question answering system

图3　Agri-QA Net问答错误案例

Fig. 3  Q&A error cases of Agri-QA Net

表1 Agri-QA Net数据集类型和格式

Tabel 1  Data type and format of the collected dataset for Agri-QA Net

表2 Agri-QA Net问答判定标准与性能评判标准

Table 2  Question answering criteria and performance criteria for Agri-QA Net

表3 Agri-QA Net和单模型关于评估指标的实验结果对比

Tabel 3  Experiment results of Agri-QA Net and single models about evaluation metrics

引用：吴华瑞, 赵春江, 李静晨. 基于多模态融合大模型架构Agri-QA Net的作物知识问答系统[J]. 智慧农业(中英文), 2025, 7(1): 1-10.

DOI：10.12133/j.smartag.SA202411005

WU Huarui, ZHAO Chunjiang, LI Jingchen. Agri-QA Net: Multimodal Fusion Large Language Model Architecture for Crop Knowledge Question-Answering System[J]. Smart Agriculture, 2025, 7(1): 1-10.

作者介绍

赵春江  院士

赵春江，男，1964年出生，博士，研究员，中国工程院院士，博士生导师。现任北京市农林科学院信息技术研究中心、国家农业智能装备工程技术研究中心首席科学家，国家农业信息化工程技术研究中心主任，农业农村部农业信息技术重点实验室主任，北京市科学技术协会副主席、北京农业信息化学会理事长、中国农业工程学会副理事长、中国农业工程学会电子技术与计算机应用专业委员会副主任。《智慧农业（中英文）》主编。入选国家级百千万人才工程，万人计划，获全国创新争先奖，全国“五一”劳动奖章，全国先进工作者，全国农业科技先进工作者，全国优秀科技工作者，中国青年科技奖等。

吴华瑞  研究员

吴华瑞，研究员，科技部“十四五”数字乡村技术预测专家组组长、国家“十四五”重点专项“乡村产业共性关键技术研发与集成应用”总体组专家、农业农村部数字乡村技术重点实验室主任，农业农村部特色经济作物全程机械化专家组成员，中国人工智能学会智能农业专委会主任，国家大宗蔬菜产业技术体系智能化管理岗位科学家，《智慧农业（中英文）》编委，入选国家级人才。主要从事农业大数据、人工智能与蔬菜智慧无人农场相关研究工作。近年来获国家科技进步奖1项，省部级奖励5项，发表论文85篇（SCI 25篇），授权发明专利37项，编制颁布标准8项，著作2部，软著34项。

来源：《智慧农业（中英文）》2025年第1期

本文来源于智慧农业期刊