哪个大模型在生物信息学中表现最好？

随着大语言模型（LLMs）在自然语言处理领域掀起革命，越来越多的科研领域开始尝试用它们辅助日常研究。生物信息学，作为数据密集、知识复杂的交叉领域，尤其对 AI 充满期待。GPT-4、Gemini、LLaMA 这些大模型， 能胜任生物信息学日常任务吗？哪些擅长编程？哪些能做数据可视化？哪些能建模？又有哪些致命短板？为回答这些问题，UCLA 和 Sage Bionetworks 等机构的研究者，联合推出了新的评测基准BioLLMBench。

这篇文章的核心内容是介绍和评估了一个名为BioLLMBench的框架，该框架用于评估大型语言模型（LLMs）在生物信息学任务中的表现。文章详细描述了对GPT-4、Gem)ini和LLaMA这三种模型的评估过程和结果，涵盖了六个关键领域的24个不同任务，包括专业知识、数学问题解决、编程能力、数据可视化、研究论文总结和机器学习模型开发。

背景知识

随着人工智能尤其是大型语言模型（LLMs）的快速发展，这些模型在计算生物学和生物信息学中的应用潜力被广泛探讨。LLMs如GPT-4、Gemini和LLaMA展示了在自然语言处理任务中的卓越能力，但它们在生物信息学领域的具体表现尚未被系统评估。生物信息学领域需要处理大量的基因组学、转录组学和蛋白质组学数据，这些数据的复杂性和规模要求创新的计算方法来提取有意义的见解。因此，开发一个能够全面评估LLMs在生物信息学任务中表现的基准框架显得尤为重要。

研究方法

研究者们开发了BioLLMBench框架，以评估LLMs在生物信息学中的表现。该框架涵盖了六个关键领域：专业知识、数学问题解决、编程能力、数据可视化、研究论文总结和机器学习模型开发。研究者们设计了24个任务，这些任务从基础到专家级别不等，以全面覆盖生物信息学的各个方面。每个任务都通过七个特定的指标进行评估，并且实施了上下文响应变异性分析，以了解模型在不同条件下的响应变化。

实验设计包括对四种模型（Gemini Pro 1.0、GPT-4、LLaMA 2 7B和PaLM）的评估。任务分为四个难度级别，从容易到专家级别。研究者们通过图形用户界面（GUI）输入问题，并记录模型的响应。每个问题对每个模型重复20次，其中10次在同一个聊天窗口中，另外10次在新的聊天窗口中，以分析不同交互环境对模型响应的影响。

实验结果

实验结果显示，GPT-4在大多数任务中表现最佳，其在生物信息学领域的专业知识任务中达到了91.3%的熟练度。Gemini在数学问题解决方面表现出色，得分为97.5%。然而，所有模型在研究论文总结任务中都面临挑战，使用ROUGE指标的得分均低于40%。此外，模型在新聊天窗口中的表现方差增加，尽管平均得分保持相似。

具体来看：

• • 专业知识任务：GPT-4在生物信息学概念的理解上表现最佳，LLaMA提供了更详细但有时包含无关信息的回答，而Gemini在某些情况下会拒绝回答。

• • 编程任务：生信常见数据处理Python脚本，GPT-4和Gemini在生成代码方面表现出色，LLaMA则相对落后。

• • 数据可视化任务：如生成GWAS曼哈顿图等，GPT-4能够提供功能性的代码来生成可视化，而Gemini和LLaMA主要提供文本描述。

• • 数学问题解决任务：如基因测序碱基数目、Bonferroni校正，Gemini在数学计算方面表现最佳，GPT-4紧随其后，LLaMA则表现不佳。

• • 机器学习模型开发任务：GPT-4能够成功开发出一个端到端的分类模型，而Gemini和LLaMA在代码生成和调试方面遇到了困难。

• • 研究论文总结任务：总结生信高引论文，所有模型的表现都不理想，ROUGE分数均低于40%，这表明模型在总结研究论文方面存在挑战。

• 

  

讨论

文章讨论了LLMs在生物信息学中的潜力和局限性。尽管LLMs在某些任务中表现出色，但在数学计算、代码生成和研究论文总结等任务中仍存在挑战。此外，LLMs在新聊天窗口中的表现方差增加，这表明模型对上下文的依赖性较强。研究者们还讨论了LLMs在生物信息学中可能带来的风险，包括隐私风险和错误信息的传播。

文章指出，尽管LLMs在生物信息学中具有巨大的潜力，但在使用这些模型时需要谨慎，特别是在处理敏感数据和需要高精度的任务中。此外，研究者们建议未来的研究应该关注LLMs在生物信息学中的特定应用，并开发更专业的模型来提高性能。

结论

BioLLMBench提供了一个全面的评估框架，用于评估LLMs在生物信息学任务中的表现。通过这个框架，研究者们能够系统地评估不同模型在多个任务中的能力，并为未来的研究和应用提供了重要的参考。尽管LLMs在某些领域表现出色，但它们在生物信息学中的应用仍需进一步的研究和开发，以克服当前的局限性并实现其潜力，特别是在长文总结和高阶任务链（如复杂 ML 建模）中仍显露出明显短板。

欢迎加入星球交流，现在加入可领优惠劵。