摘要： 2024-09-04，由MMMU 团队创建用于评估大规模多学科多模态模型的理解和推理能力的基准。 目前遇到问题和挑战： 文本依赖性问题：一些现有基准测试中的问题可以通过仅使用文本模型来回答，而不需要视觉信息。 选项空间有限：在多项选择格式中，选项数量有限，模型可能通过猜测或利用选项之间的微妙线索来找 阅读全文