How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites

InternVL1.5：更强的视觉编码器，动态处理高分辨率图像，高质量的双语数据集。

主要内容

对标商业模型，提出InternVL1.5。更强的视觉编码器（InternViT-6B），动态处理高分辨率图像（将图像分成448*448的tails，最高支持4K分辨率），高质量的双语数据集（显著提高了OCR和中文相关任务的性能）。与开源和商业模型相比，在 8/18 个多模态benchmark上sota。

动机和方法

Dynamic High-Resolution & Pixel Shuffle
受UReader的启发，我们采用了一种动态的高分辨率训练方法，可以有效地适应输入图像的分辨率和宽高比的变化。该方法利用了图像分块的灵活性，增强了模型对细节的处理能力。
Pixel Shuffle减少了Image tokens（1024 -> 256）。