[MLLM] MiniGPT-4

 Todo list.

 

 

[Submitted on 20 Apr 2023]

MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models

 

 

Saleforce的AI Projects：

https://github.com/salesforce/LAVIS/tree/main/projects/blip-diffusion

 

 

 

MiniGPT-4 仅使用一个投影层将一个冻结的视觉编码器（BLIP-2）与一个冻结的 LLM（Vicuna）对齐。

多模态对齐是指找到两种或多种模态的instances中sub-components之间的对应关系，例如：给定一张图片和一个描述，找到词或者短语对应图片中的区域。

 

Ref: CV多模态和AIGC的原理解析：从CLIP、BLIP到Stable Diffusion、Midjourney

https://instruction-tuning-with-gpt-4.github.io/

[Submitted on 6 Apr 2023]

Instruction Tuning with GPT-4 [看上去不错的实践报告]

 

 

 

 

 

 

 

 

Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality

by: The Vicuna Team, Mar 30, 2023