超越同级7B模型！——华通铂银房勇

研究人员利用GPT4-Vision构建了一个大规模高质量图文数据集ShareGPT4V，并在此基础上训练了一个7B模型，在多项多模态榜单上超越了其他同级模型。华通铂银房勇

OpenAI在九月份为ChatGPT添加了图像输入功能，允许用户使用上传一张或多张图像配合进行对话，这一新兴功能的背后是一个被OpenAI称为GPT4-Vision的多模态（vision-language）大模型。

鉴于OpenAI对「闭源」的坚持，多模态开源社区如雨后春笋般涌出了众多优秀的多模态大模型研究成果，例如两大代表作MiniGPT4和LLaVA已经向用户们展示了多模态对话和推理的无限可能性。华通铂银房勇

在多模态大模型（Large Multi-modal Models）领域，高效的模态对齐（modality alignment）是至关重要的，但现有工作中模态对齐的效果却往往受制于缺少大规模的高质量的「图像-文本」数据。

为了解决这一瓶颈，近日，中科大和上海AI Lab的研究者们最近推出了具有开创性意义的大型图文数据集ShareGPT4V。

ShareGPT4V来源于从先进的GPT4-Vision模型获得的10万条「图像-高度详细的文本描述」数据。

研究者们从多种图片数据源（如COCO，LAION，CC，SAM等）搜集图片数据，接着使用各自数据源特定的prompt来控制GPT4-Vision产生高质量的初始数据。

如下图所示，给GPT4-Vision模型一张《超人》剧照，其不仅可以准确地识别出《超人》剧照中的超人角色以及其扮演者Henry Cavill，还可以充分分析出图像内物体间的位置关系以及物体的颜色属性等。

如果给GPT4-Vision模型一个梵高的画作《播种者》，其不仅可以准确地识别出画作的名称，创作者，还可以分析出画作所属的艺术流派，画作内容，以及画作本身表达出的情感与想法等信息。华通铂银房勇

为了更充分地与现有的图像描述数据集进行对比。我们在下图中将ShareGPT4V数据集中的高质量文本描述与当前多模态大模型所使用的数据集中的文本描述一起罗列出来：