VCoder：大语言模型的眼睛

VCoder 的一个视觉编码器，可以帮助 MLLM（多模态大语言模型）更好地理解和分析图像内容，提高模型在识别图像中的对象、理解图像场景方面的能力。

它可以帮助模型显示物体距离相机的远近，还能更准确的理解图片中的物体是什么，甚至能数出图片中有多少人。

VCoder 的主要功能包括：

   •   增强视觉感知能力
   •   处理特殊类型的图像
   •   改善对象感知任务

VCoder 与开源的多模态 LLMs（如 MiniGPT-4、InstructBLIP 等）进行了比较，在对象识别任务中，VCoder 表现最佳，特别是在对象计数和识别方面优于基线模型；在处理复杂场景中的对象计数和识别任务时，VCoder 展示了更高的准确性，尤其是在场景中有许多实体时。

同时，通过实验表明，GPT-4V 在对象级感知方面落后于 VCoder。

文章来源：爱范儿     作者：肖凡博