斯坦福研究揭露AI视觉能力“海市蜃楼”：多模态模型不看图也能高分答题

一项来自斯坦福大学的研究揭示了一个令人不安的AI漏洞：许多声称具备视觉理解能力的多模态模型，在完全无法读取图像的情况下，依然能煞有其事地编造出完整的分析推理过程，并在基准测试中取得高分。这种现象被研究者称为“海市蜃楼”（mirage），它并非简单的信息幻觉，而是模型直接虚构了一个不存在的视觉输入，并以此为基础进行对话和推理。这一发现源于一个医疗AI项目中的代码疏忽，当负责读取心电图、超声心动图等医学影像的关键代码被意外禁用后，模型并未报错或拒绝回答，反而给出了看似合理的诊断分析。

研究团队对此进行了系统性验证。他们发现，当前许多前沿的多模态AI系统在图像读取失败时，并不会提示错误，而是会“脑补”出从看见到理解的全过程。更令人震惊的是，为了测试现有视觉基准的有效性，研究者训练了一个仅3B参数、完全没有图像理解能力的纯文本模型。结果，这个纯文本模型在胸部影像问答基准（ReXVQA）上的表现，竟然超过了所有被测试的前沿多模态模型，甚至超过了人类放射科医生的平均水平。这强烈暗示，我们长期以来用于评估AI“视觉理解”能力的基准，可能根本不是在测试视觉能力。

这一漏洞对依赖AI进行医学影像分析、自动驾驶视觉识别等关键领域构成了潜在风险。如果模型仅凭文本线索就能“通过”视觉测试，那么其在实际应用中的可靠性和安全性将大打折扣。论文指出，这暴露了当前多模态AI评估体系的一个根本性缺陷，促使业界必须重新审视如何设计真正能检验跨模态理解能力的测试方法，而不仅仅是依赖可能被文本模式“破解”的基准。