澳鹏干货 | VLM评测的盲区：高分 ≠ 理解

09/10/2026

视频理解模型（VLM）的评测看似直观，实则暗藏陷阱。一个常见误区是：模型在单帧图像上的高准确率，被直接等同于对整个视频的正确理解。

当前的评测方法存在两个断层：证据采样（Evidence Sampling）和评分权重（Scoring Weight）。VLM通常不直接处理完整视频，而是分析一个高度压缩的版本，例如少数关键帧。如果这些帧未能捕捉核心事件，后续的推理便建立在错位的证据之上。这种错位，正是评测高分与实际表现之间产生差距的根源。

证据获取的瓶颈

任何视频评测的首要环节是证据提取：如何从数万帧画面中找到真正重要的那几帧。T*研究团队（T* Research Team）提出的“长视频Haystack问题”精确描述了这一挑战，其发布的LV-Haystack基准包含3,874个人工标注实例，用于衡量关键帧搜索的质量与效率。结果显示，此前最先进的关键帧选择方法在LVBench子集上的时序F1分数（Temporal F1 Score）仅为2.1%，这意味着绝大部分关键证据在评测开始前就已丢失。

TimeSearch-R方法则通过端到端的自验证强化学习（Self-Verification Reinforcement Learning）训练搜索策略，将时序F1分数提升至8.1%，是此前水平的3倍以上，但绝对值依然很低。Neptune研究也指出，许多长视频基准测试仅凭少数关键帧答对，无法真正检验模型的时序理解能力。

评分设计的偏差

VLM在评分时，容易走向“细节最大化”。它们通常将评分细则（Rubric）视为一份详尽的错误清单，并给每个项目大致相同的权重。而人类判断是重点加权，围绕沟通的充分性来组织评价。

因此，评分标准的设计本质上是在定义一个权重函数（Weighting Function）：明确何种错误是关键的、必须扣分，何种细节是次要的、可以忽略。这种判断无法从图像本身进行推断，只能来自任务规范和校准数据集（Calibration Set）。

为了弥补这一缺陷，需要将评测过程结构化。例如，引入多层次评估（Multi-Resolution Evaluation），区分不同粒度的错误；对检测到的错配进行显著性加权（Salience Weighting）；在评测链路中加入人工裁决（Human Adjudication）环节等。

澳鹏实践

从澳鹏的实践经验来看，在关键决策边界引入人类评审专家，能有效纠正VLM过度关注局部细节的倾向，使评分更贴近实际使用场景中的质量判断。

迈向系统性评测

解决VLM评测困境，需要将其视为一个系统工程，合理的评测流水线应包含：

多粒度采样
提取结构化实体、属性、动作、状态变化和时间戳
针对要评分的具体准则检索相关证据
对多个维度分别打分
对检测到的错配应用显著性权重
将模棱两可 / 高影响案例转交人工裁决

在此框架下，不同层级的问题才能被有效识别。澳鹏在构建多模态评估数据集时发现，评测指标的选择至关重要。总体一致率的意义有限，必须分别报告：精确率（Precision）、召回率（Recall），按错误类型分析误报率（False Positive Rate），跟踪人工覆写率及其方向，并增加严重性加权一致率和局部-全局分歧率...这些数据还应进一步按视频时长、状态转换数量等维度分层分析，以精准定位评测系统的具体弱点。

澳鹏观点

当评测系统出错时，混淆矩阵（Confusion Matrix）区分阈值偏移和类别混淆：阈值偏移可通过重新校准修复（调参），类别混淆则需要从评分标准设计 / 模型训练层面进行修改。

一份可靠的评测报告，不仅应报告通过率，更应报告分数是如何达成的：证据是否完整、权重是否合理、判断过程是否可审计等等。澳鹏在多模态评测实践中持续构建核心能力，将人类判断与系统化评估相结合，为AI模型的真实表现提供可信标尺。