产品聚焦 | 澳鹏重磅发布ExamOCRBench：面向端到端试卷判分的多任务基准

手写涂改、跨行作答、错误拼写......这些真实课堂中常见的情形，恰恰是多模态模型在试卷判分场景中面临的核心挑战。现有评测广泛覆盖文字识别、文档解析与视觉问答，但对真实小学学生作答试卷的端到端判分能力，仍缺乏充分、系统的检验。澳鹏推出ExamOCRBench，基于真实拍摄的小学多学科试卷，构建了以端到端整页判分为核心的多任务评测基准，为教育AI的能力评估提供重要框架。

以端到端试卷判分为核心的多任务基准

真实试卷与多阶段质量复核

本次公布的模型评测基于来自中国小学的2,464套真实试卷页面，覆盖语文、数学和英语三个学科（语文492页、数学694页、英语1,278页），包含不同拍摄条件、手写涂改、不完整作答和复杂布局。页面经过图像与标注质量筛选，并在评测前遮蔽敏感区域。

判分任务关联的22,636个小题覆盖十类细分题型，以语言文字填空、选择题、简答或解答题为主，其余包括数学填空、计算、判断、图形与标记、数学应用题、写作或开放表达及其他题目。

*判分任务中22,636个小题的题型分布。各类占比按小题数量计算。

*当前，数据集正在进一步扩容，试卷页面将上新至4,500+，可支撑更大量级的模型评测需求。

标注通过“页面—大题—小题—答题区域”的层级关联区域、文字与判分结果，忠实保留学生最终可见答案，包括拼写错误和涂改。GPT-5.5辅助生成参考答案与判分候选，经人工核验后形成标签，并通过多阶段质检处理歧义与争议。

共享页面共派生出24,928个任务实例：2,464个判分页面、2,464个结构解析页面、10,000条定位查询和 10,000个手写裁切图。

整页全部判对仍然困难：试卷判分要求模型直接从完整页面中理解题目、识别学生最终作答，并依据页面证据给分。核心指标PageScoreAccuracy要求页面内所有可正常判分单元全部判对；一处出错，整页就不能计为正确。本次有2,408个包含可正常判分作答单元的页面参与该指标计算。

在五个模型中，GPT-6Astra以58.18%领先，GPT-5.6Sol为53.41%；Qwen3.8-Max、Claude Opus 5和Doubao-Seed-2.1-Pro分别为42.32%、36.75% 和33.22%。即使表现最好的模型，也仍有四成以上页面无法做到全部正常作答单元判对。

知道什么时候不能判分同样重要：对于缺少音频或者内容缺失等无法可靠判分的2,473个安全单元，SafetyUnitRecall检验模型能否识别条件不足并按要求拒绝判分。当前GPT-6 Astra的安全单元召回率最高，但也只有41.04%；Qwen以9.06%%排名第五。其余3个模型的表现在13.99%到30.04%之间。

从一张试卷看端到端判分的难点

学生在作答时，可能在原来的位置改写一个词，或把答案写在两行之间。对已完成的试卷页面而言，这些痕迹决定了最终应被评分的答案。模型若默默纠正学生的拼写错误，就可能对学生并未写出的正确答案给分。

*试卷判分任务示例：框内展示学生答案、参考答案、判分结论及解释。

这张英语试卷需要同时处理词义选择、图片判断和连词成句。模型要把学生笔迹与题目正确关联，还要判断词义、语序及标点。例如，把room选为“客厅”需要判错；连词成句时，即使单词都出现了，语序不符合题目要求也不能直接给分。端到端判分需要把这些证据放回具体题目中理解。

最终分数也不总能证明中间过程正确。例如，一个本应得分的答案，如果模型既误读了学生作答，又推理出同样错误的参考答案，仍可能碰巧给出正确分值。这说明，除了“判得对不对”，还需要单独检查模型如何理解页面、定位证据和还原笔迹。

从整页判分到能力诊断

为什么整页判分仍然困难？澳鹏ExamOCRBench用三项诊断任务拆开观察。三项任务独立计分，输出不会提供给判分模型；它们帮助发现相关能力短板，但不能仅凭分数直接确定某一种错误导致了判分失败。

*模型主指标概览与三项诊断任务的指标结果：雷达图采用0–100统一刻度，四轴均越高越好；表格粗体为最优值，箭头表示指标优劣方向。除CER为每100个参考字符的编辑错误数外，数值均为百分数。

How | 试卷结构解析：题目与作答如何组织

结构解析从完整页面预测页面、大题、说明、小题、表格、配图和答题位置七类节点，回答“这段作答属于哪道题”。其中，ResponseSlot是填空、选择或书写的最小独立位置，不只是手写笔迹的外框。任务使用2,464个页面。

*结构解析数据示例：页面区域及其父子关系共同构成层级结构。

TEDS衡量预测树与参考树的相似程度。Astra最高为59.58%，Doubao表现最差为47.01%。这表明恢复页面组织关系的能力仍有较大提升空间。

层级关系相对接近，也不等于区域定位精确。Claude的TEDS排名第三，布局mAP@0.5却只有11.21%，为五个模型最低；Astra的布局mAP最高也仅为 36.52%。理解“属于哪道题”与精确框出作答位置，需要分别检验。

Where | 内容定位：相关证据在哪里

内容定位接收完整页面和自然语言查询，返回目标区域的边界框。10,000条查询涵盖5,893条手写答案、1,978条小题题干、733条大题说明或材料，以及 1,396条学生涂改。预测框与参考框的重叠度IoU不低于0.5才算命中。

*定位目标示例：红框突出手写答案、学生涂改、材料与题干等区域。

当前报告中，Astra的Macro Accuracy最高为 73.44%，Claude最低为23.25%。四类定位目标等权计算。找对邻近文字，不一定找对所查询的证据；只框出标题，也不等于覆盖完整材料。涂改还要求模型区分原答案、改写痕迹和最终有效作答。分析显示：涂改仍是Astra最弱的定位目标类型，复杂作答的边界与归属依然值得重点优化。

What | 手写文本识别：学生究竟写了什么

手写识别使用10,000个答案裁切图，只转写学生最终有效的手写内容，排除印刷题目和已划掉的答案。对于答案区域重叠的情况，采用遮罩保护目标笔迹，避免转写串行。完全匹配率（Exact Match，EM） 要求一个裁切图的预测与参考转写完全匹配。

*手写识别数据示例：中文、英文与数学作答呈现长文本、改写、跨行及符号混合等情况。

Qwen的EM最高，为33.15%，GPT-5.6 Sol最低，为10.88%。由此可见，忠实、完整地还原一段学生作答，仍是模型当前面临的主要挑战。

换一个指标，排名又不同：Qwen的CER表现最差，为每100个参考字符99.78次编辑错误，Doubao表现最好，为30.44次。EM看整串能否完全还原，CER看总体字符编辑代价；较多答案完整命中，也可能伴随部分困难答案上的大量错误。

分数之外还要观察模型如何得到答案

这些诊断结果呈现了一个值得关注的现象：GPT-5.6 Sol在整页判分中排名第二，手写识别 EM却最低；Qwen的识别EM最高，判分准确率则为42.32%。不同任务采用不同输入和计分单位，排名差异并不说明识别越弱判分越好，而是提示我们区分答案推理与忠实转写。

对教育场景而言，模型需要读出学生实际写下的内容。把错拼“补全”为正确单词，或把模糊笔迹替换为符合题意的答案，都可能掩盖真实错误。因此，整页判分结果与How、Where、What三项诊断应结合阅读：既看最终给分，也应关注层级关联、区域边界及笔迹保真。

应用价值：连接真实教育需求与模型研发

澳鹏ExamOCRBench的核心价值，在于让评测更贴近一张试卷从识别到判分的完整过程。

• 支持教育产品选型与优化：面向智能批改、作业数字化、错题整理和个性化学习反馈，提供更贴近学生真实作答的模型观察视角，助力教育产品选型。
• 为模型研发提供清晰方向：将最终判分表现与结构理解、内容定位、手写识别相联系，帮助研发团队探索更有针对性的数据建设、能力训练和系统设计。
• 覆盖复杂教育内容：关注学生错拼、涂改、跨行书写等复杂情况，让模型面对真实课堂中常见、却容易被理想化输入的问题。
• 联合评估，呈现多维能力：以整页判分为核心，结合三项诊断任务展示模型的不同优势与短板。结构解析、内容定位和手写识别分别检验模型能否理清结构、找准区域、读对笔迹；安全单元评测进一步检验模型能否在判分条件不足时拒绝给分。

澳鹏高质量教辅试题数据集澳鹏数据沉淀了覆盖K12、大学/研究生、竞赛等多学段、多类型的高质量教辅试题数据，兼顾真实学生作答样本、结构化文本题库、多模态带图试题、高难度推理试题等，适配多样化模型训练与评估需求，可支撑大模型学科微调、解题评测、教育AI研发等前沿应用场景：

• 教辅教材真题切题数据集
• 手写试卷切题数据集
• 大学/研究生英文题库
• EliteHLE Ultra理科难例数据集
• 数学竞赛真题和模拟题
• K12多模态学科题库等

澳鹏ExamOCRBench的发布，是澳鹏在行业高质量数据集建设方向上的重要实践。我们希望通过这一基准，让教育AI的能力评估更贴近真实场景，也为多模态模型的优化提供清晰方向。

未来，基准将持续扩展学科与年级覆盖，探索更合理的子任务能力拆分，深化对涂改、多步推导、图文混合和开放式表达等复杂作答的理解，推动评测结果更好地服务于智能批改、学习反馈等实际应用落地。

查看更多基准详情：Hugging Face GitHub