预计阅读二十四分钟，动手练习二十五分钟。本期学习目标是理解多图任务为什么需要依据问题分配不同的视觉令牌预算，学会区分输入令牌数、预填充 FLOPs 和首个输出延迟，掌握 mmVB 的轻量预测思路，并识别统一缩图可能造成的关键细节损失。你将阅读 Varest 和 OmniCompass 的相邻研究，并通过 Python 教学代码设计原图保全和拒绝超预算压缩的验收条件。
来源链接与结构校验不等于独立复现。教学示意、作者报告和本站实测分别标注。
多图问诊中的不均匀细节需求
假设诊疗兽医小伊收到三张匿名动物照片：第一张展示整体姿态，第二张是较远的蹄部照片，第三张是局部放大的可见皮损。用户希望综合判断可以观察到哪些表现。统一缩小全部图片可能足以判断动物整体位置，却损失第三张的微小颜色差异或病变边界。反过来，所有图片都按最大分辨率处理，也会增加视觉编码与多模态输入开销。这里需要研究的是如何按当前问题分配各图片的必要细节，而不是让模型从模糊输入中猜测。[s1]
在 Mnemo 中也会出现相似问题：有的页面只是背景文字，另一些页面包含需要逐行核对的药品规格表、扫描说明书和流程图。统一把所有页面压缩到同样像素大小，可以改善传输成本，却无法保证数字、单位、行列对应关系仍被完整保留。真正可靠的多模态系统必须将初次检索的轻量表征与最终回答时使用的原始证据区别管理，重要区域无法读清时应允许恢复原图。[s1]
30 秒概念：视觉令牌预算
多模态模型通常通过视觉编码器将图片转为特征，再把特征转成能够参与语言模型处理的视觉令牌。更多的图片和更高的信息密度可能带来更多视觉令牌，增加视觉编码和预填充计算。在多图推理任务中，某些图片只需要表示整体背景，另一些图片可能承担计数、细粒度比较和文字读取。合理的视觉预算因此应当由问题决定，而不只由原始图片宽高决定。[s1]
视觉令牌数量、Prefill FLOPs 和 Time to First Token 是相关而不同的指标。前者表示进入模型的视觉输入规模，中者描述预填充计算量，后者是真实请求到首个输出出现的时间。即便输入令牌减少，也可能因图像预处理、排队或预算预测模块而使实际延迟没有成比例改善。更关键的是，高风险业务不能只看平均性能保留率，需要专门检查被压缩掉的是否恰好是必须保留的关键证据。[s1]
mmVB：问题与跨图关系一起决定预算
论文提出的 mmVB 使用冻结的轻量视觉特征编码器为每张图片提取摘要，也从问题文字中提取表示，再用跨图交互模块预测每张图片需要的离散视觉预算等级。这样能够在基础多模态模型处理完整图片之前就决定要保留多少分辨率，不必为了确定令牌重要性而访问基础模型内部的注意力矩阵。该设计还避免了必须重新训练基础视觉语言模型的改造成本。[s1]
问题条件下的多图预算分配
- 步骤 1接收问题
保留用户问题和原始图片，同时明确本次比较所需的证据类型。
- 步骤 2轻量编码
使用冻结编码器提取各张图片的概要视觉特征。
- 步骤 3跨图关联
将问题表示与多张图片特征交互，估计每张图片的任务价值。
- 步骤 4预算预测
预测离散分辨率档位，对高风险信息施加独立保护约束。
- 步骤 5主模型处理
依所选档位输入多模态模型，记录预算和实际资源使用量。
- 步骤 6证据回看
必要时恢复原始图片，并由有权限人员核对关键可见信息。
mmVB 的标签生成也有一个容易忽略的限制：作者对全分辨率模型已经回答正确的任务，尝试减少各图片预算并验证答案是否仍正确；如果单独压缩每张图片都不影响输出，也还需要检查联合压缩后的整体表现。压缩预算因此是一种经局部验证的可行配置，而非数学证明的全局最优配置。对于基础模型本来就回答错误的题目，单靠减少令牌不能自动提升模型能力。[s1]
如何解读九倍压缩与准确率保留
mmVB 作者报告其预算模块约有 160 万可训练参数，在八个多图推理基准上视觉输入令牌平均约减少九倍、Time to First Token 约快五倍、预填充 FLOPs 约减少七倍，并保持全分辨率平均成绩的 94.4%。这些是论文实验口径内的作者报告数字，并非用户网站或某个商用闭源 API 的实际账单结果。基础模型、计费规则和图像预处理不同，不能承诺相同的压缩收益。[s1]
更应该关注具体任务上的质量差异。例如论文的 NLVR2 对照中，完整分辨率准确率为 86.5%，mmVB 为 82.8%。平均保留率高不意味着每一种任务都保持不变；如果某项任务涉及微小皮损、毛发边缘或药物剂量文字，少量平均损失也可能集中在关键样本上。因此建议分别报告总体准确率和关键证据漏检率，不要因为资源效率改善就自动允许模型做高风险结论。[s1]
多图分辨率预算的教学示意
教学示例数据，非论文实验结果
查看示例数据表
| 配置 | 数值（虚构单位） |
|---|---|
| 整体照片 | 1 虚构单位 |
| 局部细节 | 4 虚构单位 |
| 背景照片 | 1 虚构单位 |
| 文字表格 | 4 虚构单位 |
Varest：一张图片内部也不是每块区域都一样
Varest 与 mmVB 关注的资源分配层级不同。mmVB 主要判断多张图片之间每张图应该保留多少输入预算，而 Varest 进一步讨论单图内部哪些区域可以粗粒度合并、哪些边缘和文字必须保留高分辨率。作者使用物体和文字位置提示来指导可变分辨率令牌处理，并在解码早期利用相关性寄存表示进行进一步裁剪。不能把它当成所有图片区域都可以任意合并。[s2]
论文在三个基础模型及十三个基准的指定设置下，报告层平均图像令牌数量为原来的 5.56% 时，仍保持 86.10% 至 92.33% 的全令牌性能。其分母是层平均图像令牌数，并不等于 mmVB 的视觉输入令牌压缩率，所以两篇论文的数字不能直接比较。对于药品表格和流程图，更合理的工程做法是先标注哪些内容属于不可丢失的文字或边界，再评估局部压缩是否会引入数值和定位错误。[s2]
OmniCompass：从多图发展到视频还缺什么
视频理解不仅涉及选择哪些帧，还需要将动作绑定到正确的时间和空间。OmniCompass 将任务拆分为时间定位、空间定位和问答，并分别提供视觉语言与音视频联合证据两个赛道。其视觉赛道包含 820 段视频和 2460 个标注实例，音视频赛道为 240 段视频和 720 个实例。作者还用文字与文字加参考图两种方式指向同一目标，考察模型在不同指代表达下是否保持一致。[s3]
论文评估了五十个多模态模型，认为精确的时空定位与跨表达形式的一致性仍有明显挑战。因此，未来若为伊克塞视频会诊添加自动辅助记录，不能只验收一句整体摘要是否流畅，还应检查关键可见事件发生的时间段、来源帧与相关画面是否一致。录制和问诊权限属于独立的产品约束，视频研究基准中的成绩不能用来证明远程诊疗的医学可靠性。[s3]
伊克塞的最低风险实施顺序
首先冻结完整分辨率基线和脱敏图片测试集，把样本拆成整体状态、口腔或蹄部细节、遮挡模糊、文字信息以及多图前后比较等类别。其次分别对比统一低分辨率和问题相关预算，不改变当前诊疗逻辑。每次应保留原图、处理参数、视觉模型版本、可见特征标注、人工核对结果与 P50/P95 延迟。只有关键证据遗漏不增加、整体效果稳定并有明确回退策略时，才可考虑在低风险图片问答中试点。[s1]
诊疗兽医小伊仍是唯一进入临床图片病症辅助的角色，其他助手只保留通用图片理解，不应因为增加预算器就自动获得病症识别能力。压缩结果不能变更病例原始事实、处方依据或签署权限。如果模型对图像细节不确定，应在现有两阶段问诊中自然要求补充高质量图片，而不是为了保持响应速度在已经模糊的输入上生成更自信的判断。[s1]
Mnemo：轻量检索和原始证据分离
Mnemo 可以把压缩图像用于候选排序或大致类别识别，再在真正回答前根据原文标识读取完整页面与局部区域。对于药品说明书、带表格的 PDF 和软件截图，需将 OCR 文字、页面坐标、版本和来源引用统一关联起来。一个被相似度召回的压缩向量表示不能作为精确单位或剂量的事实来源。只有可追溯的原始片段能够说明模型看到的数字究竟来自哪一行、哪一页。[s1]
评估时同时统计轻量召回率、证据回读成功率、跨页面引用正确率、关键数值错误率、平均和尾部延迟，以及原始数据存储成本。使用虚构或脱敏资料开展固定对照即可，不需要采购新的模型服务。如果一个简单的规则能够防止高风险页面被压缩，就先验证这个规则，再决定是否训练复杂预算网络；工程收益要由稳定对照证明，而不是由论文中的公开基准平均数替代。[s1]
教学代码：离散预算和关键证据保护
from dataclasses import dataclass
@dataclass(frozen=True)
class Picture:
name: str
relevance: int
critical: bool
def allocate(images, cap=12):
levels=[4 if image.critical else 1 for image in images]
if sum(levels)>cap: raise ValueError("critical budget unmet")
for i in sorted(range(len(images)),key=lambda i:-images[i].relevance):
target=max(levels[i],min(4,1+images[i].relevance))
while levels[i]<target and sum(levels)<cap: levels[i]+=1
return dict(zip([x.name for x in images],levels))
pictures=[Picture("whole",1,False),Picture("detail",3,True),Picture("text",2,False)]
result=allocate(pictures)
assert result["detail"]==4
assert sum(result.values())<=12
print("PASS: protected budget")25 分钟练习、局限与错误案例
本次练习使用虚构图片元数据，先运行程序验证关键图片总能获得约定的最小预算，再把预算上限降低至不足并确认程序拒绝继续。随后构造一张标记为普通但实际上包含细小文字的样本，说明如果关键性标签本身判断错误，预算保护依旧可能失效。最后为每类图片设计至少一个能恢复原图的回退条件，明确该代码只验证预算分配程序，并没有验证任何视觉模型的诊断效果。[s1]
研究的局限包括基础模型与任务分布依赖、候选预算搜索开销，以及平均准确率不能揭示少数细节任务的尾部损失。真实部署还要确认模型服务对输入图像缩放究竟怎样计费，以及预算器是否能运行在客户端或服务端而不明显增加额外延迟。论文主张、作者实测、教学虚构数值与本地应用建议必须分别标记；不能把示意图中的级别四理解成医学风险分值。[s1]
为什么在多张图片中使用统一压缩比例，可能无法满足细粒度比较和文字识别任务的要求？
Varest 报告的层平均视觉令牌比例能否直接与 mmVB 的输入视觉令牌倍数进行排名比较？
若想在视频会诊辅助中验证一个短暂异常动作是否被真正看见，应优先加入哪种检查？
25 分钟多图片预算和回退练习 · 25 分钟
- 前五分钟运行 Python 教学程序，确认关键细节图片得到最低保护档位。
- 第六至十三分钟降低预算上限并验证程序抛出明确的预算不足异常。
- 第十四至二十分钟增加文字表格等虚构图片类型，记录静态重要性标签可能发生的误判。
- 最后五分钟制定三条需要原图回读或人工检查的触发规则，并与计算成本目标分开记录。
验收：程序正常输入通过断言；最低保护额度不足时不会静默降级；能够解释关键区域漏检不能用平均速度收益来抵消。
完成标准：本期全部自测答对、主动确认实践，再点击完成。修改为错误答案或取消实践会取消完成状态。
三个关键收获
- 多图视觉预算应根据当前问题和跨图关系确定，不能简单统一缩小所有图片。
- 输入 Token、层平均 Token、预填充计算量和实际首字延迟不可混淆，论文指标必须按原实验口径解释。
- 伊克塞与 Mnemo 应保留原图和精确来源，重点测量少数关键证据是否因压缩而丢失。
职业方向
职业成长建议：未来四周为一个脱敏多图问答任务建立基线、固定压缩与动态预算三组对照。先做关键细节标注，再实现独立的原图回退流程，随后按证据漏检、视觉令牌、P95 延迟和实际模型成本比较。最后保留全部坏例与回退机制，形成可复核的多模态系统工程报告，而不是只展示漂亮的平均压缩比例。
其他进展
Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning：2026 年 10 月 13 日，Varest 从图内语义区域及文字边缘出发设计可变分辨率图像令牌压缩，说明每块区域对保真要求并不相同。
OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding：2026 年 10 月 13 日，OmniCompass 把视频理解拆为时间定位、空间定位及问答任务，提醒工程系统不可只看整体摘要质量。
原始出处
- [s1] Visual Tokens on Demand: Visual Budgeting for Scalable and Efficient Multi-Image Reasoning in Multimodal LLMs2026-10-13
- [s2] Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning2026-10-13
- [s3] OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding2026-10-13