在计算机视觉领域，理论与实践之间往往存在着难以逾越的鸿沟。一个旨在通过照片识别笔记本电脑物理损伤的项目，便深刻体现了这一点。该项目起初看似简单明了：构建一个模型，使其能够观察笔记本电脑的照片，并识别出任何物理损伤，如屏幕碎裂、按键缺失或铰链损坏等。然而，随着项目的推进，团队遇到了诸多预料之外的挑战，这些挑战不仅关乎技术，更涉及到模型的理解与应用。
一、项目的起点：单一提示的困境
项目的初步尝试遵循了多模态模型的标准方法。团队使用了一个大型的单一提示，将图像输入到具有图像处理能力的语言大模型中，并要求其识别可见的损伤。这种方法在实施上相对简单，对于清晰且定义明确的任务也能表现出不错的效果。然而，现实世界的数据往往复杂多变，远远超出了理论模型的预设范围。
团队很快便遇到了三大核心问题：
- 幻觉现象：模型有时会虚构出并不存在的损伤，或者错误地标记它所观察到的内容。
- 垃圾图像检测失效：模型无法可靠地识别出与笔记本电脑无关的图像，如桌面、墙壁或人物的照片，这些图像偶尔会混入数据集，导致模型产生毫无意义的损伤报告。
- 准确性不稳定：上述问题的结合使得模型的准确性大打折扣，无法满足实际运营的需求。
二、首次调整：混合图像分辨率的尝试
团队注意到图像质量对模型输出的影响显著。用户上传的图像种类繁多，从清晰的高分辨率图像到模糊的图像应有尽有。基于这一点，团队参考了关于图像分辨率对深度学习模型影响的研究，决定使用混合高分辨率和低分辨率的图像来训练和测试模型。这一策略旨在提高模型对不同图像质量的适应性。虽然这一调整在一定程度上提高了模型的一致性，但幻觉问题和垃圾图像处理问题依然存在。
三、多模态的歧途：文本模型的多模态探索
受到近期将图像配文与纯文本语言模型相结合的实验鼓舞，团队决定尝试这一方法。该过程大致如下：
- 语言大模型首先为图像生成多个可能的配文。
- 另一个名为多模态嵌入模型的工具检查每个配文与图像的匹配程度。在这个案例中，团队使用了SigLIP来评估图像与文本之间的相似性。
- 系统根据得分保留前几个配文。
- 语言大模型利用这些顶级配文生成新的配文，试图更准确地反映图像的实际内容。
- 这一过程重复进行，直到配文不再改进或达到预设的限制。
尽管这一方法在理论上看似巧妙，但在实际应用中却引入了新的难题：
- 持续的幻觉现象：配文本身有时会包含虚构的损伤，语言大模型随后会自信地报告这些损伤。
- 覆盖不全：即使有多个配文，仍有一些问题被完全忽略。
- 复杂性增加，效益有限：额外的步骤使系统更加复杂，却没有可靠地超越之前的设置。
四、创造性运用代理框架
此时，团队决定采取一个转折点。虽然代理框架通常用于协调任务流（如代理协调日历邀请或客户服务行动），但团队想知道，将图像解释任务分解为更小、更专业的代理是否会有所帮助。
团队构建了一个结构化的代理框架：
- 协调代理：检查图像并识别可见的笔记本电脑组件（屏幕、键盘、底盘、端口）。
- 组件代理：专门的代理检查每个组件以识别特定的损伤类型，例如屏幕碎裂或按键缺失。
- 垃圾检测代理：一个单独的代理负责判断图像是否为笔记本电脑。
这种模块化、任务驱动的方法产生了更精确且可解释的结果。幻觉现象大幅减少，垃圾图像被可靠地标记，每个代理的任务都足够简单和集中，从而能够很好地控制质量。
然而，这种方法并非完美无缺。它增加了延迟，因为需要运行多个顺序代理。此外，代理只能检测到它们被明确编程去识别的问题。如果图像显示了某个未被任何代理识别为检测目标的意外内容，它将被忽略。
五、混合解决方案：结合代理与单一提示方法
为了弥补这些缺陷，团队创建了一个混合系统：
- 代理框架首先运行，精确检测已知的损伤类型和垃圾图像。为了减少延迟，团队限制了代理的数量，只保留了最关键的代理。
- 然后，一个单一的图像语言大模型提示扫描图像，以查找代理可能遗漏的任何内容。
- 最后，团队使用一组针对高优先级用例（如频繁报告的损伤场景）精选的图像对模型进行了微调，以进一步提高准确性和可靠性。
这种结合为团队提供了代理设置的精确性和可解释性、单一提示方法的广泛覆盖性以及针对性微调带来的信心增强。
通过这个项目，团队收获颇丰：
- 代理框架的灵活性超乎想象：尽管通常与工作流程管理相关联，但团队发现，当以结构化和模块化的方式应用时，它们可以显著提升模型性能。
- 综合多种方法优于单一依赖：将精确的基于代理的检测与广泛覆盖的语言大模型相结合，再加上关键的微调，产生的结果远胜于任何单一方法。
- 视觉模型易于产生幻觉：即使是最先进的设置也可能草率下结论或看到不存在的东西。需要一个周到的系统设计来抑制这些错误。
- 图像质量至关重要：使用清晰的高分辨率图像和日常的低质量图像进行训练和测试，有助于模型在面对不可预测的真实世界照片时保持韧性。
- 垃圾图像检测必不可少：对垃圾或无关图片的简单检查是团队所做的最简单更改之一，但它对整体系统可靠性的影响却不成比例地大。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/cong-huan-jue-dao-ying-jian-yi-ge-ji-suan-ji-shi-jue-xiang
