在人工智能技术的浪潮中，一项名为CompleteMe的创新技术正引领着人像图片修复与编辑的新潮流。这项由加利福尼亚大学默塞德分校与Adobe公司携手推出的新技术，在人像图片的“去遮挡”或隐藏部分恢复方面取得了显著进展，为虚拟试衣、动画制作和照片编辑等领域带来了前所未有的可能性。
CompleteMe：基于参考的人像图片完成技术
CompleteMe技术的核心在于其独特的基于参考的完成机制。与以往仅能依靠图像先验或文本提示来生成遮挡区域内容的非参考方法不同，CompleteMe能够利用额外的参考图像来指导系统，精确地替换或恢复人像图片中被遮挡或缺失的部分。
这一技术的实现得益于其先进的双U-Net架构和区域聚焦注意力（RFA）模块。双U-Net架构包括一个负责整合辅助材料的参考U-Net和一个处理更广泛过程的连贯U-Net。在RFA模块的作用下，系统能够精准地将注意力集中在参考图像中的相关区域，从而确保生成的内容与原始图像在语义和细节上保持高度一致。
技术细节与优势
CompleteMe技术的创新之处在于其能够处理复杂姿势、精细服装图案和独特配饰等具有挑战性的场景。在测试中，CompleteMe在多项指标上均优于现有的参考和非参考方法，展现出了卓越的视觉保真度和语义连贯性。
此外，CompleteMe还采用了一种增强的输入遮挡过程，该过程结合了基于网格的随机遮挡和人体形状遮挡，增加了模型需要完成的遮挡区域的复杂性。这种方法有助于提升生成内容的现实感和鲁棒性。
与现有技术的对比
在对比测试中，CompleteMe与包括DINOv2、Paint-by-Example、AnyDoor、LeftRefill和MimicBrush在内的多种参考和非参考方法进行了比较。结果显示，CompleteMe在多项感知指标上均取得了最高分数，包括CLIP-I、DINO、DreamSim和LPIPS等，这些指标旨在捕捉输出图像与参考图像之间的语义对齐和外观保真度。
尽管在某些指标上，如SSIM和PSNR，CompleteMe并未取得最高分数，但总体上其表现仍然强劲。作者认为，这些结果证明了CompleteMe在结构和感知维度上的均衡实力。
用户研究与实际应用
为了进一步评估CompleteMe与人类感知的一致性，研究者还进行了一项涉及15名标注者和2895个样本对的用户研究。结果显示，与其他参考方法相比，CompleteMe在视觉质量和从参考中保留身份特征方面均获得了更明确的结果。
CompleteMe技术的潜在应用场景广泛，包括但不限于虚拟试衣、动画制作、照片编辑以及更广泛的图像修复领域。随着技术的不断发展和完善，CompleteMe有望为这些领域带来更加高效和精确的工具和解决方案。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/li-yong-ai-xiu-fu-yu-bian-ji-ren-xiang-tu-pian-xin-ji-shu
