随着社会对人工智能（AI）和机器学习（ML）应用的依赖日益加深，信息消费的方式正在被重新定义。从AI驱动的聊天机器人到由大型语言模型（LLMs）生成的信息综合，人们现在能够获取比以往任何时候都更多、更深入的信息。然而，随着科技公司竞相在其价值链中实施AI，一个关键问题浮出水面：我们真的能信任AI解决方案的输出吗？
AI输出的信任挑战
对于给定的输入，一个模型可能会生成许多其他同样合理的输出。这可能是由于训练数据不足、训练数据的变化或其他原因造成的。在部署模型时，组织可以利用不确定性量化来为其最终用户提供更清晰的理解，即他们应该多么信任AI/ML模型的输出。不确定性量化是估计其他可能输出是什么的过程。
想象一个模型预测明天的最高温度。模型可能会输出21ºC，但应用不确定性量化后，可能表明模型同样可能输出12ºC、15ºC或16ºC。了解这一点后，我们对21ºC的简单预测还有多少信任？尽管不确定性量化有可能增强信任或提醒人们谨慎行事，但许多组织因实施它的额外工作、对计算资源的需求以及推理速度的要求而选择跳过这一步骤。
人机协作系统中的信任问题
在人机协作系统（如医疗诊断和预后系统）中，人类是决策过程的一部分。如果盲目信任医疗AI/ML解决方案的数据，医疗专业人员可能会误诊患者，从而导致不佳的健康结果，甚至更糟的情况。不确定性量化可以让医疗专业人员定量地看到何时可以更多地信任AI的输出，何时应该对特定预测持谨慎态度。同样，在完全自动化的系统（如自动驾驶汽车）中，模型对障碍物距离的估计输出可能导致本可避免的碰撞，而如果对距离估计进行不确定性量化，则可能避免这种情况。
利用蒙特卡洛方法建立AI/ML模型信任的挑战
蒙特卡洛方法是在曼哈顿计划期间开发的一种强大的不确定性量化方法。它们涉及多次以略有不同的输入重新运行算法，直到进一步的迭代不再在输出中提供太多信息；当过程达到这种状态时，就说它已经收敛。蒙特卡洛方法的一个缺点是它们通常很慢且计算密集，需要多次重复其组成计算才能获得收敛输出，并且这些输出之间存在固有的可变性。由于蒙特卡洛方法使用随机数生成器的输出作为其关键构建块之一，即使你使用许多内部重复运行蒙特卡洛，当你使用相同参数重复该过程时，你获得的结果也会改变。
迈向AI/ML模型的可信度
与传统服务器和AI专用加速器不同，一种新型计算平台正在被开发出来，以直接处理经验概率分布，就像传统计算平台处理整数和浮点数一样。通过在这些平台上部署他们的AI模型，组织可以自动化对其预训练模型实施不确定性量化的过程，并且还可以加速传统上使用蒙特卡洛方法的其他类型的计算任务，如金融中的风险价值（VaR）计算。特别是，对于VaR场景，这种新型平台允许组织直接使用从真实市场数据构建的经验分布，而不是通过随机数生成器生成的样本来近似这些分布，从而进行更准确的分析并获得更快的结果。
下一代计算技术促进不确定性量化
最近在计算领域的突破显著降低了不确定性量化的障碍。我与同事在2024年神经信息处理系统大会（NeurIPS）的“新计算范式下的机器学习”研讨会上发表的一篇研究文章强调了这一点。我们开发的一种下一代计算平台使不确定性量化分析的运行速度比在高端Intel Xeon服务器上运行传统的基于蒙特卡洛的分析快100多倍。这样的进步使得组织在部署AI解决方案时能够轻松实施不确定性量化，并以较低的开销运行这种不确定性量化。
AI/ML可信度的未来
随着组织将更多AI解决方案融入社会，AI/ML的可信度将成为首要任务。企业不能再承担在部署AI模型时跳过实施允许消费者知道何时应对特定AI模型输出持怀疑态度的设施的风险。人们对这种可解释性和不确定性量化的需求是明确的，大约有四分之三的人表示，如果建立了适当的保证机制，他们更愿意信任AI系统。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/zhong-shi-ai-xin-ren-que-bao-ai-shu-chu-de-ke-kao-xing
