在人工智能（AI）领域，检索增强生成（Retrieval Augmented Generation，简称RAG）技术被广泛用于提升大型语言模型（Large Language Models，简称LLMs）的准确性和内容丰富性。然而，彭博近期发布的一项研究却揭示了RAG可能带来的隐藏风险，挑战了RAG能够增强AI安全性的传统观念。本文将深入探讨这项研究的核心发现，以及RAG对LLMs安全性影响的深层次原因。
一、RAG技术的原理与应用
RAG技术通过将外部信息检索与LLMs的生成能力相结合，旨在提高AI模型的准确性和实时性。在LLMs生成回答时，RAG技术能够检索相关文档，为模型提供额外的上下文信息，从而使其生成更加准确和具有依据的回答。这种技术在企业AI领域尤为受欢迎，因为它能够为企业提供准确、更新的信息支持。
二、彭博研究的核心发现
彭博的研究团队在题为《RAG LLMs并不更安全：检索增强生成的大型语言模型安全性分析》的论文中，对11种流行的LLMs进行了评估，包括Claude-3.5-Sonnet、Llama-3-8B和GPT-4等。研究结果显示，在使用RAG时，原本在标准设置下会拒绝有害查询的模型，往往会产生不安全的回答。例如，Llama-3-8B的不安全回答比例从0.3%跃升至9.2%，当RAG被实施时。
三、RAG对LLMs安全性的影响
研究指出，RAG之所以会对LLMs的安全性产生负面影响，原因可能在于RAG的使用方式会绕过LLMs内置的安全保护机制（即“guardrails”）。在没有RAG的情况下，如果用户输入恶意查询，LLMs的安全系统通常会阻止该查询。然而，当同样的查询在使用RAG的LLMs中发出时，系统却会回答该恶意查询，即使检索到的文档本身是安全的。
彭博的研究团队推测，这可能是由于LLMs在开发和训练过程中没有充分考虑对非常长输入的安全对齐。研究显示，上下文长度直接影响安全性的退化。随着提供的文档数量增加，LLMs变得更容易受到攻击。即使引入单个安全的文档，也可能显著改变LLMs的安全行为。
四、针对RAG风险的应对策略
面对RAG可能带来的风险，彭博的研究团队提出了相应的应对策略。首先，组织需要意识到这些风险的存在，并采取措施进行实际测量和识别。其次，领导者应超越将guardrails和RAG视为独立组件的观念，而是设计集成的安全系统，特别考虑检索到的内容如何与模型的安全保障相互作用。
此外，彭博还发布了另一篇论文《理解和缓解金融服务中生成式AI的风险》，为金融服务领域引入了一个专门的AI内容风险分类法，以解决通用安全方法未涵盖的特定领域问题。该分类法涵盖了金融不当行为、机密信息披露和反事实叙述等特定风险。
五、RAG技术的未来展望
尽管RAG技术带来了潜在的安全风险，但其对于提升AI模型准确性和内容丰富性的价值不容忽视。因此，未来的研究应致力于开发更加完善的安全机制，以确保在使用RAG技术的同时，不会牺牲LLMs的安全性。此外，针对特定行业的风险分类法和安全框架也将成为未来研究的重要方向。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/rag-shi-fou-hui-rang-da-xing-yu-yan-mo-xing-llms-bian-de-bu
