
在人工智能(AI)领域,尤其是大型语言模型(LLMs)的快速发展中,如何使AI代理在长时间对话中保持上下文连贯性和记忆一致性,一直是研究者和开发者关注的重点。近日,Mem0公司推出的两种新型内存架构——Mem0和Mem0g,为解决这一问题提供了创新性的方案。这些架构不仅使AI代理能够动态地提取、整合和检索对话中的关键信息,还赋予了它们更加类似人类的记忆能力,尤其是在处理涉及长时间数据流的应用时。
AI代理的记忆挑战
LLMs在生成类似人类的文本方面展现出了惊人的能力,但它们的固定上下文窗口限制了其在长时间或多会话对话中保持连贯性的能力。即使上下文窗口扩展到数百万个标记,也无法完全解决问题。随着有意义的人机关系在数周或数月内发展,对话历史不可避免地会超出最慷慨的上下文限制。此外,真实世界的对话很少局限于单一主题,一个仅依赖巨大上下文窗口的LLM将不得不为每次响应筛选大量无关数据。
Mem0:动态对话记忆的创新
Mem0架构的设计旨在从正在进行的对话中动态地捕获、组织和检索相关信息。其流程分为两个阶段:提取和更新。在提取阶段,系统处理新的消息对(通常是用户的消息和AI助理的响应),并从两个信息源添加上下文:一系列最近的消息和到该点为止的整个对话的摘要。Mem0使用异步摘要生成模块在后台定期刷新对话摘要。有了这个上下文,系统然后从新的消息交换中提取一组重要的记忆。在更新阶段,系统评估这些新提取的“候选事实”与现有记忆的关系,利用LLM自身的推理能力来决定是否添加新事实(如果不存在语义上相似的记忆)、更新现有记忆(如果新事实提供补充信息)、删除记忆(如果新事实与现有事实相矛盾),或者如果事实已经得到充分表示或无关紧要则不执行任何操作。
Mem0g:图基内存的增强版
在Mem0的基础上,Mem0g(Mem0-graph)通过引入基于图的内存表示来增强基础架构,从而能够更复杂地建模对话信息之间的复杂关系。在基于图的内存中,实体(如人、地点或概念)被表示为节点,而它们之间的关系(如“居住在”或“偏好”)被表示为边。通过显式地建模实体及其关系,Mem0g支持跨相互关联的事实进行更高级别的推理,特别是对于需要跨多个记忆导航复杂关系路径的查询。
性能与效率的双重提升
研究人员在LOCOMO基准数据集上对Mem0和Mem0g进行了全面评估,该数据集专为测试长期对话记忆而设计。除了准确性指标外,他们还采用了“LLM作为法官”的方法来评估性能,即使用另一个LLM来评估主要模型响应的质量。同时,他们还跟踪了标记消耗和响应延迟以评估这些技术的实际影响。结果显示,Mem0和Mem0g在各种问题类型(单跳、多跳、时间和开放域)上一致地优于或匹配现有内存系统,同时显著降低了延迟和计算成本。例如,Mem0与全上下文方法相比,延迟降低了91%,标记成本节省了90%以上,同时保持了具有竞争力的响应质量。
实际应用中的选择
对于需要在实时聊天机器人、个人助理或任何毫秒和标记都至关重要的场景中使用简单事实回忆的企业应用,Mem0的低延迟和低开销设计使其成为理想选择。而对于需要关系或时间推理的应用,如回答“谁批准了那笔预算,何时批准的?”、链接多步骤旅行行程或跟踪患者不断变化的治疗计划,Mem0g的知识图层则更为合适。尽管与纯Mem0相比,图查询引入了适度的延迟溢价,但其回报是一个强大的关系引擎,能够处理不断演变的状态和多代理工作流。
Mem0和Mem0g的推出标志着AI代理在长时间对话中保持记忆连贯性和一致性方面迈出了重要一步。这些创新不仅为企业部署更可靠、高效的对话式AI代理提供了可能,还预示着未来AI代理将能够在更广泛的场景中作为人类的可靠伙伴发挥作用。
原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/mem0-de-ke-kuo-zhan-nei-cun-wei-ai-dai-li-ti-gong-kua-yue