在人工智能（AI）领域，对话式AI一直面临着一个持久难题：如何在保持高准确率的同时，让顾客难以察觉他们正在与机器交流。最近，由AI电话支持公司Phonely、推理优化平台Maitai和芯片制造商Groq组成的三方合作，成功解决了这一问题，实现了对话式AI的一次重大突破。
突破性的技术合作
Phonely、Maitai和Groq的合作，通过优化AI模型推理过程，大幅提升了AI代理的响应速度和准确率。具体而言，Groq开发了一种名为“零延迟LoRA热切换”的技术，使得AI代理能够瞬间在多个专业化模型之间切换，而无需增加延迟。这项技术通过Maitai的优化平台得到进一步发挥，Maitai创建了一个“代理层编排”系统，持续优化模型性能，确保每次请求都能得到最佳响应。
技术细节与优势
Groq的“零延迟LoRA热切换”技术基于Low-Rank Adaptation（LoRA）方法，允许开发者对现有模型进行轻量级、任务特定的修改，而无需从头开始训练新模型。Groq的首席营销官Chelsey Kantor解释道：“Groq的组合架构，包括细粒度的软件控制、高速片上内存、流式架构和确定性执行，意味着可以无延迟地访问多个热切换的LoRA模型。”
Maitai的“代理层编排”系统则通过收集每次交互的性能数据，识别并改进模型的弱点。Maitai的创始人Christian DalSanto表示：“Maitai作为客户与模型提供商之间的薄代理层，允许我们动态选择和优化每个请求的最佳模型，自动应用评估、优化和弹性策略，如回退机制。”
性能提升与业务影响
这项合作带来的技术提升是显著的。Phonely的创始人兼CEO Will Bodewes透露，AI代理的响应时间缩短了70%以上，准确率从81.5%提升至99.2%，超越了GPT-4o的94.7%基准。这一准确率在许多客户服务场景中甚至超过了人类表现。
Phonely的客户已经感受到了这些改进带来的好处。Bodewes指出：“我们的一个最大客户在使用新版模型后，合格线索数量增加了32%。”此外，随着AI代理在对话流畅性和准确性方面的提升，越来越多的企业开始考虑用AI代理替换人工客服。Bodewes补充道：“我们合作的一家呼叫中心本月将完全用Phonely替换350名人工客服。从呼叫中心的角度来看，这是一次革命性的变化，因为他们不再需要管理人工客服的排班、培训和供需匹配。”
技术实施与部署
对于希望采用这项技术的企业而言，实施过程也非常高效。DalSanto表示：“对于已经在使用通用模型的公司，我们通常可以在同一天完成向Maitai的过渡，且不会造成任何中断。”这种快速部署能力解决了企业对于AI项目实施周期长的担忧，加速了投资回报。
未来展望
此次合作不仅解决了对话式AI的当前挑战，还预示着企业AI架构的未来趋势。随着企业越来越倾向于将应用程序分解为更小、更专业化的工作负载，多模型、任务特定的AI系统将成为主流。DalSanto指出：“多LoRA热切换使企业能够部署更快、更准确的模型，这些模型经过精确定制以满足其应用程序的需求，从而消除了传统的成本和复杂性障碍。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/phonely-de-xin-ai-dai-li-zhun-que-lyu-gao-da-99-gu-ke-nan
