Sakana AI是一家专注于研究自然启发算法的人工智能研究实验室，其研究人员开发了一种自适应语言模型，该模型无需微调即可学习新任务。该模型称为Transformer² (Transformer-squared)，它使用数学技巧在推理过程中将其权重与用户请求对齐。
这是一系列技术中的最新技术，旨在提高大型语言模型(LLM) 的推理能力，使其在不同领域的日常应用中越来越有用。
动态调整权重
通常，为新任务配置 LLM 需要昂贵的微调过程，在此过程中，模型会接触到新示例并调整其参数。更具成本效益的方法是“低秩自适应”（LoRA），其中在微调过程中识别和修改与目标任务相关的模型参数的一小部分。
经过训练和微调后，模型的参数保持不变，而将其重新用于新任务的唯一方法是通过少样本学习和多样本学习等技术。
与传统微调不同，Transformer-squared 使用两步方法在推理过程中动态调整其参数。首先，它会分析传入的请求以了解任务及其要求，然后对模型的权重应用特定于任务的调整，以优化其针对该特定请求的性能。
研究人员在公司网站上发表的一篇博客文章中写道：“通过有选择地调整模型权重的关键组成部分，我们的框架允许 LLM 实时动态地适应新任务。
Sakana Transformer-squared 的工作原理
Transformer-squared 的核心能力是在推理时动态调整其权重的关键组成部分。
为此，它必须首先确定在推理过程中可以调整的关键组件。Transformer-squared 通过奇异值分解(SVD) 来实现这一点，这是一种线性代数技巧，可将矩阵分解为三个其他矩阵，从而揭示其内部结构和几何形状。SVD 通常用于压缩数据或简化机器学习模型。
当应用于 LLM 的权重矩阵时，SVD 会获得一组组件，这些组件大致代表了模型的不同能力，例如数学、语言理解或编码。在实验中，研究人员发现可以调整这些组件以修改模型在特定任务中的能力。
为了系统地利用这些发现，他们开发了一种称为奇异值微调 (SVF) 的过程。在训练时，SVF 从模型的 SVD 组件中学习一组向量。这些向量称为 z 向量，是各个技能的紧凑表示，可用作旋钮来放大或抑制模型在特定任务中的能力。
在推理时，Transformer-squared 使用两遍机制来调整 LLM 以适应未见过的任务。首先，它检查提示以确定解决问题所需的技能（研究人员提出了三种不同的技术来确定所需的技能）。在第二阶段，Transformer-squared 配置与请求相对应的 z 向量，并通过模型和更新后的权重运行提示。这使模型能够为每个提示提供量身定制的响应。
Transformer-squared 的实际应用
研究人员将 Transformer-squared 应用于Llama-3和Mistral LLM，并在数学、编码、推理和视觉问答等各种任务上将它们与 LoRA 进行了比较。Transformer-squared 在所有基准测试中均优于 LoRA，同时参数更少。值得注意的是，与 Transformer-squared 不同，LoRA 模型无法在推理时调整权重，这使得它们的灵活性较低。
另一个有趣的发现是，从一个模型中提取的知识可以转移到另一个模型。例如，从 Llama 模型获得的 z 向量可以应用于 Mistral 模型。结果与从头开始为目标模型创建 z 向量并不相同，并且由于这两个模型具有相似的架构，因此可转移性是可能的。但它表明学习可应用于广泛模型的广义 z 向量的可能性。
研究人员写道：“前进的道路在于建立能够动态适应和与其他系统协作的模型，结合专业能力来解决复杂的多领域问题。”“像Transformer²这样的自适应系统弥合了静态人工智能和生命智能之间的差距，为高效、个性化和完全集成的人工智能工具铺平了道路，推动了各行各业和我们日常生活的进步。”
Sakana AI 在GitHub上发布了训练 Transformer-squared 组件的代码。
推理时间技巧
随着企业探索不同的 LLM 应用，过去一年出现了明显的转向开发推理时间技术的趋势。Transformer-squared 是几种方法之一，它使开发人员能够在推理时为新任务定制 LLM，而无需重新训练或微调它们。
Titans是 Google 研究人员开发的一种架构，它从不同的角度解决了这个问题，使语言模型能够在推理时学习和记忆新信息。其他技术则侧重于使前沿 LLM 能够利用其越来越长的上下文窗口来学习新任务而无需重新训练。
随着企业拥有特定于其应用程序的数据和知识，推理时间定制技术的进步将使 LLM 变得更加有用。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/wu-xu-zai-xun-lian-sakana-de-xin-ai-mo-xing-gai-bian-le-ji
