如今，MiniMax 在美国最为人熟知的身份可能是Hailuo背后的这家新加坡公司。Hailuo 是一种逼真的高分辨率生成式 AI 视频模型，可与Runway、OpenAI 的 Sora和Luma AI 的 Dream Machine 进行竞争。
但该公司还有更多的秘密武器：例如，今天，它宣布发布和开源 MiniMax -01 系列，这是为处理超长上下文和增强 AI 代理开发而构建的新模型系列。
该系列包括基础大型语言模型 (LLM) MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。
巨大的上下文窗口
MiniMax-Text-o1 尤其值得一提的是，其上下文窗口最多可容纳 400 万个标记，相当于一个小型图书馆的藏书量。上下文窗口是指 LLM 在一次输入/输出交换中可以处理的信息量，其中单词和概念表示为数字“标记”，这是 LLM 自身对其所训练数据的内部数学抽象。
尽管谷歌之前凭借其 Gemini 1.5 Pro 型号和200 万个标记上下文窗口处于领先地位，但 MiniMax 却显著地将其翻了一番。
正如 MiniMax今天在其官方 X 账户上发布的那样：“MiniMax-01 可高效处理多达 4M 个令牌 — 是其他领先型号容量的 20 到 32 倍。我们相信，MiniMax-01 有望在未来一年支持与代理相关的应用程序的预期激增，因为代理越来越需要扩展的上下文处理能力和持续的内存。”
目前，这些模型已在定制的 MiniMax 许可下在Hugging Face和Github上可供下载，用户可以直接在Hailuo AI Chat（ChatGPT/Gemini/Claude 的竞争对手）上尝试，也可以通过 MiniMax 的应用程序编程接口 (API) 进行尝试，第三方开发人员可以将自己独特的应用程序链接到这些模型上。
MiniMax 以有竞争力的价格提供用于文本和多模式处理的 API：
- 每 100 万个输入代币 0.2 美元
- 每 100 万个输出代币 1.1 美元
相比之下，OpenAI 的 GPT-4o通过其 API每输入 100 万个令牌的成本为 2.50 美元，高出惊人的 12.5 倍。
MiniMax 还集成了混合专家 (MoE) 框架，拥有 32 位专家，以优化可扩展性。这种设计平衡了计算和内存效率，同时在关键基准上保持了竞争性能。
利用闪电注意力架构开辟新天地
MiniMax-01 的核心是 Lightning Attention 机制，这是 Transformer 架构的创新替代方案。
这种设计大大降低了计算复杂度。模型包含 4560 亿个参数，每次推理激活 459 亿个参数。
与早期架构不同，Lightning Attention 采用了线性和传统 SoftMax 层的混合，实现了长输入的近线性复杂度。对于像我这样刚接触该概念的人来说， SoftMax是将输入数字转换为加起来为 1 的概率，以便 LLM 可以近似地确定输入的含义最有可能。
MiniMax 已重建其训练和推理框架以支持 Lightning Attention 架构。主要改进包括：
- MoE 全方位通信优化：减少 GPU 间通信开销。
- Varlen 环注意：最大限度地减少长序列处理的计算浪费。
- 高效的内核实现：定制的 CUDA 内核可提高 Lightning Attention 的性能。
这些进步使得 MiniMax-01 模型可用于实际应用，同时保持了可承受的价格。
性能和基准
在主流文本和多模态基准测试中，MiniMax-01 可与 GPT-4 和 Claude-3.5 等顶级模型相媲美，在长上下文评估中取得了特别出色的成绩。值得注意的是，MiniMax-Text-01在 400 万个标记上下文的Needle-In-A-Haystack 任务中实现了 100% 的准确率。
随着输入长度的增加，模型还表现出最小的性能下降。
MiniMax 计划定期更新以扩展模型的功能，包括代码和多模式增强。
该公司将开源视为为不断发展的人工智能代理领域构建基础人工智能能力的一步。
预计 2025 年将是 AI 代理的变革之年，对持续记忆和高效代理间通信的需求正在增加。MiniMax 的创新旨在应对这些挑战。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/minimax-tui-chu-zi-ji-de-kai-yuan-llm-ju-you-hang-ye-ling
