又出来一个大模型 minimax ... 最近速度好快啊

欢迎新会员

本帖最后由 欢迎新会员 于 2025-3-12 22:30 编辑

MiniMax-01开源：新架构开启Agent时代

https://minimaxi.com/news/minimax-01-%E7%B3%BB%E5%88%97

在 MiniMax-01系列模型中，我们做了大胆创新：首次大规模实现线性注意力机制，传统 Transformer架构不再是唯一的选择。这个模型的参数量高达4560亿，其中单次激活459亿。模型综合性能比肩海外顶尖模型，同时能够高效处理全球最长400万token的上下文，是GPT-4o的32倍，Claude-3.5-Sonnet的20倍。

基于业界主流的文本和多模态理解测评结果如下图所示，我们在大多数任务上追平了海外公认最先进的两个模型，GPT-4o-1120以及Claude-3.5-Sonnet-1022。在长文任务上，我们对比了之前长文最好的模型 Google的Gemini。如图(c)所示，随着输入长度变长，MiniMax-Text-01 是性能衰减最慢的模型，显著优于Google Gemini。