（原标题：继DeepSeek后找色妹妹，MiniMax也发布了挑战传统Transformer架构的国产开源模子）

麻豆 夏雨荷

图片起首：视觉中国

蓝鲸新闻1月15日讯（记者 朱俊熹）国产开源大模子再添一员强将。1月15日，大模子独角兽MiniMax发布并开源了MiniMax-01全新系列模子，包含基础话语大模子和视觉多模态大模子两个模子。

据MiniMax先容，其基础话语大模子MiniMax-Text-01在大都任务上，追平了GPT-4o、Claude 3.5 Sonnet这两个国外公认起初进的闭源模子。在评估模子教唆死守智力的IFEval和C-SimpleQA汉文评测聚积，该基础话语大模子的得分也进步了另一国产开源模子DeepSeek-V3。

与DeepSeek模子近似，MiniMax的新系列模子也对传统的Transformer架构进行了立异。MiniMax称，在模子中初次大领域终明晰线性注重力机制找色妹妹，每8层中有7个是基于Lightning Attention的线性注重力，有一层是传统的SoftMax注重力。

鄙俚来讲，如若譬如成要在一群东说念主中找到最遑急的阿谁，传统注重力需要每个东说念主跟其他东说念主都单独聊一遍，一一相比总共东说念主的遑急性。而线性注重力只用放哨每个东说念主手中的柬帖，快速统计出哪些东说念主抓有的信息是最遑急的。因此，传统注重力机制精确但揣测逶迤，顺应短输入或复杂任务，而线性注重力以其高效更顺应超长输入、需要快速处分的任务。

MiniMax在时间说明中提到，正在扣问更高效的模子架构，但愿大要阔气去除SoftMax注重机制，从而终了无穷长的高下文窗口，而不会加多揣测支出。

幻方量化旗下AI公司DeepSeek在12月底发布了V3开源模子，收受的是立异的多头潜在注重力机制（MLA）和DeepSeekMoE搀杂大家架构。在从简内存占用和揣测资源的同期，确保资源被高效期骗。DeepSeek-V3以极低的检修资本终明晰对皆领军闭源模子的性能，激发国表里科技社区热议。不仅被前OpenAI联创Andrej Karpathy赞为“在资源受限的情况下对扣问和工程的一次令东说念主印象深入的展示”，也被OpenAI列作中国AI时间快速发展的标准。

围绕线性注重力机制，MiniMax对模子的检修和推理系统进行了重构。其模子包含4560亿个参数，单次推理激活459亿个。大要高效处分最长400万token的高下文，是GPT-4o的32倍，Claude 3.5 Sonnet的20倍。在长高下文的测评集上，MiniMax-Text-01的发挥显贵起先于其他开闭源模子。

图片起首：MiniMax官网

MiniMax示意，01系列模子将大要复古将来一年内智能体应用的大幅增长需求，因为智能体系统越来越需要更长的高下文处分智力和抓续的牵记。“咱们驯顺2025年会是Agent（智能体）高速发展的一年。”该公司称，“在这个模子中，咱们走出了第一步，并但愿使用这个架构抓续建造复杂Agent所需的基础智力。”

智能体正成为国表里AI公司竞相押注的赛说念。OpenAI CEO Sam Altman本月初发文称，到2025年，将可能看到第一批AI智能体“加入劳能源戎行”，并骨子性地改换公司的产出。谷歌在推出新一代Gemini 2.0大模子时也示意，这是为智能体时期构建的。该模子主打复古多模态输入和输出，以构建出更接近通用助手愿景的智能体。

MiniMax在发挥为何聘请将模子开源时提到，一是合计这有可能启发更多长高下文的扣问和应用，从而更快促进智能体时期的到来。二是通过开源促使其发奋作念更多立异，更高质料地开展后续的模子研发职责。

MiniMax确立于2021年12月，被广泛称为国内“大模子六小龙”之一。旗下领有AI追随应用星野，以及集成了对话、视频、音乐功能的海螺AI等代表性家具，在国外阛阓蕴蓄了一定热度。其最新清晰的一轮融资也曾在前年3月，由阿里领投的6亿好意思元B轮融资，公司估值达25亿好意思元。此前腾讯、米哈游、高瓴创投等机构也参投了MiniMax。

六小龙中，各公司的大模子开源程度不一。其中，百川智能、智谱AI、零一万物开源了多款模子找色妹妹，涵盖废话语模子、多模态模子等。而月之暗面、阶跃星辰仅开源了部分时间，举例月之暗面诱惑清华大学等机构开源的大模子推理架构Mooncake，以及阶跃星辰专注进步光学字符识别（OCR）时间的GOT-OCR2.0模子。