78B总参数、3.46B激活:德国Aleph Alpha把百万上下文大模型开源了
发布时间:2026-10-04
浏览:0 次
导语:2026 年 10 月 4 日,德国 AI 实验室 Aleph Alpha 发布了一款名为 Kolibri 的开源模型。它把几个关键数字放在了一起:参数总量 78B,但每次推理只激活 3.46B;上下文窗口拉到 100 万 token;权重以 Apache 2.0 协议开放。这几个数字指向的是同一件事——长上下文与高推理效率,被塞进了同一个模型里。官方说法是,Kolibri“针对长上下文和推理效率做了优化”,同时支持显式推理模式和工具调用。
78B 是容量,3.46B 是真正被调用的部分。78B 是模型的总容量,3.46B 是每次前向计算真正调用的部分。二者的差距来自 MoE(混合专家)架构:参数被拆成多个“专家”,按需唤醒,而不是每次都用全部权重。对使用者来说,最直接的结果是推理成本按激活量计算,而不是按参数总量计算——这几乎重新定义了开源大模型的部署门槛。而 100 万 token 的上下文窗口,则决定了这个模型能“吃下”多长的输入:长文档、大代码库、多轮长对话,都属于这个窗口要覆盖的场景。Aleph Alpha 把“长上下文”和“推理效率”并列写进优化目标,说明这两项从训练阶段起就是一起考虑的。
一个双语分词器,21.3% 的德语预训练 token。Kolibri 团队专门做了德语/英语双语分词器,并在整个训练过程中持续加入原生德语数据,最终德语占预训练 token 的 21.3%。这个比例不是随手填的。分词器决定文本怎么切、切完怎么进模型,双语分词器意味着德语不会被英语的切分规则硬拆。而 21.3% 的德语预训练占比,说明这不是“英语模型加一点德语微调”,而是从预训练阶段就把德语当作“一等公民”。对德语使用者来说,这解决的是模型在母语上“能说但不地道”的老问题。
从第一天就按欧盟规则设计。Aleph Alpha 在说明中提到,Kolibri 从底层设计开始就考虑了欧盟 AI 法案、通用人工智能行为准则和 GDPR,版权法是其中一项工作重点。合规在这里不是发布后补的手续,而是训练前的约束条件。版权法被单独点出,说明训练数据的来源和处理方式,是这个模型设计的一部分,而不是事后声明。作为德国 AI 实验室,Aleph Alpha 的 Kolibri 也被视为除 Mistral 之外,欧盟可能达到这一性能水平的通用模型之一。Apache 2.0 的授权方式,意味着权重可以下载、可以在自己的硬件上跑、可以商用——对不想把数据送出去的团队来说,这是可选项之一。
结语:78B 总量、3.46B 激活、100 万上下文、21.3% 德语 token、Apache 2.0——这几个数字拼起来,是 Kolibri 目前能确认的全部轮廓,也是欧洲开源模型阵营递出的又一张牌。