AMD 最强开源混合专家模型：Instella-MoE 系列 AI 登场，16B 参数、自有 GPU 训练

IT之家 7 月 28 日消息，AMD 于 7 月 24 日发布博文，宣布推出 Instella-MoE 系列模型， 总参数量为 16B，激活参数量为 2.8B，采用 27 层解码器架构，使用 AMD 自研的 GPU 和软件开发而成。 IT之家援引博文介绍，AMD 本次推出的 Instella-MoE 系列模型共有 6 个版本： 模型 阶段 描述 Instella-MoE-16B-A3B-Pretrain 预训练 基于大型多样化训练语料

---