豆包提出全新稀疏架构推理成本较MoE最高可降83%

近期，字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2—6倍。

更重要的是，该架构能够将推理成本最高降低83%。

该研究还揭示了新架构的Scaling Law，证明其不仅具备优异的Scaling特性，更在性能上超越了MoE。