阿里巴巴通义千问发布下一代基础模型架构Qwen3-Next，并开源了基于该架构的Qwen3-Next-80B-A3B系列模型。他们认为，Context Length Scaling和Total Parameter Scaling是未来大模型发展的两大趋势，为了进一步提升模型在长上下文和大规模总参数下的训练和推理效率，设计了全新的Qwen3-Next的模型结构。
该结构相比Qwen3的MoE模型结构,进行了以下核心改进：混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化，以及提升推理效率的多token预测机制。
倍盈配资提示：文章来自网络，不代表本站观点。
