Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B

Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型（SMoE）。该模型总参数量 46.7B，但每个 token 只使用 12.9B 参数，因此在同等速度与成本下运行，推理速度比 Llama 2 70B 快 6 倍，并在多数基准上匹配或超过 GPT3.5。