把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Mistral AI 发布 Mistral Saba，这是其首个专门面向区域语言的模型，24B 参数，基于中东和南亚地区精选数据集训练。官方称其回答比体积超过自身 5 倍的模型更准确相关，速度更快、成本更低，可在单 GPU 系统上部署，响应速度超过 150 tokens per second，支持阿拉伯语和多种印度语系语言，在泰米尔语等南印度语系上表现尤其突出。
推荐理由：Mistral 首个区域语言模型给出 24B 参数、单 GPU 部署与 150 tokens/s 速度，可对照其区域化路线。
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，生成与补全代码速度约为原版 Codestral 的 2 倍，上下文长度从 32k 提升到 256k。
推荐理由：官方给出 Codestral 25.01 的架构与 tokenizer 变化、256k 上下文和多项基准对比，可据此判断它在代码补全场景的位置。
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 和 Codestral 输入输出价格均下降 80%，Mistral Large 下降 33%。
推荐理由：Mistral 一次性公布免费额度、全线降价和新版小模型，读者可据此重估自建与调用成本。
Meta 发布 Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的 base 与 instruct 版本共六个开放权重模型，均支持 128K token 上下文和英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语 8 种语言，并新增工具调用能力。
推荐理由：Hugging Face 官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案与微调路径，可据此估算部署成本。
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可按请求中的 adapter_id 动态调用多个 LoRA 适配器。
推荐理由：Hugging Face 官方给出 TGI Multi-LoRA 的部署步骤与成本数据，读者可据此评估单次部署承载多适配器的可行性。
Hugging Face 博客介绍 GaLore 方法，通过将梯度投影到低秩子空间，可在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 7B 参数的 Llama 架构模型，作者报告优化器状态存储内存减少超过 82.5%。
推荐理由：原文给出 GaLore 在消费级 GPU 上训练 7B 模型的内存节省数据与 transformers 接入方式，便于评估落地成本。
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型（SMoE）。该模型总参数量 46.7B，但每个 token 只使用 12.9B 参数，因此在同等速度与成本下运行，推理速度比 Llama 2 70B 快 6 倍，并在多数基准上匹配或超过 GPT3.5。
推荐理由：官方给出 Mixtral 8x7B 的稀疏 MoE 架构与推理成本数据，可据此判断开源模型的性价比取舍。
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地、云端（AWS/GCP/Azure）及 HuggingFace 部署。
推荐理由：Mistral 7B 以 Apache 2.0 开源并给出与 Llama 2 系列的逐项对比，读者可据此判断小参数模型的性价比位置。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax，可在 Google TPU 上实现快速推理。
推荐理由：Hugging Face 官方给出在 TPU 上跑 Stable Diffusion 的完整代码路径，可迁移到多设备并行推理。
Hugging Face 发布教程，展示如何用 DeepSpeed-Inference、Accelerate 和 DeepSpeed ZeRO 为 176B 参数的 BLOOM 模型做推理，并给出各方案在 8x80GB A100 上的吞吐与加载耗时基准。
推荐理由：文章给出 BLOOM 176B 在多种 GPU 配置下的吞吐与加载耗时对比，可据此选择部署方案。
OpenAI 发布 Triton 1.0，这是一门类 Python 的开源编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，性能多数情况下可达到专家水平。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。