训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Mistral AI 发布 Mistral Large 2，参数规模 123B，支持 128k 上下文窗口和数十种语言，可在单节点上以较大吞吐运行。官方称其在 MMLU 上准确率达 84.0%，代码与推理表现与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当，并针对减少幻觉和遵循精确指令做了训练。
推荐理由：原文给出 123B 参数、128k 上下文与多项基准对比，可据此判断单节点部署的成本与能力边界。
Meta 发布 Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的 base 与 instruct 版本共六个开放权重模型，均支持 128K token 上下文和英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语 8 种语言，并新增工具调用能力。
推荐理由：Hugging Face 官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案与微调路径，可据此估算部署成本。
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三个参数尺寸，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了 SmolLM 三个尺寸的训练数据配方与评测对比，可据此判断小模型在端侧的表现边界。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段微调，先学自然语言链式推理，再用 GPT-4 生成的工具集成推理数据训练模型调用 Python REPL。
推荐理由：NuminaMath 团队复盘了夺冠方案的两阶段微调、SC-TIR 解码与内部验证集设计，可供做数学推理微调的人参考。
Google 发布 Gemma 2 系列开源大模型，包含 9B 和 27B 两个尺寸的基座版与指令微调版共 4 个开放权重模型，上下文长度 8K tokens，采用允许商用和再分发的宽松许可。
推荐理由：梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等训练细节，并给出与 Llama 3、Qwen 1.5 的基准对比。
Mistral AI 在 la Plateforme 上线模型定制功能，提供三个入口：开源微调代码库 mistral-finetune、平台上的无服务器微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 同时给出开源微调代码库与托管微调服务，读者可据此比较自建与托管两条落地路径。
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2，全部 5 个模型已上线 Hugging Face Hub。
推荐理由：Meta 发布 Llama 3 并同步接入 Hugging Face 生态，读者可了解新分词器、GQA 与 15T token 训练带来的变化。
Hugging Face 博客介绍嵌入向量的二值（binary）与标量（int8）量化，用于降低检索的内存、磁盘占用与成本。二值量化把 float32 值转为 1-bit，内存和存储减少 32 倍，配合 rescoring 可保留约 96% 的检索性能；int8 量化缩小 4 倍，平均带来 3.66 倍检索加速，二值量化平均加速 24.76 倍。
推荐理由：原文给出二值与标量量化的实测数据与可复用脚本，读者可据此评估检索成本与性能的取舍。
Hugging Face 博客介绍 GaLore 方法，通过将梯度投影到低秩子空间，可在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 7B 参数的 Llama 架构模型，作者报告优化器状态存储内存减少超过 82.5%。
推荐理由：原文给出 GaLore 在消费级 GPU 上训练 7B 模型的内存节省数据与 transformers 接入方式，便于评估落地成本。
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集，包含超 3000 万个文件、250 亿 token，并开源了端到端流水线代码、数据集和基于它训练的 1B 模型 cosmo-1b。
推荐理由：原文完整公开了从提示词构建到去污染的合成数据流水线，可据此复现或迁移到自有预训练数据生产。
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，可在 Hub 内直接调用 NVIDIA H100 GPU 微调 Llama、Mistral、Stable Diffusion 等模型。
推荐理由：原文给出了无代码微调的具体操作路径与按分钟计费价格，读者可据此判断企业团队接入 H100 训练的成本与门槛。
BigCode 发布新一代透明训练的开放代码大模型 StarCoder2，包含 3B、7B、15B 三个尺寸，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 公开了 StarCoder2 三个尺寸的模型、训练数据与训练代码，读者可据此了解开源代码模型的数据规模与开放程度。
OpenAI 探索在视频数据上大规模训练生成模型，将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像，并采用在视频和图像潜码时空 patch 上运行的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频，结果提示扩展视频生成模型是构建通用物理世界模拟器的一条可行路径。
推荐理由：OpenAI 公开了视频生成模型的训练思路，读者可了解扩散模型与 Transformer 如何被用于构建物理世界模拟器。
Mistral AI 发布首个 7B 参数模型 Mistral 7B，称其在所有标准英文与代码基准上超过当时所有 13B 参数以下的开源模型，并以 Apache 2.0 许可发布，可无限制使用。
推荐理由：Mistral AI 首次公开其开源路线与 Mistral 7B 的基准表现，可了解开放权重模型当时的性能位置。
OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调，以适配自己的使用场景，同时更新了 API。
推荐理由：OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型，值得关注其对应用落地方式的影响。
ChatGPT 用户现在可以关闭聊天记录，从而自行选择哪些对话可以被用于训练 OpenAI 的模型。
推荐理由：ChatGPT 新增关闭聊天记录开关，用户可自行决定哪些对话被用于模型训练。
Hugging Face 博客介绍如何在 24GB 消费级 GPU 上通过 RLHF 微调 20B 大语言模型。
Hugging Face 发布用 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 的实验总结，指出 Dreambooth 容易过拟合，需要在训练步数和学习率之间找平衡，建议先用低学习率再逐步增加步数。
推荐理由：Hugging Face 基于多组对照实验给出 Dreambooth 微调 Stable Diffusion 的学习率、步数与先验保留建议，可直接迁移到自己的训练配置。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit，一个面向 Sentence Transformers 的高效少样本微调框架，无需提示词或 verbaliser。
推荐理由：原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比，读者可了解无提示词少样本分类的实现方式与成本。
Hugging Face 将 LLM.int8() 集成进 transformers 和 accelerate，用 8-bit 矩阵乘法把大模型显存占用降到约四分之一且不损失推理性能。
推荐理由：文章把 8-bit 量化原理、LLM.int8() 的离群值分解和 transformers 集成细节讲透，便于理解大模型显存占用来源。