Mistral 发布 Ministral 3B 和 8B 两款端侧模型
Mistral AI 发布 Ministral 3B 和 Ministral 8B 两款面向端侧与本地计算的模型,称其在 10B 以下类别中刷新知识、常识、推理、函数调用和效率表现。
推荐理由:Mistral 在 7B 发布一周年推出两款端侧小模型,给出了上下文长度、定价和对比基准,可据此判断小模型在本地与智能体工作流中的位置。
跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。
Mistral AI 发布 Ministral 3B 和 Ministral 8B 两款面向端侧与本地计算的模型,称其在 10B 以下类别中刷新知识、常识、推理、函数调用和效率表现。
推荐理由:Mistral 在 7B 发布一周年推出两款端侧小模型,给出了上下文长度、定价和对比基准,可据此判断小模型在本地与智能体工作流中的位置。
Hugging Face 博客宣布 Llama 3.2 发布,Llama 现在可以看图并能在用户设备上运行。
Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版)、安全分类器系列 ShieldGemma 以及覆盖 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由:Google 一次性放出 Gemma 2 2B、ShieldGemma 与 Gemma Scope,读者可据此了解小模型端侧部署与安全过滤的配套方案。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三个参数尺寸,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了 SmolLM 三个尺寸的训练数据配方与评测对比,可据此判断小模型在端侧的表现边界。
Hugging Face 发布 Swift Transformers,用于在 Apple 设备上运行端侧 LLM。
Hugging Face 博客发布文章,介绍如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion。原文正文抓取失败,仅标题可用。