OpenAI 发布 GPT-4o,ChatGPT 免费开放更多能力
OpenAI 发布 GPT-4o,并让 ChatGPT 免费用户获得更多能力。该消息来自 OpenAI 的 Spring Update,具体能力范围与开放细节未在摘要中展开。
推荐理由:OpenAI 发布 GPT-4o,并让 ChatGPT 免费用户获得更多能力,可据此了解模型与免费策略的同步变化。
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
OpenAI 发布 GPT-4o,并让 ChatGPT 免费用户获得更多能力。该消息来自 OpenAI 的 Spring Update,具体能力范围与开放细节未在摘要中展开。
推荐理由:OpenAI 发布 GPT-4o,并让 ChatGPT 免费用户获得更多能力,可据此了解模型与免费策略的同步变化。
Meta 发布 Llama 3 系列开源大模型,包含 8B 和 70B 两个尺寸,各有 base 与 instruct 版本,并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2,全部 5 个模型已上线 Hugging Face Hub。
推荐理由:Meta 发布 Llama 3 并同步接入 Hugging Face 生态,读者可了解新分词器、GQA 与 15T token 训练带来的变化。
Mistral 发布最新开源模型 Mixtral 8x22B,采用稀疏 Mixture-of-Experts 架构,141B 参数中仅激活 39B,以 Apache 2.0 许可开放。
推荐理由:原文给出 Mixtral 8x22B 的激活参数、上下文窗口与开源许可,读者可据此判断其成本与部署取舍。
Hugging Face 发布 Idefics2,一个 8B 参数的通用多模态模型,可接受任意文本与图像序列输入并生成文本回复,采用 Apache 2.0 开源许可。
推荐理由:8B 参数、Apache 2.0 开源,并给出与更大模型的基准对比和微调入口,便于判断多模态选型。
Google 发布 CodeGemma 系列开源代码模型,包含 2B 基础模型、7B 基础模型和 7B Instruct 三个版本,基于预训练的 2B 和 7B Gemma checkpoint 额外训练 5000 亿 token 的英文、数学和代码数据。
推荐理由:Google 与 Hugging Face 联合发布三个开源代码模型,读者可对照 HumanEval 等基准数据判断其与同尺寸模型的差距。
BigCode 发布新一代透明训练的开放代码大模型 StarCoder2,包含 3B、7B、15B 三个尺寸,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由:BigCode 公开了 StarCoder2 三个尺寸的模型、训练数据与训练代码,读者可据此了解开源代码模型的数据规模与开放程度。
Mistral AI 发布新旗舰文本生成模型 Mistral Large,可通过 la Plateforme 和 Azure 使用,Azure 是其首个分发合作伙伴。
推荐理由:Mistral 官方给出新旗舰模型的基准对比与 Azure 分发路径,可据此判断其 API 生态位置。
Google 发布新的开源大语言模型 Gemma,Hugging Face 博客以“欢迎 Gemma”为题介绍了该模型。
Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型(SMoE)。该模型总参数量 46.7B,但每个 token 只使用 12.9B 参数,因此在同等速度与成本下运行,推理速度比 Llama 2 70B 快 6 倍,并在多数基准上匹配或超过 GPT3.5。
推荐理由:官方给出 Mixtral 8x7B 的稀疏 MoE 架构与推理成本数据,可据此判断开源模型的性价比取舍。
Hugging Face 发布博客欢迎 Mixtral 上线,称其为 SOTA 混合专家模型。
OpenAI 在 DevDay 上发布新模型与开发者产品,包括支持 128K 上下文的 GPT-4 Turbo 且价格更低,以及新的 Assistants API、GPT-4 Turbo with Vision 和 DALL·E 3 API。
推荐理由:OpenAI 在 DevDay 集中公布模型与开发者产品更新,可据此了解其当时的产品线变化。
Mistral AI 发布首个 7B 参数模型 Mistral 7B,称其在所有标准英文与代码基准上超过当时所有 13B 参数以下的开源模型,并以 Apache 2.0 许可发布,可无限制使用。
推荐理由:Mistral AI 首次公开其开源路线与 Mistral 7B 的基准表现,可了解开放权重模型当时的性能位置。
Mistral AI 发布 7.3B 参数的 Mistral 7B,采用 Apache 2.0 许可,可无限制使用并支持本地、云端(AWS/GCP/Azure)及 HuggingFace 部署。
推荐理由:Mistral 7B 以 Apache 2.0 开源并给出与 Llama 2 系列的逐项对比,读者可据此判断小参数模型的性价比位置。
Hugging Face 发布 Falcon 180B 模型。
Hugging Face 博客发布文章介绍 Code Llama,标题显示这是 Llama 2 面向代码能力的版本。原文正文未能抓取,除标题外暂无更多细节。
Hugging Face 发布 IDEFICS,一个对先进视觉语言模型的开源复现。
Hugging Face 博客发布消息称 Llama 2 已发布,并可在 Hugging Face 上获取。原文正文未能抓取,除标题外暂无更多细节。
Hugging Face 发布面向代码的大语言模型 StarCoder,标题称其在代码任务上达到当时的最先进水平。
OpenAI 发布 GPT-4,称其为扩展深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中仍不及人类。
推荐理由:OpenAI 官方给出 GPT-4 的多模态输入能力与基准表现,读者可据此了解这一代模型的定位。
OpenAI 发布 GPT-4,官方称其可在创意与技术写作任务中生成、编辑内容并与用户反复迭代,例如作曲、写剧本或学习用户的写作风格。
推荐理由:OpenAI 官方公布 GPT-4 的写作能力,读者可据此了解它在创作与技术写作任务上的定位。