OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的相关内容。
#多模态
#多模态
OpenAI News精选AI 评分
Hugging Face Blog精选AI 评分
Hugging Face 发布 IDEFICS：开源复现的视觉语言模型
Hugging Face 发布 IDEFICS，一个对先进视觉语言模型的开源复现。
OpenAI News精选AI 评分 OpenAI 发布多模态大模型 GPT-4
OpenAI 发布 GPT-4，称其为扩展深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多项专业和学术基准上达到人类水平表现，但在许多真实场景中仍不及人类。
推荐理由：OpenAI 官方给出 GPT-4 的多模态输入能力与基准表现，读者可据此了解这一代模型的定位。
OpenAI NewsAI 评分 GPT-4 如何填补 Duolingo 的关键语言学习空白
GPT-4 被用于 Duolingo，以填补关键的语言学习空白。原文未披露具体功能细节、参数规模或可用性信息。
OpenAI NewsAI 评分 Be My Eyes 用 GPT-4 改变视觉无障碍体验
Be My Eyes 借助 GPT-4 改变视觉无障碍体验。该应用利用 GPT-4 为视障用户提供视觉辅助能力。
OpenAI News精选AI 评分 OpenAI 发布 GPT-4
OpenAI 发布 GPT-4，官方称其可在创意与技术写作任务中生成、编辑内容并与用户反复迭代，例如作曲、写剧本或学习用户的写作风格。
推荐理由：OpenAI 官方公布 GPT-4 的写作能力，读者可据此了解它在创作与技术写作任务上的定位。
OpenAI News精选AI 评分 OpenAI 发布 Point-E：从复杂提示词生成 3D 点云的系统
OpenAI 发布 Point-E，一个可从复杂提示词生成 3D 点云的系统。
Hugging Face 为 🤗 Datasets 新增音频与视觉数据集文档
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档，Quickstart 新增按模态选择数据集的端到端示例，并引入 to_tf_dataset 函数，可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face 将 Perceiver IO 加入 Transformers，统一处理文本图像音频视频
Hugging Face 宣布在 Transformers 库中加入 Perceiver IO，这是首个基于 Transformer、可处理文本、图像、音频、视频、点云等多种模态及其组合的神经网络。
推荐理由：Hugging Face 把 Perceiver IO 接入 Transformers，读者可了解这套统一处理文本、图像、音频、视频的架构如何落地调用。
OpenAI News精选AI 评分 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现了一类多模态神经元，无论概念以字面、符号还是概念化形式呈现，这些神经元都会产生响应。OpenAI 表示，这或许能解释 CLIP 为何能准确分类出人意料的概念视觉呈现，也是理解 CLIP 及类似模型所学关联与偏置的重要一步。
推荐理由：OpenAI 公开了 CLIP 中多模态神经元的发现，为理解模型如何跨形式关联概念提供了线索。
OpenAI News精选AI 评分 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 官方介绍 CLIP 如何用自然语言监督学习视觉概念，并说明其零样本迁移到任意分类基准的方式。
OpenAI News精选AI 评分 OpenAI 发布 DALL·E：从文本描述生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言文本描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 公开 DALL·E 这一从文本生成图像的神经网络，可了解文生图方向的早期形态。
OpenAI News精选AI 评分 OpenAI 发布音乐生成神经网络 Jukebox 并开源模型权重与代码
OpenAI 推出 Jukebox，一个能生成音乐的神经网络，可输出多种流派和艺术家风格的原始音频，并包含初步的歌唱。OpenAI 同时发布了模型权重和代码，以及一个用于探索生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可了解这套音乐生成神经网络的能力边界与开放程度。
OpenAI News精选AI 评分 OpenAI 发布 MuseNet 音乐生成神经网络
OpenAI 发布 MuseNet，一个深度神经网络，可生成 4 分钟、包含 10 种乐器的音乐作品，并能融合从乡村到莫扎特再到披头士的风格。MuseNet 并未被显式编程音乐知识，而是通过预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由：OpenAI 公开 MuseNet 的技术路线，读者可了解其如何用 GPT-2 同款无监督方法生成多风格音乐。