跳到正文
原文
rohanpaul_ai· @rohanpaul_ai · X·· 6 小时前AI 评分71

Hi3D v1.0 开源图像转 3D 模型,支持私有部署与商业使用

AI 导读

Hi3D_AI 开源了图像转 3D 模型 Hi3D v1.0(原名 Sparc3D),代码和权重已在 GitHub 与 Hugging Face 免费提供,可在自有服务器上私有运行并接入内部系统。

正文 · AI 翻译

这对开放式 3D 生成来说太棒了。去年还是前沿技术,今年就开源了

@Hi3D_AI 已开源 Hi3D v1.0(原名 Sparc3D)。这是一款图生 3D 模型,从任何角度看都能保持结构完整,而且在正式发布前就已经在 Hi3D 的在线产品中运行。

> 任何人都可以在自己的服务器上私下运行它,将其接入内部系统,并以此为基础为自己的行业构建工具和应用。

> 代码和权重已发布在 GitHub 和 Hugging Face 上,可免费使用,包括商业用途,

大多数图生 3D 模型的评判依据是正面效果,因此背面、底部以及翅膀、角和把手等细小部件往往生成得臃肿、破损或缺失。

Hi3D v1.0 输入一张图像和一个粗略的形状草稿(由另一个模型生成的“粗网格”),然后通过 3 个阶段进行细化,分辨率分别为 512、1024 和 1536。

这里的分辨率是指将物体周围的空间切分成称为体素的小立方体,也就是类似 3D 像素的东西;1536 意味着每条边上有 1536 个立方体。

完整的网格将包含超过 36 亿个立方体,因此该模型采用稀疏方式工作,只处理靠近表面的立方体,跳过空中的区域和实心内部。

在每个阶段,一个“自剪枝”解码器会以精细 8 倍的尺度重建表面,并剔除最终被判定为空的立方体。

训练数据从 50 万个增加到约 200 万个经过精心整理的 3D 资产。

与包括 TRELLIS.2 和 Hunyuan3D-2.1 在内的另外 8 款图生 3D 模型相比,它在多视角保真度(0.75)和细节丰富度(0.841)两项指标上得分最高。前者检验物体形状从 6 个相机角度看是否保持一致且完整,后者则评估精细的表面起伏和小部件。

它还保持了 90% 的切片成功率,即 3D 打印软件能够将模型切分为打印层的比例;相比之下,唯一另一款支持 1536 分辨率的模型 Pixal3D 的成功率为 7%,TRELLIS.2 为 17%。

在由 13 名具备专业 3D 经验的人士进行的 562 次并列对比评分中,Hi3D v1.0 有 83.5% 的时候被选中。

它仅输出形状(不含颜色或纹理),需要 NVIDIA GPU;代码和权重可免费用于商业用途,但限制为每月最多 20 万用户或每月收入 100 万美元。

Hi3D 1.0 现已开源

hi3d.ai/hi3d-1-0-open-source

来源:rohanpaul_ai · x.com