科普
图像到几何 已发布

现代图生三维管线怎样工作

现代系统常先生成一致的新视图或三维先验,再恢复几何与纹理。扩散模型改善了补全能力,但可编辑拓扑仍需要单独处理。

参考图 01
一致多视图 02
几何重建 03
材质与导出 04
本页目录

现代图生三维管线怎样工作

图生三维系统没有单一固定结构。常见方案会把问题拆成两段:先利用生成模型补出未见视角或三维先验,再从这些观测恢复几何和纹理。另一类系统直接在三维表示上生成,但最终仍要处理网格与材质交付。

扩散模型负责补全分布

扩散模型在训练时学习把噪声逐步还原成数据,在生成时从噪声开始逐步得到图像或其他表示。它擅长从数据分布中补全缺失内容,因此可以根据单张参考图生成新的观察方向。

Zero-1-to-3 把相对相机变换加入生成条件,使模型能根据输入图和目标视角合成新图。后续方法进一步强调多视图同时生成和一致性约束,避免逐张生成造成身份与结构漂移。

新视图不是三维资产

新视图提供了更多外观约束,但仍是二维图像。系统还要解决:

  • 不同视图之间的对应关系;
  • 相机是否准确;
  • 表面几何与纹理如何分离;
  • 不可见区域如何补全;
  • 生成结果如何转换为网格;
  • 网格是否适合 UV、绑定和动画。

Wonder3D 使用跨域注意力同时生成多视图彩色图和法线图。InstantMesh 将稀疏视图生成与大规模重建模型结合,提高了单图到网格的速度。Hunyuan3D 2.1 则把形状生成与 PBR 纹理生成拆成两个阶段。这些系统说明“外观补全”和“资产构建”通常不是同一步。

对人物资产要增加哪些环节

通用图生三维管线通常以外观相似和几何完整为主要目标。可动画分层人物还需要:

  1. 用稳定身体承接服装和骨骼;
  2. 把皮肤、头发、软布、硬壳与附件拆开;
  3. 恢复部件内侧和遮挡后的表面;
  4. 重建适合关节变形的拓扑;
  5. 建立骨骼、蒙皮、修正形变和碰撞;
  6. 在目标引擎中检查材质、尺度、LOD 与动作。

因此,生成模型可以缩短外观建立和多视图补全的时间,但它不是完整人物资产流水线的同义词。

继续阅读

下一节进入人物资产本身:为什么需要稳定身体和语义分层,而不是把所有外观焊成一个网格。