现代图生三维管线怎样工作
图生三维系统没有单一固定结构。常见方案会把问题拆成两段:先利用生成模型补出未见视角或三维先验,再从这些观测恢复几何和纹理。另一类系统直接在三维表示上生成,但最终仍要处理网格与材质交付。
扩散模型负责补全分布
扩散模型在训练时学习把噪声逐步还原成数据,在生成时从噪声开始逐步得到图像或其他表示。它擅长从数据分布中补全缺失内容,因此可以根据单张参考图生成新的观察方向。
Zero-1-to-3 把相对相机变换加入生成条件,使模型能根据输入图和目标视角合成新图。后续方法进一步强调多视图同时生成和一致性约束,避免逐张生成造成身份与结构漂移。
新视图不是三维资产
新视图提供了更多外观约束,但仍是二维图像。系统还要解决:
- 不同视图之间的对应关系;
- 相机是否准确;
- 表面几何与纹理如何分离;
- 不可见区域如何补全;
- 生成结果如何转换为网格;
- 网格是否适合 UV、绑定和动画。
Wonder3D 使用跨域注意力同时生成多视图彩色图和法线图。InstantMesh 将稀疏视图生成与大规模重建模型结合,提高了单图到网格的速度。Hunyuan3D 2.1 则把形状生成与 PBR 纹理生成拆成两个阶段。这些系统说明“外观补全”和“资产构建”通常不是同一步。
对人物资产要增加哪些环节
通用图生三维管线通常以外观相似和几何完整为主要目标。可动画分层人物还需要:
- 用稳定身体承接服装和骨骼;
- 把皮肤、头发、软布、硬壳与附件拆开;
- 恢复部件内侧和遮挡后的表面;
- 重建适合关节变形的拓扑;
- 建立骨骼、蒙皮、修正形变和碰撞;
- 在目标引擎中检查材质、尺度、LOD 与动作。
因此,生成模型可以缩短外观建立和多视图补全的时间,但它不是完整人物资产流水线的同义词。
继续阅读
- DDPM 原始论文给出了去噪扩散概率模型的基本形式。
- Zero-1-to-3研究了带相机控制的新视角生成。
- Wonder3D 官方仓库提供多视图颜色和法线生成方法。
- InstantMesh 官方仓库展示稀疏视图到网格的快速重建流程。
- Hunyuan3D 2.1 官方仓库说明形状与 PBR 纹理的两阶段生成。
下一节进入人物资产本身:为什么需要稳定身体和语义分层,而不是把所有外观焊成一个网格。