[综述] Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

论文｜

改文章是23年5月27日挂在arxiv上，本文重点关注4.1节Text Guided 3D Avatar Generation、4.4节Text Guided 3D Shape Transformation和第5章Discussion

Text Guided 3D Avatar Generation

DreamAvatar

DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models

https://arxiv.org/abs/2304.00916生成姿态可控的高质量3D人体avatar，包含以下几个部分：

• Trainable NeRF: 预测3D点的密度和颜色特征；
• Pre-trained text-to-image diffusion model：提供2D自监督信息；
• SMPL model：提供粗位姿和形态指导和生成；
• dual-space design：包含canonical space和observation space，这两个空间与NeRF相关，将canonical space的纹理和几何信息传递到目标位姿的avatar；

该文章基于显示模型（SMPL）建模，缺点是缺少纹理细节，优点是可控性强。是目前的主流思路，还包括：

• HeadSculpt: Crafting 3D Head Avatars with Text

DreamFace

DreamFace: Progressive Generation of Animatable 3D Faces under Text Guidance

文本引导的定制化3D人像生成，能够产生逼真的3D人像，包含以下几个部分：

• Score Distillation Sampling (SDS): optimize subtle translations and normals
• dual-path mechanism: 产生中性外观；
• two-stage optimization: 增强用于细粒度合成的紧凑先验，并改善定制化能力

AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Controls​​​​​​​

MotionCLIP

AvatarCLIP

Text Guided 3D Shape Transformation

传统方法对3D模型的编辑较为繁琐。因此，文本引导的3D模型编辑很有前景。

Instruct-NeRF2NeRF

Instruct 3D-to-3D

SKED

TextDeformer