文章链接：
工程地址：
最近的文本到3D生成方法发生了令人印象深入的3D结果，但须要对耗时启动优化，每个揭示或许须要长达一小时。像ATT3D的Amortized方法同时优化多个揭示以提高效率，成功了极速文本到3D分解。但是，它们不可捕捉高频几何和纹理细节，并且难以裁减到大型揭示集，因此泛化才干较差。
本文引见了Latte3D，处置了这些限度，成功了在清楚更大的揭示集上极速生成高品质的结果。方法的主要在于：
Latte3D Amortizes了神经场和纹理外表生成，可以在单次前向传递中生成高度详细的纹理网格。Latte3D在ms内生成3D对象，并可以经过极速测试时优化进一步增强。
引见
经过预训练图像分散模型启动文本到3D分解的最新停顿，标记着经常使用人造言语群众化3D内容创作方面取得了严重提高。但是，这些方法理论触及低廉且耗时的优化，从文本揭示生成单个3D对象或许须要长达一小时的期间。为了减速这些工具，须要一些技术来实时生成各种高品质的3D对象，从而成功对输入的极速迭代，优化用户在3D内容创作中的发明力。本文的目的是成功针对多样化文本揭示的实时文本到3D分解，并在须要进一步优化品质时支持极速的测试期间优化。
开创性上班[39]提出了经常使用分数蒸馏采样（SDS）损失来优化神经场以生成3D资源。这解锁了开明词汇的3D内容创立，但存在以下疑问：(a)不足高频几何和纹理细节，(b)老本高，(c)容易生成不合乎预期的对象。后续钻研引入了基于外表的微调阶段来生成高频细节。虽然这种两阶段流程定义了大少数最先进的文本到3D方法，但它依然老本高且容易发生揭示失败。
ATT3D是第一个经过同时训练单个模型处置一组揭示的环节（称为Amortized优化）来减速文本到3D生成的方法。Amortized经过优化一组揭示上的共享文本条件模型来缩小训练期间，使模型能够在推理时推行到新的揭示。虽然在精心筹划的揭示上取得了有宿愿的结果，但ATT3D和基础的逐揭示方法依然容易在普通揭示上失败。ATT3D的便捷架构容量有限，不足弱小的演绎偏向用于3D生成，难以随着数据集大小和渲染分辨率的参与而裁减，从而限度了该方法仅实用于小规模（100至1000个）揭示集和低保真度的纹理。此外，ATT3D只Amortize 3D分解的第一阶段，生成神经场示意，因此不可生成高频细节。
为了处置这些疑问，本文引入了Latte3D，一种大规模Amortized文本到增强3D分解的方法，可以实时生成高品质的3D内容。经过以下技术奉献来优化文本到3D生成模型的品质、鲁棒性、规模和速度：
关系上班
早期的3D对象分解上班理论局限于从给定类别中生成对象，例如汽车或椅子。最近的裁减经常使用带题目的3D状态来训练文本到3D模型，生成来自不同类别的状态，但须要3D监视，限度了它们在分解环节中经常使用分解数据集的大小、多样性和视觉保真度。
可微分渲染的发生，无论是体积还是基于外表，关上了逆向图像渲染的大门，解锁了在3D分解环节中经常使用弱小的文本到图像生成模型。DreamFusion提出了经常使用SDS损失来优化神经场，经常使用文本到图像分散模型来生成3D资源。后续上班引入了基于外表的细化阶段，准许分解高频细节。这种两阶段优化流程如今定义了大少数最先进的文本到3D方法。
最近颁布的大规模3D数据集Objaverse-XL促使钻研人员探求在分解环节中经常使用3D监视的好处。到目前为止，最成功的方法使文本条件图像分散模型具备3D感知才干，经过经常使用渲染的多视图图像来微调2D分散模型。而后经常使用多视图分散模型的SDS来失掉3D状态。但是，这些方法须要简短的逐揭示优化环节，限度了其在实践内容创立中的实用性。
为了处置这个疑问，人们启动了两种类型的上班。第一种方法经常使用文本到图像到3D的方法，经过经常使用文本到图像分散模型生成图像，并训练图像到3D优化网络。它们在速度上有所提高，但与优化方法相比，品质细节有限，但仍须要每个揭示5-20秒的期间来从图像分散模型中启动采样。
在另一种上班路途中，ATT3D提出了一种Amortized框架，可以同时优化多个揭示的一致模型。后续上班裁减了网络架构以取得更好的品质。Latte3D裁减了这一上班路途，经过在训练环节中引入3D常识来成功揭示的鲁棒性，以及其余设计改良，如更好的架构。Amortized式文本到3D提供了一种具备吸引力的品质与速度之间的权衡，由于它经常使用单个前向传递架构，而不须要对分散模型启动采样-见下图2。
并行上班 同时，AToM还Amortized了两阶段训练，驳回三面图示意，但他们经常使用DeepFloyd，并且不会裁减到ATT3D中数千个揭示的较小集。相比之下，咱们将规模裁减到约100,000个揭示，经常使用了诸如MVDream之类的3D感知技术。ET3D的另一个并行上班经过训练GAN模型成功了极速生成，但它仅在一个规模较小的构成性数据集上启动了训练，该数据集蕴含5000个揭示，并且仅显示了相似ATT3D和AToM的构成性泛化结果。此外，它不保障视图分歧的3D输入，由于它经常使用了2D神经上采样器。最后，LGM同时在文本到图像到3D方向上上班，可以在5秒内生成Gaussian splats，代表了最新的最先进技术。在试验中将咱们的方法与该方法启动了比拟，并展现了竞争功能。
方法论
一个已建设的高品质文本到3D生成的流程包括两个阶段，每个阶段都经常使用SDS损失和文本到图像分散模型启动逐揭示优化。第一阶段优化体积示意，理论是神经辐射场。理论经常使用粗分辨率来放慢渲染速度。网格可以实事实时渲染，但仅经过图像监视很难从头开局启动优化。第二阶段经常使用神经场的输入来初始化有符号距离场（SDF）和纹理场，从中可以经常使用可微分等值面提取失掉网格。而后，经过可微分光栅化对这种基于外表的示意启动优化，即使在1024渲染图像分辨率下也很快，从而能够从更高分辨率的文本到图像分散模型取得监视。
ATT3D将神经场的优化Amortize到一组揭示上，其中一个超网络将文本揭示映射到神经场，该超网络在一个被称为已见揭示的揭示集上经常使用SDS损失启动训练。Latte3D引入了一种新的架构，Amortized了生成环节的两个阶段，旨在实时生成高品质的纹理网格。咱们经过在Amortize循环中应用3D常识，将该方法裁减到数量级更大、更多样化的揭示集。
本文的方法如下图4所示。经过一个重建预训练步骤初始化Latte3D以稳固训练。该架构由两个网络组成，一个用于几何，另一个用于纹理。经过一个两阶段pipeline启动具备分散先验的Amortized模型训练，包括基于体积的第一阶段和基于外表的第二阶段。为了协调重建预训练（经常使用3D几何作为输入）与文本到3D生成的义务，咱们在第一阶段调整网络的输入，逐渐齐全交流对3D输入的依赖，经常使用单个虚构输入。在推理环节中，咱们的模型仅经过文本揭示在ms内生成一个3D纹理网格，并准许选用性的轻量级测试期间细化以增强几何和纹理的品质）。
预训练以重建状态。
虽然SDS损失可以从头开局分解与文本对齐的3D特色，但阅历上发现它由于高方差而不是一个持重的监视起源。一个良好的初始化可以稳固优化环节。发现首先对模型启动预训练，使其能够编码解码3D状态，可以更容易地经常使用Amortize SDS启动优化。经过在蕴含3D资源的数据集上对模型M启动预训练，经常使用图像重建损失，相似于[12]中经常使用的重建阶段，并在下图3中显示了流程。
模型架构
模型M由两个网络组成，G和T，区分用于预测几何和纹理。在预训练之后，经过参与交叉留意力层引入了文本条件。经常使用CLIP embeddings来对文本揭示p启动编码。在第一阶段训练中，将几何和纹理网络的权重绑定在一同（除了独自的MLP解码器头部），有效地训练了一个繁多的输入编码器。
在第二阶段，解冻几何网络G，并经常使用额外的可训练上采样层对纹理网络T启动细化。推理中经常使用的最终模型M是来自第一阶段的解冻G和来自第二阶段的经过细化的T。
几何网络G 由三平面示意上的U-Net编码器组成，后跟蕴含另一个三平面U-Net和神经体积密度场的解码器，后者从三平面特色中预测输入状态。详细地，点云经过PointNet，并经过基于几何投影到每个平面的平均散射将特色转换为三平面示意。
在训练环节中，点云来自3D数据，而在推理环节中，点云被一个球形点云的虚构输入交流。三平面示意经过编码器和解码器U-Net启动处置。Text embedding被馈送到编码器中的每个残差U-Net块中，经过交叉留意力。关于3D空间中的恣意点，经过投影到每个平面并双线性插值特色图来提取三平面特色。而后，一个MLP在该点预测密度值。
纹理网络 T和几何网络G在预训练和第一阶段中共享相反的编码器和解码器U-Net架构。经常使用另一个非共享的MLP神经纹理场来预测query点处的RGB值。在第二阶段，将编码器发生的三平面特色上采样到更高分辨率，以取得额外的容量来生成高频纹理细节。详细来说，首先将潜在的三平面从128分辨率双线性上采样到480，而后参与一个残差MLP，将text-embedding映射到三平面特色的残差，模拟ATT3D的映射（超）网络。解码器而后以这个上采样的三平面作为输入。细节见附录。
渲染 。为了训练模型，咱们经常使用不同的方法将生成的3D对象渲染成2D图像，在第一和第二阶段经常使用不同的方法。在第一阶段，输入的3D几何是基于三平面的神经场，经常使用来自VolSDF的公式启动体积渲染，以取得256分辨率的图像，准许经过近似的有符号距离场参数化密度，其zero-level集定义了对象的几何状态。这种选用使得便捷地转换为基于外表的渲染成为或许。关于几何网络，与外表渲染相比，经常使用SDS启动体积渲染的训练更稳固。在第二阶段，经常使用Marching Cubes从密度场中提取等值面，并经过光栅化渲染图像。网格可以实时以1024图像分辨率渲染，有助于捕捉更细的纹理细节。
Amortized学习
Amortized学习将图像分散先验中的常识融入到咱们的模型中。按顺序对体积几何训练（第一阶段）和外表纹理训练（第二阶段）启动Amortized训练。经过以下模式将3D消息归入训练环节中：
挑选揭示集 。经常使用基于规定的文本生成或ChatGPT创立少量的揭示集启动训练。关于前者，从Objaverse 的题目中开局，设计规定，比如“格调B的对象A正在做C”，并提供一组格调和优惠。
或许，将题目输入到ChatGPT中，并要求其提供详细且多样的揭示，形容相似的3D对象。如前图4所示，当生成“戴着礼帽的钩针小螃蟹”，经过检索与螃蟹关系的3D状态，并将其用于正则化损失，疏导状态分解以使其更像螃蟹。
Amortized第一阶段生成
在这个阶段，经常使用咱们的数据集对模型M启动训练。经常使用SDS损失与3D感知2D先验和与配对的3D状态的正则化，详细解释一下：
3D感知SDS损失 在第一阶段训练中，应用一个3D感知分散先验，提供了更强的、多视角分歧的监视信号。详细来说，经常使用了MVDream中的模型，该模型是经过修正Stable Diffusion 来生成多视角分歧的图像，对Objaverse数据集中的对象启动四次渲染视图启动训练的。
正则化损失 虽然经常使用MVDream的3D感知SDS损失提供了弱小的多视角先验，但关于一些揭示，它依然或许不可正确捕捉完整的3D几何，由于MVDream仅监视四个视图，并且或许会在状态中创立加大的几何或浮标。如下图10右侧所示，一些失败案例。
将经常使用3D状态的正则化与SDS损失相结合有助于训练并改善几何。如前图4所示，关于每个训练揭示，咱们经过比拟其渲染的mask与从3D数据集中检索的状态s的mask来对输入状态o启动正则化。
输入点云退火为了弥合训练中实践点云输入和推理中虚构点云之间的差距，在第一阶段的训练环节中逐渐将输入点云退火为虚构点云。详细地，在最后5000个训练迭代中线性参与一个概率，随机地用虚构点云中的点交流输入点云中的子集。经过点云退火，当经常使用虚构点云时，模型在推理环节中可以取得更好的结果。
Amortized第二阶段生成
在第二阶段的训练中，解冻了几何网络，并仅调整纹理，由于同时训练两者会造成不稳固性。经常使用深度条件的ControlNet来启动SDS疏导，准许更高的512分辨率监视。深度条件激励SDS损失指点纹理与几何网络中的几何对齐，从而提高3D纹理的分歧性。
推理
测试期间优化
本文的方法支持测试期间优化，假设用户宿愿提高特定揭示的品质。假设用户的揭示与已见揭示清楚偏离，则这或许很有用。与第二阶段训练相似，解冻几何并用深度条件的SDS疏导微调纹理网络T。与MVDream或其余基于优化的文本到3D方法相比，本文的测试期间优化收敛速度清楚更快，由于咱们优化的是Amortized网络而不是随机初始化的网络。
3D格调化
Latte3D还可以作为3D格调化方法启动训练和部署，经常使用户可以从现有的3D资源中便宜地创立变体。在训练环节中，跳过输入点云退火步骤，以坚持对点云的依赖，并在一个数据集上Amortized，其中每个3D状态对应于许多样式揭示。结合正则化和SDS疏导的模式驱动模型发生结构上与原始状态相似但语义上与样式揭示对齐的状态。与区分优化每对状态-揭示相比，Amortized清楚降低了每对状态-揭示的计算老本。在推理环节中，可以未来自训练集的点云与新的揭示组协作为输入，以发生原始状态的变体。
试验
首先，形容了试验设置，包括数据集、目的和基线比拟。而后，展现定量和定性结果，展现了Latte3D的功能和泛化才干，随后是设计选用的消融试验。
试验设置
如今探讨数据集构建、模型预训练和评价目的。
数据集
训练集 为了钻研Amortized优化的规模化，超出了先前上班的范畴，如下表1，构建了一个新的数据集 gpt-101k，其中蕴含 101k 个文本揭示和 34k 个状态。关于状态，经常使用 Objaverse中的“lvis”子集，其中蕴含 50k 个经过人工验证的状态。滤除了品质较差的状态，例如扁平图像和扫描图像，并保管了 34k 个状态用于数据集。经常使用 ChatGPT 对每个对象的题目启动增强，以搜集每个对象的 3 个揭示。
评价集 经常使用两个揭示集启动评价。为了评价方法中Amortized优化的好处，在 gpt-101k 上评价模型。但是，由于运转基线的计算老本较高，从 gpt-101k 中随机选用了一个蕴含 50 个揭示的子集，构成了用于基准测试的已见揭示集。此外，为了评价Amortized模型的泛化才干，构建了一个未见揭示集，经过挑选与 lvis 类别散布凑近的 DreamFusion子集中的 67 个揭示。
基线和评价打算
基线 。将Latte3D与以下基线启动比拟：ATT3D、MVDream、Instant3D和 LGM。从新成功了ATT3D]，经常使用了超网络。经常使用开源的threestudio成功了MVDream。关于MVDream，对每个3D模型启动了10000次迭代训练，经常使用了单个A100 GPU，批量大小为8，并驳回了提供的自动设置。由于Instant3D的源代码尚未颁布，咱们经常使用了来自3DTopia1的从新成功。关于LGM，咱们经常使用了官网开源成功。
评价目的 。经过评价生成的3D内容的保真度以及其与文本揭示的分歧性来定量比拟咱们的模型与基线。经常使用三个目的来评价保真度。
试验结果
观察到Latte3D在gpt-101k数据集上训练后对未见揭示（来自DreamFusion 的df）具备弱小的泛化才干，这经过定性（下图6）和定量（前图2，下表2）结果失掉了证实。在图2中突出显示了相关于不同基线的推理期间的Latte3D相对用户偏好。Latte3D在共同的极速推理期间内发生了与SOTA基线相竞争的结果。
在表2中的定量比拟中，在已见和未见揭示上的体现与基线相当，而推理期间至少快了一个数量级。留意到，从四个输入视图重建3D示意的3DTopia和LGM在基于图像的目的（FID和CLIP分数）上具备长处，由于它们偏向于发生从静态图像中不清楚的3D不分歧结果。感兴味的读者可以参考补充资料中一切方法的渲染视频。
总优化老本 Amortized优化在许多揭示上的好处是咱们在 gpt-101k 上的总优化老本要比针对每个揭示启动 MVDream 优化低得多。下图7说明了为了到达与 Latte3D 相当的用户偏好，MVDream 须要每个揭示36个GPU分钟，而 Latte3D 每个揭示仅破费了215个GPU秒，代表了优化老本的10×降低。
运行
经过测试期间优化展现了 Latte3D 优化品质的才干，以及如何调整 Latte3D 来成功对 3D 内容的格调化。
一一揭示的测试期间优化 经过试验证实 Latte3D 在测试期间内极速顺应新的揭示以提高品质。在下图8中，对比了 Latte3D 的品质与多达 600 步的状况。
每次优化迭代在 A100 GPU 上平均须要 0.98 秒，使每个prompt的总计算估算不到 10 GPU 分钟。即使启动了测试期间优化，咱们的方法依然比每个揭示优化方法（如表2 中所示）快一个数量级。测试期间优化在未见揭示上特意有益，其中 FID 降低了 11.6，而在已见揭示上为 8.8，并且 CLIP 分数在未见揭示上参与了 0.04，而在已见揭示上为 0.02。
3D 内容格调化 说明了 Latte3D 架构如何为咱们提供增强品质的灵敏性，以及如何将其调整为定向 3D 内容格调化。为了测试这一点，手动筹划了一个基于 Objaverse 的 100 个生物状态数据集，并将每个生物状态称号的物种称号与优惠（例如“滑板骑行”）微格调（例如“体素格调”）的组合相结合，以创立咱们的 12000 个揭示生物格调数据集。咱们在生物格调上训练了一个 Latte3D 模型（stage-1 和 stage-2），没有点云退火阶段。在下图5中，每行蕴含给定不同揭示的 Latte3D 输入，同时固定点云输入，展现了 Latte3D 在文本控制格调上的有效性。
在图11中，启动了一项用户钻研，比拟了 Latte3D 在生物格调上的输入与 MVDream，并发如今启动了 0 步优化的状况下，Latte3D 与 MVDream 竞争力相当，优化老本缩小了 10×（与为每个揭示运转 MVDream 相比）。
Latte3D 在生物格调上还可以推行到蕴含生物优惠微格调的保管组合，品质降低很小，这标明其与 MVDream 的相似相对偏好。因此，Latte3D 经常使用户能够经过Amortized优化便宜地创立其 3D 资源的变体，甚至在测试期间探求新的揭示组合。附加的定量和定性结果可以在补充资料中找到。
消融钻研
如今剖析了在 Latte3D 中引入的每个组件的价值，附录中有更多结果。
阶段-1 消融 。下表3 总结了咱们对以下消融的定量比拟：经常使用超网络的 ATT3D 基线，ATT3D+MV 经常使用 MVDream 作为分散疏导。ATT3D+UNet+MV 用咱们的模型架构交流超网络，但是从头开局初始化，并给予虚构点云作为输入。ATT3D+UNet+MV+PT 从重建预训练（PT）模型初始化。引入了 Mask-FID 目的，以定量评价几何状态与状态数据集的分歧性，经过计算生成的状态的渲染二值掩模与 3D 数据集的掩模之间的 FID。
发现引入的每个组件都提高了功能。比拟 ATT3D 与 ATT3D+MV，看到经常使用 MVDream 疏导的好处，由于它减轻了几何图形上的毛病，比如Janus faces。比拟 ATT3D+MV 与 ATT3D+UNet+MV，看到了咱们的架构带来的功能优化。此外，参与预训练（ATT3D+UNet+MV+PT）有所协助，特意是在复原精细的几何和纹理细节方面。最后，参与状态正则化（完整的 Latte3D）使生成的几何状态更好地合乎 3D 数据，这可以从 Mask-FID 的降低中看出。表3 中还展现了额外的用户钻研。咱们将在附录中展现收敛速度。
经常使用阶段-2 细化的消融 。阶段-2 的细化可以大大提高纹理细节，超越阶段-1 的训练。在下图9中展现了比拟。
正则化 如今考查了在方程3 中如何加权 α 来平衡 SDS 损失和正则化损失的设计选用。在表3中，展现了参与正则化损失如何改善定量结果。在下图10，定性地对比了在不同固定权重下的训练。经过参与状态正则化的混合因子 α，看到与输入状态更分歧的状况。
训练中的退火和推理中的不同输入点云 在训练中，未来自数据集的检索到的点云作为输入，并将输入退火成固定的虚构点云。在推理中，只经常使用虚构点云作为输入。在下表4中，定量地消融了这个点云退火环节在 gpt-101k 上 LATTE3D 行为上的作用。
咱们的模型在训练时没有退火，对点云输入有些敏感。与在推理中经常使用检索到的点云相比，在推理中经常使用虚构点云时会有细微的功能降低。但是，经过引入点云退火，使模型以虚构输入启动训练，进而减小了功能差距。此外，在图12中展现了定性结果，显示点云退火在推理中经常使用虚构输入时会改善结果。
论断与局限性
本文提出了一种可裁减的方法来启动Amortized文本到增强型 3D 生成。为了成功将Amortized裁减到更大的数据集，咱们经过以下模式应用了 3D 数据：
本文进一步改良了模型架构，使其更具可裁减性。模型在 ms 内生成高品质的状态。此外，经过极速的测试期间优化，品质和泛化能进一步提高。咱们的模型也存在局限性。首先，模型经常使用了 SDS，因此依赖于对文本到图像模型的了解，这些模型理论不可尊重诸如部件形容之类的细粒度细节。其次，几何图形在阶段2 和测试期间优化中被解冻，因此阶段1 中的几何毛病不可修复。为了稳固阶段 2 中的几何变动，开发Amortized训练留待未来上班。
原文链接: