文章链接：名目地址：
当天和大家一同窗习的是Instruct 4D-to-4D，可以经过2D分散模型成功4D感知和时空分歧性，以生成高品质的指令疏导的灵活场景编辑结果。先一同来看看4D编辑的精彩成果：
传统的2D分散模型在灵活场景编辑中的运行通常会造成不分歧，关键要素在于其固有的逐帧编辑方法。为了处置将指令疏导的编辑裁减到4D的复杂性，本文的关键洞察是将4D场景视为伪3D场景，解耦为两个子疑问：在视频编辑中成功期间分歧性，并将这些编辑运行于伪3D场景。基于此，本文首先经过引入anchor感知留意模块来增强Instruct-Pix2Pix (IP2P)模型，以成功批处置和分歧性编辑。
此外，本文还在滑动窗口形式下集成了光流疏导的外观流传，以成功更准确的逐帧编辑，并结合基于深度的投影来治理伪3D场景的少量数据，随后经过迭代编辑成功收敛。本文在各种场景和编辑指令中对文中的方法启动了宽泛评价，结果标明其在空间和期间上分歧性方面体现杰出，并且在细节和明晰度上清楚优化。值得留意的是，Instruct 4D-to-4D具备通用性，实用于单目和具备应战性的多摄像头场景。
引见
经过渲染分解真切的新视角图像，神经辐射场（NeRF）及其变体曾经成为3D甚至4D灵活场景的关键神经示意方法。除了仅仅示意现有场景之外，越来越多的人对经过场景编辑从原始场景创立新的、多样化的场景发生了兴味。关于用户来说，最繁难和间接的形式来传达场景编辑操作是经过人造言语——这一义务被称为指令疏导的编辑。
在2D图像义务中，曾经经过2D分散模型，即 Instruct-Pix2Pix (IP2P)取得了成功。但是，将这一才干裁减到以NeRF示意的3D或4D场景却面临清楚应战。艰巨在于NeRF示意的隐式个性，不足间接修正参数以成功目的方向的形式，同时在新维度中发生的复杂性也大大参与。最近，在指令疏导的3D场景编辑方面取得了清楚停顿，例如Instruct-NeRF2NeRF (IN2N)。IN2N经过从2D分散模型（如IP2P）蒸馏来成功3D编辑，即生成经过IP2P编辑的多视图图像，并将它们拟合到NeRF示意的场景中。因为分散模型生成结果的高度多样性，IP2P或者会发生多视图不分歧的图像，同一对象在不同视图中的外观或者会不同。因此，IN2N经过在NeRF上启动训练来整合结果，使其收敛到“平均”编辑结果，这无通常上是正当的，但在通常中往往会遇到应战。
将编辑义务从3D进一步裁减到4D，引入了基本的艰巨。在超出3D场景的额外期间维度中，不只须要每帧3D场景切片的3D空间分歧性，还须要不同帧之间的期间分歧性。值得留意的是，因为最近的4D NeRF模型对场景中每个相对3D位置的个性启动建模，而不是单个对象的静止，因此不同帧中的同一对象并非由相反的参数建模。这种偏向阻碍了NeRF经过拟合不分歧的多视图图像成功空间分歧性，使得IN2N流程不可有效地在4D场景上口头编辑。
本文引入了Instruct 4D-to-4D，是在指令疏导的4D场景编辑中初次尝试，克制了上述疑问。本文的关键洞察是将4D场景视为伪3D场景，其中每个伪视图是一个视频，蕴含了同一视角的一切帧。随后，对伪3D场景的义务可以以相似于实在3D场景的形式启动处置，分解为两个子疑问：1）为每个伪视图成功期间分歧的编辑，2）经常使用第（1）步中的方法编辑伪3D场景。而后，咱们可以用视频编辑方法处置（1），并应用蒸馏疏导的3D场景编辑方法处置（2）。
本文特意应用了一种anchor感知留意力模块来增强IP2P模型 。在本文的模块中，“anchor”是一对图像及其编辑结果，作为IP2P生成的参考。增强后的IP2P如今支持批量输入多个图像，并且IP2Ppipeline中的自留意力模块被交流为针对本批次anchor图像的交叉留意力机制。因此，IP2P基于图像与anchor图像之间的相关性生成编辑结果，确保在该批次内启动分歧的编辑。但是，留意力模块或者不可一直正确关联不同视图中的对象，从而引入潜在的不分歧性。
为此，本文进一步提出了一种光流疏导的滑动窗口方法来促成视频编辑。应用RAFT为每帧预测光流，以建设相邻帧之间的像素对应相关。这使能够将一个帧的编辑结果流传到下一个帧，相似于一种歪曲成果。结合增强的IP2P和光流技术，本文可以按期间顺序编辑视频，经过火段处置帧并在每个段落运行编辑，同时将编辑成果流传到下一个段落。这个环节触及应用光流来初始化基于前几帧的编辑，而后经常使用增强的IP2P，其中前一个段落的最后一帧作为anchor。
在处置蕴含少量视角的4D场景时，每个视角的计算老本很高。 为了处置这个疑问，本文驳回了受ViCA-NeRF 启示的战略，基于关键视角来编辑伪3D场景。首先随机选用关键伪视角，并经常使用前面提到的方法启动编辑。而后关于每一帧，驳回基于深度的投影将关键视角的结果歪曲到其余视角，并应用加权平均来聚合外观消息，从而取得一切帧的编辑结果。鉴于4D场景的复杂性，本文运行IN2N的迭代编辑环节，以逐渐生成编辑后的帧并在编辑后的帧上拟合NeRF，直到场景收敛为止。
本文启动了宽泛的试验，涵盖单目和多摄像头灵活场景，验证了文中方法的有效性。评价结果显示，本文的方法在成功更锐利的渲染结果和清楚增强的细节方面具备清楚才干，并且在4D编辑中保障了空间-期间分歧性（见下图1）。
本文的奉献关键体如今三个方面：
方法
本文提出了Instruct 4D-to-4D，这是一个陈腐的pipeline，经过从Instruct-Pix2Pix (IP2P) 中提炼来编辑4D场景，IP2P是一种弱小的2D分散模型，支持指点图像编辑。本文方法的基本思维源于ViCA-NeRF，这是一种基于关键视角的编辑方法。将4D场景视为伪3D场景，其中每个伪视角是多帧视频，本文运行基于关键视角的编辑方法，分为两个步骤：关键伪视角编辑和从关键伪视角流传到其余视角，如下图2所示。本文提出了几个关键组件，在这些步骤中强化和成功空间和期间分歧性，生成4D分歧的编辑结果。
基于anchor的IP2P用于分歧的批量生成
批量生成与伪3D卷积 。将伪视图的编辑环节视为编辑视频。因此，在编辑每帧时，须要强迫成功期间上的分歧性。遭到之前视频编辑上班的启示，本文在IP2P中一同编辑一批图像，并增强IP2P中的UNet，使其在生成时思考整个批次。本文将其的2D卷积层更新为的3D卷积层，经过重复经常使用原始的卷积核参数。
基于anchor感知的留意力模块 。受限于GPU内存，本文不可一次性性编辑伪视图的一切帧，须要将生成环节分红多个批次。因此，坚持批次之间的分歧性至关关键。自创于Tune-a-Video 的思绪，本文不是从头开局生成新批次的编辑结果，而是准许模型参考一个在一切生成批次中共享的anchor帧，及其原始和编辑后的版本，以将编辑格调从anchor帧“流传”到新的编辑批次。经过将IP2P中的自留意力模块交流为针对anchor帧的交叉留意力模型，能够在图像和anchor图像之间建设衔接，经过模拟anchor的格调生成新的编辑图像，从而间断anchor的分歧编辑格调。值得留意的是，本文经常使用anchor留意力IP2P与Tune-a-Video有所不同，后者在帧和上一帧之间查问交叉留意力而非anchor帧。咱们的设计还进一步促成了上方章节的修复环节，该环节也须要集中关注帧的现有部分。
有效性 。下图3展现了不同版本的IP2P生成结果。原始的IP2P编辑一切图像时存在不分歧性，即使是同一个批次中的图像也有不同的颜色散布。经过引入anchor感知留意力层，IP2P能够将整个批次作为一个全体生成，因此在同一个批次内生成分歧的编辑结果。但是，它依然不可在不同批次之间生成分歧的图像。驳回相反anchor图像跨批次参考的片面anchor感知IP2P能够为一切6个图像在2个批次中生成分歧的编辑结果，这标明即使没有额外训练，anchor感知IP2P也能够成功分歧的编辑结果。
光流疏导滑动窗口方法用于伪视图编辑
光流作为4D Warping 。为了确保伪视图的期间分歧性，本文须要在不同帧之间找到像素的对应相关。传统的3D场景编辑方法（如ViCA-NeRF、RAFT）应用基于深度的Warping来找到不同视角之间的对应相关，经常使用NeRF预测的深度和相机参数启动确定性Warping。但是，在4D中，没有这样明白的方法。因此，本文经常使用光流预计网络RAFT来预测光流，其格局为每个像素的2D静止向量，可以推导出另一帧中的对应像素。应用RAFT，本文能够在相邻帧之间启动像素的Warping，就像在3D中一样。因为每个伪视图都是在固定的摄像机位置拍摄的，光流能够很好地成功这项义务。
接着，相似于ViCA-NeRF中的思绪，本文经常使用IP2P对滑动窗口中每个视角的融合图像启动修补和再绘制，经过向融合图像参与噪声，并经常使用IP2P启动去噪，使生成的编辑图像在Warping结果上遵照相似的形式，同时从新绘制整个图像使其看起来人造正当。为了确保整个伪视图的格调分歧，本文经常使用第一帧作为一切窗口共享的anchor，这样模型将以相似第一个视角的分歧格调生成图像。因为一个伪视图的摄像机位置固定，不同帧之间有许多独特的物体，因此这种方法十分有效，能够为窗口中的帧生成分歧的编辑结果。
基于Warping的伪视图流传
生成第一帧图像 。因为本文须要将编辑后的伪视图流传到一切其余视图并确保空间分歧性，因此在所无关键伪视图中以一种空间分歧的形式编辑第一帧十分关键 - 它们不只用于启动伪视图的编辑，还用作一切后续生成的anchor或参考。因此，本文首先在恣意一个关键伪视图中编辑一帧作为第一帧，而后经常使用本文的anchor感知IP2P与其一同作为anchor来生成其余第一帧。经过这种形式，一切第一帧都以分歧的格调启动编辑，这关于编辑关键伪视图是一个良好的终点。
从关键视图流传到其余视图 。在编辑关键伪视图之后，相似于ViCA-NeRF 的方法，本文将它们的编辑结果流传到一切其余关键视图。ViCA-NeRF经常使用基于深度的空间Warping来从同一期间步的另一个视图Warping图像，而本文还提出了基于光流的期间Warping，从同一视图的前一帧启动Warping。经过这两种类型的Warping，本文可以从多个起源Warping编辑后的图像。
全体编辑 pipeline
迭代式数据集更新 。自创 IN2N 的思维，本文在基准方法上运行迭代式数据集交流，经常使用文中的方法重复活成完整的数据集，并在其上适配本文的NeRF。在每次迭代中，本文首先随机选用几个伪视图作为这次生成中的关键视图。本文经常使用文中的方法为一切这些关键伪视图的第一帧生成空间分歧的编辑结果，而后经常使用滑动窗口方法来流传这些编辑结果到一切伪视图。在取得一切编辑的关键伪视图后，本文再次经常使用文中的方法为一切其余伪视图生成空间和期间上分歧的编辑结果，最终获取一个分歧的编辑数据集。本文用这个编辑过的数据集交流原始的4D数据集，并在其上适配NeRF模型。
经过并行化和退火战略提高效率 。在本文的pipeline中，NeRF只有要在数据集上启动训练并提供的渲染结果，而IP2P只有要依据NeRF的渲染结果生成新的数据集 - IP2P和NeRF之间简直没有依赖和交互。因此，本文经过在两个GPU上异步运转这两部分来并行化pipeline。在第一个GPU上，继续训练NeRF并在渲染缓冲区中缓存NeRF的渲染结果；而在第二个GPU上，运行本文的迭代数据集生成pipeline来生成新的数据集，经常使用来自渲染缓冲区的图像，并更新用于训练NeRF的数据集。经过最小化交互，最大化了并行化，从而清楚缩小了训练期间。
另一方面，为了改善生成结果和收敛速度，本文驳回了来自HiFA 的退火技巧来对NeRF启动精细编辑。上档次的思绪是经常使用噪声水平来控制渲染结果与IP2P编辑结果的相似性。本文在高噪声水平下生成数据集，以生成充沛编辑的结果，而后逐渐退火噪声水平，使其与NeRF正在收敛到的编辑结果坚持分歧，并进一步细化这些结果。与IN2N总是在随机噪声水平下生成不同，本文的Instruct 4D-to-4D 能够极速收敛到高品质的编辑结果。
经过这两种技术，本文的Instruct 4D-to-4D能够在几个小时内编辑一个蕴含20个视图和数百帧的大规模4D场景。
试验
编辑义务和NeRF骨干 。本文用于评价的4D场景是经过单手持相机和多相机阵列捕捉的，包括：(I) DyCheck 和 HyperNeRF 中的单目场景，这些是繁难的、以物体为中心的场景，经常使用单个移动相机；(II) DyNeRF/N3DV 中的多相机场景，包括具备面向前方视角和人类静止结构的室内场景。关于单目场景，本文将一切帧视为单个伪视图启动编辑。本文经常使用NeRFPlayer 作为NeRF骨干，以生成高品质的4D场景渲染结果。
基线方法 。Instruct 4D-to-4D是首个努力于指点式4D场景编辑的上班。以前没有钻研专一于相反的义务，而惟一相似的上班Control4D 尚未颁布其代码。因此，不可与现有方法启动基线比拟。为了展现本文的Instruct 4D-to-4D的有效性，本文构建了一个基线方法IN2N-4D，将IN2N 颠簸地裁减到4D，它会迭代地生成一个编辑过的帧并将其参与到数据集中。本文定性和定量地比拟Instruct 4D-to-4D与IN2N-4D的结果。为了量化结果，因为本文的pipeline的模型都在经常使用生成的图像训练NeRF，本文经常使用传统的NeRF 目的来评价结果，即在IP2P生成的图像（从纯噪声生成，因此不会依赖于NeRF的渲染图像）与NeRF的渲染结果之间的PSNR、SSIM和LPIPS。本文在补充资料中启动了Instruct 4D-to-4D各个变体的消融钻研。
定性结果 。本文的定性结果显示在图下6、下图5和下图4中。与基线方法IN2N-4D的定性比拟如下图5和下图6所示。如下图5所示，在将单目场景中的猫变成狐狸的义务中，IN2N-4D生成含糊的结果，并发生多团体工痕迹：多个耳朵、多个鼻子和嘴巴等。而本文的Instruct 4D-to-4D生成了真切的结果，狐狸的状态与原始场景中的猫十分吻合，毛发上有明晰的纹理，没有任何痕迹。
这些结果标明，本文的anchor-aware IP2P、基于光流的Warping和滑动窗口方法用于伪视图编辑，能够发生伪视图的期间分歧性编辑结果。相比之下，IN2N-4D边疆始的IP2P生成了每帧不分歧的编辑图像，最终造成了4D NeRF上的奇异结果。下图6展现了多摄像头场景上的格调转移结果。本文并行化的Instruct 4D-to-4D在短短两小时内成功了分歧的格调转移结果，而IN2N-4D则须要比本文的Instruct 4D-to-4D长24倍的期间，仍不可使4D NeRF收敛到指定的格调。这标明，4D场景编辑具备极高的难度，而本文 Instruct 4D-to-4D经过迭代生成完整的编辑数据集的战略，成功了高效的编辑。一切这些结果独特显示，本文设计的Instruct 4D-to-4D是正当且有效的，能够以十分高效的形式生成高品质的编辑结果。
上图5的试验展现了单目场景mochi-high-five在不同指令下的体现，包括对猫的部分编辑，以及整个场景的格调转移指令。本文的Instruct 4D-to-4D在Fox和Tiger指令下成功了真切的部分编辑结果，如虎纹的明晰和分歧。在格调转移指令下，编辑后的场景虔诚地反映了指定的格调。这些结果展现了Instruct 4D-to-4D在各种指令下编辑单目场景的杰出才干。
上图4的试验展现了其余格调转移结果，包括HyperNeRF和DyCheck中的单目场景，以及DyNeRF中的多摄像头场景。Instruct 4D-to-4D一直以高保真度展现各种格调的格调转移结果，颜色明亮，外观明晰。
定量比拟 。本文在多摄像头咖啡马提尼场景上对文中的Instruct 4D-to-4D和基线方法IN2N-4D启动了量化比拟，结果见下表1。与定性比拟结果分歧，本文的Instruct 4D-to-4D清楚且分歧地优于基线方法IN2N-4D。这标明，由Instruct 4D-to-4D训练的NeRF比基线方法更好地顺应了IP2P生成的编辑结果，进一步验证了本文Instruct 4D-to-4D的有效性。
消融钻研：变量与设置。 本文经过与以下几种变体的比拟来验证本文的设计选用：
消融钻研的义务是在DyNeRF数据集的咖啡马提尼上运行“假设由梵高绘制”的操作。因为“视频编辑”变体不经常使用主文中的分散模型IP2P来编辑视频，因此本文不可经常使用主文中的度量规范。因此，与IN2N 分歧，本文经常使用CLIP 相似度来评价编辑操作的成功水平。
消融钻研：结果 。定性结果显示在下图7和演示视频中。大少数变体未能对场景启动足够的编辑，出现出阴沉的外观，并且不足梵高典型的色调。这标明本文Instruct 4D-to-4D的设计选用是有效的且至关关键，可以成功高品质的编辑。
量化比拟结果显示在下表2中。本文完整的Instruct 4D-to-4D在消融义务中成功了清楚更高的CLIP相似度，标明本文的设计是有效的。此外，观察到视频编辑战略甚至不可比IN2N-4D取得更好的目的，这标明即使将其转换为伪3D场景，编辑4D场景依然是一个十分艰巨的义务。
论断
Instruct 4D-to-4D，这是第一个经过将4D场景视为伪3D场景，并驳回迭代战略应用2D分散模型编辑伪3D场景的指点性4D场景编辑框架。定性试验结果显示，Instruct 4D-to-4D在包括单目和多摄像头场景在内的多种义务中成功了高品质的编辑结果。Instruct 4D-to-4D还清楚优于基线方法，行将现有最先进的3D编辑方法繁难裁减到4D场景，显示了这一义务的难度和复杂性，以及本文方法的成功。宿愿本文的上班能够激起更多关于4D场景编辑的未来钻研。
原文链接: