名目链接：
文章链接：
demo链接： （亲测冷艳）
现有条件分散模型的两个局限性：
为了处置这些疑问，本文引入了一种通用方法，经过反抗性学习目的来将单步分散模型调整到新的义务和畛域中。详细来说，将原生latent diffusion model的各种模块整合到一个端到端的生成器网络中，该网络具备较小的可训练权重，增强了其坚持输入图像结构的才干，同时缩小了过拟合。
经过证明，在无配对设置下，CycleGAN-Turbo模型在各种场景转换义务中优于现有的基于GAN 和分散的方法，例如将白昼转换为夜晚以及参与/去除雾、雪和雨等天气效果。并将该方法裁减到配对设置，模型 pix2pix-Turbo 与最近的上班如 Control-Net for Sketch2Photo 和 Edge2Image 相当，但只有单步推理。这项上班标明，单步分散模型可以作为一系列 GAN 学习目的的弱小主干。
引见
条件分散模型经常使用户能够基于空间条件和文本揭示生成图像，从而成功了对场景规划、用户草图和人体姿态等启动准确控制的各种图像分解运行。虽然这些模型取得了渺小成功，但它们面临两个关键应战。首先，分散模型的迭代性质使推理速度变慢，限度了实时运行，例如交互式 Sketch2Photo。其次，模型训练理论须要挑选大规模的配对数据集，对许多运行形成了严重老本，而对其余运行来说则无法行。
本项上班引见了一种实用于配对和无配对设置的one-step图像到图像转换方法。该方法成功了与现有条件分散模型相当的视觉吸引力结果，同时将推理步骤的数量缩小到1步。更关键的是，可以在没有图像对的状况下启动训练。经过反抗性学习目的有效地调整预训练的文本条件one-step分散模型（例如 SD-Turbo）到新的畛域和义务中。
可怜的是，在试验中，间接将规范分散适配器（如 Control-Net）运行到one-step设置中的效果不如预期。与传统的分散模型不同，作者观察到噪声图间接影响one-step模型的输入结构。因此，经过额外的适配器分支将噪声图和输入条件输入到网络中会造成网络获取相互抵触的消息。特意是关于无配对状况，这种战略会造成网络在训练完结时原始网络被漠视。
此外，在图像到图像转换环节中，由于SD-Turbo模型的多阶段pipeline（Encoder-UNet-Decoder）的不完美重建，输入图像中的许多视觉细节都会失落。当输入是实在图像时，这种细节的失落尤为清楚和关键，例如在白昼到夜晚的转换中。
为了处置这些应战，本文提出了一种新的生成器架构，应用了
SD-Turbo 权重
同时坚持输入图像的结构。
首先
，间接将条件消息馈送到 UNet 的噪声编码器分支中。这使得网络能够间接顺应新的控制，防止了噪声图和输入控制之间的抵触。
其次
，将编码器、UNet 和解码器这三个独立模块整合到一个端到端可训练的架构中。为此，驳回了 LoRA 来将原始网络调整到新的控制和畛域，缩小过拟合和微调期间。
最后
，为了保管输入的高频细节，经过零卷积在编码器和解码器之间引入了腾跃衔接。本文的架构是多配置的，可作为条件 GAN 学习目的（如 CycleGAN 和 pix2pix）的即插即用模型。据咱们所知，本文的上班是初次经常使用文本到图像模型成功one-step图像转换。
本文关键关注更具应战性的无配对转换义务，例如从白昼到黑夜的转换，反之亦然，以及向图像中参与/移除天气效果。展现了该模型 CycleGAN-Turbo 在散布婚配和输入结构坚持方面清楚优于现有基于 GAN 和分散的方法，同时比分散方法成功更高的效率。本文启动了宽泛的消融钻研，讨论了该方法的每个设计选用。
为了展现架构的多配置性，作者还启动了配对设置的试验，例如 Edge2Image 或 Sketch2Photo。模型 pix2pix-Turbo 在视觉上到达了与最近的条件分散模型相媲美的结果，同时将推理步骤的数量缩小到了1步。可以经过在预训练模型和咱们模型的编码器输入之间插值噪声图，生成多样化的输入。上班标明，预训练的one-step文本到图像模型可以作为许多下游图像分解义务的弱小而多配置的撑持。
关系上班
图像到图像转换 。生成模型的最新停顿使得许多图像到图像转换运行成为或许。配对图像转换方法将一幅图像从源域映射到目的域，经常使用了重建和反抗性损失的组合。最近，发生了各种条件分散模型，整合了文本和空间条件用于图像转换义务。这些方法理论建设在预训练的文本到图像模型之上。但是，模型训练依然须要少量的训练对。与此相反，作者的方法可以应用大规模的分散模型，而无需图像对，推理速度清楚更快。
在许多无法取得配对输入和输入图像的状况下，曾经提出了几种技术，包括循环分歧性、共享两边潜在空间、内容保管损失和对比学习。最近的钻研还探求了用于无配对转换义务的分散模型。但是，这些基于 GAN 或分散的方法理论须要在新域从头开局训练。相反，作者引入了第一个应用预训练分散模型启动无配对学习的方法，展现了优于现有方法的结果。
文本到图像模型 。大规模文本条件模型曾经经过对互联网规模数据集的训练清楚提高了图像的品质和多样性。一些方法提出了用于编辑实在图像的zero-shot方法。虽然这些方法取得了令人印象深入的结果，但它们在复杂场景中经常遇到艰巨。咱们的上班可以被视为经常使用来自新域/义务的配对或无配对数据增强这些方法的模式。
one-step生成模型 。为了减速分散模型的推理，最近的上班集中于缩小采样步骤的数量。与专一于one-step文本到图像分解的其余上班不同，咱们提出了第一个同时经常使用文本和条件图像的one-step条件模型。本方法战败了间接经常使用原始 ControlNet 的one-step蒸馏模型的基线。
方法
本文从一个能够生成真切图像的one-step预训练文本到图像模型开局。但是，作者的目的是将输入的实在图像从源域转换到目的域，例如将白昼驾驶图像转换为夜晚。区分讨论了为咱们的模型参与结构的不同条件方法及其相应的应战。钻研了困扰潜在空间模型的经常出现细节失落疑问（例如文本、手部、街道标志）并提出了处置打算。而后，讨论了无配对图像转换方法，并将one-step裁减到配对设置和随机生成。
参与条件输入
要将文本到图像模型转换为图像转换模型，首先须要找到一种有效的模式将输入图像 x 兼并到模型中。
噪声和条件输入之间的抵触 。将条件输入兼并到分散模型中的一种经常出现战略是引入额外的适配器分支，如下图3所示。
详细来说，初始化第二个编码器，标志为条件编码器，可以经常使用Stable Diffusion编码器的权重，或许使用具备随机初始化权重的轻量级网络。该控制编码器接纳输入图像 x，并经过残差衔接将特色图输入到预训练的Stable Diffusion模型中的多个分辨率。这种方法在控制分散模型方面取得了清楚的成绩。但是，如上图3所示，在one-step模型的高低文中，经常使用两个编码器（U-Net编码器和条件编码器）处置噪声图和输入图像会带来应战。与多步分散模型不同，one-step模型中的噪声图间接控制生成图像的规划和姿态，理论与输入图像的结构相矛盾。因此，解码器接纳两组残差特色，每组特色示意不同的结构，使得训练环节更具应战性。
间接条件输入 。图3还说明了预训练模型生成的图像结构受噪声图 z 的清楚影响。基于这一观察结果，咱们提出应该间接将条件输入馈送到网络中。下图7和表4还显示，经常使用间接条件输入比经常使用额外编码器取得更好的结果。
为了让主干模型顺应新的条件，咱们在U-Net的各个层中参与了几个LoRA权重（下图2）。
保管输入细节
阻止经常使用潜在分散模型（LDM）在多对象和复杂场景中经常使用的一个关键应战是不足细节保管。
细节失落的要素 。潜在分散模型（LDMs）的图像编码器将输入图像在空间上紧缩了8倍，同时将通道数量从3参与到4。这种设计放慢了分散模型的训练和推理速度。但是，关于须要保管输入图像细节的图像转换义务来说，这或许并不现实。下图4中说明了这个疑问，在这个示例中，驳回不经常使用腾跃衔接的结构，将输入的白昼驾驶图像（左）转换成对应的夜间驾驶图像（中）。
可以观察到，诸如文本、街道标志和远处的汽车等细粒度细节并未获取保管。相比之下，经常使用蕴含腾跃衔接的架构（右）会造成转换后的图像更好地保管这些复杂的细节。
衔接第一阶段编码器和解码器。 为了捕捉输入图像的细粒度视觉细节，咱们在编码器和解码器网络之间参与了腾跃衔接（见上图2）。详细地，在编码器中的每个下采样块之后提取四个两边激活，并经过一个1×1零卷积层对它们启动处置，而后将它们馈送到解码器中相应的上采样块中。这种方法确保了在整个图像转换环节中细节的保管。
无配对训练
裁减
虽然本文的关键重点是无配对学习，但还展现了两种裁减来学习其余类型的 GAN 目的，例如从配对数据中学习和生成随机输入。
生成多样化输入 在许多图像转换义务中，例如草图到图像生成，生成多样化的输入十分关键。但是，让one-step模型生成多样化的输入是具备应战性的，由于它须要应用额外的输入噪声，而这往往被疏忽。本文提出经过插值特色和模型权重向预训练模型启动生成多样化的输入。
值得留意的是，γ=0 对应于预训练模型的自动随机行为，此时不会强迫口头重构损失。γ =1对应于确定性转换。咱们经过经常使用不同的插值系数对图像转换模型启动微调。下图 9 显示，这种微调使咱们的模型能够经过在推理时采样不同的噪声来生成多样化的输入。
试验
对几个图像转换义务启动了宽泛的试验，关键分为三个类别。首先，将咱们的方法与几种先前的基于 GAN 和分散模型的图像转换方法启动了比拟，展现了更好的定量和定性结果。其次，经过一一将它们归入咱们的无配对方法 CycleGAN-Turbo 的每个组件来剖析其有效性。最后，展现了咱们的方法如何在配对设置中运作，并生成多样化的输入。
训练细节 。在驾驶数据集上的无配对模型的总训练参数为 330 MB，包括 LoRA 权重、零卷积层和 U-Net 的第一卷积层。请在附录 D 中查找超参数和架构细节。
数据集 。在两个罕用数据集（马 ↔ 斑马 和优胜美地夏季 ↔ 夏季）以及两个更高分辨率的驾驶数据集（白昼 ↔ 夜晚 和晴天 ↔ 多雾来自 BDD100k 和 DENSE）上启动了无配对转换试验。关于前两个数据集，遵照 CycleGAN并加载 286×286 图像，在训练时经常使用随机的 256×256 裁剪。在推理环节中，间接在 256×256 上运行转换。关于驾驶数据集，在训练和推理时将一切图像调整大小为 512×512。关于评价，经常使用相应的验证集。
评价协定 。一个有效的图像转换方法必定满足两个关键规范：（1）婚配目的域的数据散布和（2）在转换输入中保管输入图像的结构。
经常使用 FID评价数据散布的婚配，驳回了 Clean-FID 成功。咱们经常使用 DINO-Struct-Dist评价第二个规范的合乎度，该目的测量两个图像在特色空间中的结构相似性。报告中一切 DINO 结构分数乘以 100。较低的 FID 分数示意与参考目的散布的更凑近婚配和更大的真切度，而较低的 DINO-Struct-Dist 标明在转换图像中更准确地保管了输入结构。较低的 FID 分数与较高的 DINO-Struct-Dist 标明该方法无法遵照输入结构。较低的 DINO-Struct-Dist 但较高的 FID 标明该方法简直不会扭转输入图像。思考这两个分数是十分关键的。此外，咱们在 Nvidia RTX A6000 GPU 上比拟一切方法的推理运转期间，并包括一团体类感知钻研。
与无配对方法的比拟
将 CycleGAN-Turbo 与先前基于 GAN 的无配对图像转换方法、zero-shot图像编辑方法以及经过地下可用代码训练的分散模型启动比拟。在定性上，下图 5 和图 6 显示，现有的方法，无论是基于 GAN 还是基于分散的，都难以在输入真切度和结构坚持之间取得正确的平衡。
与基于GAN方法的比拟 。将本文的方法与两种无配对 GAN 模型 - CycleGAN和CUT启动比拟。经常使用自动超参数在一切数据集上训练这些基线模型 100,000 步，并选用最佳checkpoint。下表 1 和表 2 展现了八个无配对转换义务的定量比拟。
CycleGAN 和 CUT 在方便的以对象为中心的数据集，例如马 → 斑马（下图 13），上体现出有效的性能，到达了较低的 FID 和 DINO-Structure 分数。
咱们的方法在 FID 和 DINO 结构距离目的方面略优于这些方法。但是，关于更复杂的场景，例如夜晚 → 白昼，CycleGAN 和 CUT 的 FID 分数清楚高于咱们的方法，理论会发生不良的视觉效果（下图 15）。
与基于分散的编辑方法的比拟 。接上去，将咱们的方法与几种基于分散的方法启动比拟。首先，思考最近的zero-shot图像转换方法，包括 SDEdit、Plug-and-Play、pix2pix-zero、CycleDiffusion和 DDIB，它们经常使用预训练的文本到图像分散模型，并经过不同的文本揭示转换图像。请留意，原始的 DDIB 成功触及从头训练两个独自的畛域特定的分散模型。为了提高其性能并启动偏心比拟，咱们用预训练的文本到图像模型交流了畛域特定的模型。还将 Instruct-pix2pix，一个用于基于文本的图像编辑的条件分散模型启动比拟。
如表1和图14所示，在以物体为中心的数据集上，例如马 → 斑马，这些方法可以生成真切的斑马，但难以准确婚配物体的姿态，这一点可以经过火歧较大的DINO结构分数获取说明。
在驾驶数据集上，这些编辑方法体现清楚更差，要素有三：（1）模型难以生成蕴含多个对象的复杂场景，（2）这些方法（除了Instruct-pix2pix外）须要首先将图像反转为噪声图，从而引入潜在的伪影，以及（3）预训练模型无法分解与驾驶数据集捕捉的街景图像相似的图像。下表2和图16显示，在一切四个驾驶转换义务中，这些方法输入品质较差的图像，反映在较高的FID分数和不合乎输入图像结构的较高的DINO结构距离值中。
人类偏好钻研 接上去，在Amazon Mechanical Turk（AMT）上启动人类偏好钻研，以评价不同方法发生的图像品质。经常使用关系数据集的完整验证集，每个比拟由三个独立的用户启动独立评价。将两个模型的输入并排出现，并要求用户选用哪个更准确地合乎目的揭示，期间不限。例如，咱们对白昼到夜晚的转换义务搜集了 1,500 个比拟，其中蕴含 500 个验证图像。向用户出现的揭示是：“哪张图像更像是在夜晚拍摄的驾驶场景的实在照片？”
下表 3 将本文的方法与 CycleGAN（最佳性能的基于 GAN 的方法）和 Instruct-Pix2Pix（最佳性能的基于分散的方法）启动了比拟。
本文的方法在一切数据集上均优于这两个基线，除了从晴天到多雾的转换义务。在这种状况下，用户偏好 Instruct-Pix2Pix 的结果，由于它输入了更具艺术性的雾图像。但是，正如下面表 2 中所示，Instruct-Pix2Pix 未能保管输入结构，其高 DINO-Struct 分数（7.6）与咱们的（1.4）相比。此外，其结果与目的雾数据集的差异清楚，反映在高 FID 分数（170.8）与咱们的（137.0）之间的差异上。
消融钻研
经过一个宽泛的消融钻研，在前面表 4 和图 7 中展现了咱们算法设计的有效性。
经常使用预训练权重 。首先，评价经常使用预训练网络的影响。在前面表 4 的 Config A 中，咱们在马 ↔ 斑马数据集上训练一个无配对模型，但经常使用的是随机初始化的权重，而不是预训练的权重。没无应用预训练文本到图像模型的先验常识，输入图像看起来不人造，如前面图 7 的 Config A 所示。这一观察结果在表 4 的两个义务中都获取了证明，FID 清楚参与。
不同参与结构输入的方法 。接上去，比拟了三种向模型参与结构输入的方法。Config B 经常使用了 ControlNet 编码器，Config C 经常使用了 T2I-Adapter，最后，Config D 间接将输入图像馈送到基础网络，而不须要任何额外的分支。Config B 的 FID 与 Config D 相当。但是，它的 DINO-Structure 距离清楚更高，标明 ControlNet 编码器难以婚配输入的结构。这也可以从图 7 中观察到；Config B（第三行）不时在扭转场景结构，并发生新的物体幻觉，例如驾驶场景中的局部修建以及马到斑马转换中的不人造斑马图案。Config C 经常使用了轻量级的 T2I-Adapter 来学习结构，并取得了较差的 FID 和 DINO-Struct 分数，输入图像中有几个伪影和结构保管较差。
腾跃衔接和可训练的编码器和解码器 。最后，经过将 Config D 与咱们的最终方法 CycleGAN-Turbo 启动比拟，来看到腾跃衔接的效果，在表 4 和图 7 中。在一切义务中，参与腾跃衔接并联结训练编码器和解码器可以清楚提高结构坚持，虽然 FID 稍微参与了一点。
其余结果 。请参阅附录 A 和 C，了解其余数据集的额外消融钻研、在不同数量的训练图像下模型训练的影响以及编码器-解码器微调的作用。详细如下图：
裁减
配对转换 。在一个蕴含 300K 艺术图片的社区搜集的数据集上训练了 Edge2Photo 和 Sketch2Photo 模型。提取了 Canny 边缘和 HED 轮廓。由于咱们的方法和基线经常使用不同的数据集，咱们展现了视觉比拟，而不是启动 FID 评价。关于训练数据和预处置的更多细节请参见附录 D。
下图 8 中将咱们的配对方法 pix2pix-Turbo 与现有的one-step和多步转换方法启动了比拟，包括两个经常使用潜变分歧性模型 和带有 ControlNet 适配器的 Stable Diffusion - Turbo的one-step基线。虽然这些方法可以one-step生成结果，但其图像品质会降低。接上去，咱们将其与基于 100 步Stable Diffusion的个别 ControlNet 启动比拟。还经常使用无分类器指点和一个形容性较长的负揭示来启动 100 步 ControlNet 的基线。与one-step基线相比，这种方法可以生成更令人满意的输入，如图 8 所示。咱们的方法只有一次性前向传递就能生成有目共睹的输入，无需负揭示或无分类器指点。
生成多样化的输入。最后，在下图 9 中，展现了咱们的方法可以生成多样化的输入。给定相反的输入草图和用户揭示，咱们可以采样不同的噪声图并生成多样化的多模态输入，例如不同格调的猫、背景的变动和具备不同壳图案的海龟。
讨论与局限性
咱们的上班标明，one-step预训练模型可以作为许多下游图像分解义务的弱小且多才多艺的主干模型。经过各种 GAN 目的，可以将这些模型顺应到新的义务和畛域，而无需启动多步分散训练。咱们的模型训练只有要大批额外的可训练参数。
局限性 。虽然咱们的模型可以经过one-step生成发生视觉上令人满意的结果，但它确实存在一些局限性。首先，咱们无法指定指点的强度，由于咱们的主干模型 SD-Turbo 不经常使用无分类器指点。疏导蒸馏或许是一个有出路的处置打算，可以成功指点的控制。其次，咱们的方法不允许负揭示，这是一种缩小伪影的方便模式。第三，经常使用循环分歧性损失和高容量生成器的模型训练会消耗少量内存。下一步，探求用于更高分辨率图像分解的单边方法是一个无心义的。
原文链接: