ControlNet作者新作，玩儿得人直呼过瘾，刚开源就揽星1.2k。
用于操纵图像照明成果 的，全称lmposing Consistent Light。
玩法很便捷：
上行恣意一张图，系统会智能分别人物等主体，选用光源位置，填上揭示词，就能毫无破绽的融入新环境了！
连忙来个王家卫式的打光：
不青睐？
没相关，换成窗外打出去的人造光，也就分分钟的事。
目前，IC-Light提供两类模型： 文本条件重照明模型 ，还有 背景条件模型 。
两种模型都须要以前景图像作为输入。
鉴于之前Controlnet太好玩儿，这次IC-Light一发生就颇受关注，还有网友迅速做出了ComfyUI插件。
（纳闷，大家这么拼，都不睡觉的吗？？）
不论是等候值还是用后体验，网友给得都很高：
谁能帮我把这图换个背景？
从远古MCN到贴吧再到如今小红书，各个时代，都不乏“谁能帮我换张背景”这种求助贴。
但热心网友的协助，往往是这样子的：
就离谱。
不过说真假话，这种需求不只存在于你我个别人之间，电商做商品海报，也经常有相似的需求。
有了IC-Light，如同一切都变得便捷起来。
上行主体原图+选用光源位置+揭示词 ，完事儿。
来看成果——
这样一张佛像原图，加上揭示词“佛像、粗疏的脸部、科幻RGB发光、赛博朋克”，再选用“光从左侧打来”。
就能获取一张崭新的成品：
哪怕是日常场景也是实用的。
最后出的成果肉眼看还是比拟人造：
依据网友分享的测评，动漫场景也实用……
面前技术
如前所说，IC-Light如今提供两类模型，两种模型都须要以前景图像作为输入。
一类是 文本条件重照明模型 。
便捷来说就是用户可以经过输入揭示词来搞定生成。
比如输入“左侧光线”“月光”等，模型会经过这些揭示词和初始潜变量，来生成合乎要求和特色的图像。
另一类是 背景条件模型 。
这种就更便捷了，不须要复杂的揭示词，模型联合背景揭示消息，对前景的物体启动不同格调的光照变动。
而其面前的技术原理，是 经过潜在空间的分歧性，确保模型输入在不同光源组合下具备分歧性，从而可以稳固地分解各种光照成果 。
详细如下——
在HDR空间中，一切照明的光线传输都彼此独立，不同光源的外观混合成果与多光源间接作用下的外观在数学上（也就是现实形态下）是分歧的。
以上方这张图的灯光阶段为例，来自“外观混合”和“光源混合”的两个图像是分歧的，（现实状况下，在HDR空间中数学下等效）。
因此，在训练从新照明模型时，钻研人员在潜在空间中经常使用多层感知机（MLP）让不同光源的组合和传输具备分歧性，并用来指点生功成果。
最终发生高度分歧的从新光照成果。
因为模型经常使用了潜在分散技术，因此可以在潜在空间内成功学习和重光照操作，从而在各种光照条件下发生高度分歧的成果。
这些结果十分分歧——虽然在训练时，模型没有间接经常使用法线图数据，但可以将不同的从新光照兼并为法线贴图。
看上方这张图，从左到右依次是输入、模型输入、从新照明、宰割的阴影图像和兼并的法线贴图。
感兴味的小同伴可以返回上方地址试玩儿哟～
GitHub直通车：
原文链接: