本教程是 2024 年最新的SD ComfyUI入门指南,专为初学者设计,详细介绍了如何搭建Lora工作流程。通过逐步指导,让您轻松掌握SD ComfyUI的高级功能,提升AI绘图的精准度和创造力。
Lora模型安装路径
模型存放位置在“ComfyUI_windows_portable\ComfyUI\models\loras”目录下,如果你是和 Web UI 共用的模型,那就放在“sd-webui\models\Lora”目录下。
如果不知道怎么与WebUI共享模型的小伙伴可以看我们的第二节有详细介绍。
使用Lora模型
在使用上比较简单,我们在默认的文生图工作流空白处“右键-新建节点-加载器-LoRA 加载器”;
连接也非常简单,我们左侧模型和clip链接大模型加载器的模型和clip,右侧的模型链接k采样器,clip链接文本编码器,虽然有两个CLIP 文本编码器,但是经过测试只练正向关键词的CLIP 文本编码器就可以了
我们选择像素风模型试一下效果,可以看到成功使用Lora模型改变了画风。
调整Lora模型权重
我们还可以像在WebUI上调整Lora模型的权重:
回到“LoRA 加载器”节点上。除了选择模型外还有两个可以设置参数的地方,模型强度、CLIP 强度。至于我们设置哪个参数能达到控制权重的效果,完全取决于模型的训练方式。所以我们在不知道受哪个参数影响的情况下,我们可以对两个参数都进行调节,而 Web UI 上是把两个参数整合在一起了。
使用多个Lora
使用多个Lora非常简单,只需要把多个Lora加载器串联起来
效率节点
虽然使用多个Lora串联非常简单,但是我们使用多个 Lora 模型 的时候就会让流程图更复杂、更乱,调节权重也比较麻烦,我们可以使用一个插件帮我们解决。
⑩efficiency-nodes-comfyui(效率节点): https://github.com/jags111/efficiency-nodes-comfyui.git
我们直接在管理器中安装完成后重启就可以使用。
我们直接把三个比较重要的高效节点加载出来
“LoRA 堆”节点
【输入模式】和控制权重有关,在这个节点我们可以通过调节一个参数就能控制权重了,如果我们把输入模式改为高级,Lora 权重就会分成模型强度、CLIP 强度;
【Lora 数量】用来调节我们使用几个 Lora 模型的,当前数值是 3,我们就有三个 Lora 可选;
剩下的权重和选择Lora模型就不用过多介绍了,大家肯定都知道。
效率加载器
我们需要操作的地方有:大模型选择、VAE 模型选择、Lora 模型(不使用选无,如果只使用一个就可以在这个节点选择,多个情况下就使用我们上面说的 Lora 堆节点)、正反提示词、宽高、批次;
K 采样器
基本上一样,没什么大的区别。
很明显的看出减少了很多的连接,非常的高效而且使用体验上更接近WebUI
这个插件可不止用来帮我们解决 Lora 模型的连接的问题,他能帮我们简化很多节点的连接,包括我们之前讲的多个 ControlNet 使用,也能减少连接步骤。