二次元AI文/图生图工作流(ComfyUI+SDXL+Lora+高清修复+面部重绘+手部重绘修复)

概览&准备工作

整个工作流主要由checkpoint,Lora加载,基础采样,高清放大,面部重绘,手部修复流程组成。

alt

效果图

alt

alt

工作流使用了一些自定义节点,需要在Manager里安装。

alt

Checkpoint Lora加载,提示词输入

alt

该组用来加载CheckPoint大模型,Lora,以及输入提示词。使用了Lora Stack节点简化多个Lora的载入,在文生图工作流下,直接将正面提示词的输出连接到TobasicPipeLine的positive端口上,图生图工作流略有区别,见下一节。TobasicPipieLine将model,clip,vae,条件集合成一条线,便于后续使用。

图生图工作流

默认情况下图生图工作流处于禁用状态,如要使用,需右键组标题,选择SetNodetoAlways即可启用。

alt

alt

提取图片的提示词

运行工作流即可在WD14Tagger节点下看到输出的提示词,首次启动WD14需要科学上网下载对应的模型,无法科学上网的可以去看教程手动下载模型。

alt

右侧提供了工作流一次生成的图片数量(批次),图像大小的节点。

合成正向提示词条件

此时需要将合成的正向提示词节点连接到TobasicPipeLine上,代表从图提取到的提示词叠加在了输入的正向提示词上。

alt

将图生图的latent连接到基础采样上

可以选择将参考图的latent连接到采样器上进行生成,也可以选择仅使用参考图的提示词,由空latent设置图片大小和批次。

alt

提示词翻译

默认禁用,上方输入中文,下方自动输出对应的英文提示词。

alt

高清修复

两次高清修复,第一次使用nearest-exact方法,你二次使用bislerp方法进行色彩方面的修复。不同方法的原理详见链接。

alt

面部局部重绘

首先通过bbox模型使用方框检测脸部,再使用SAM模型对脸部进行语义分割细化得到脸部区域,再在脸部区域进行重绘,具体调参和原理可以搜索FaceDetailer的教程。

alt

手部修复

原理和面部类似,可以复制一个面部局部重绘组,将检测模型改为手部即可,但本人使用的SDXL检测效果很差,就不放在工作流里了,使用SD基底模型的话有社区提供的Controlnet模型,效果比较好,该组单独放在整体工作流外,有需要可以对应连线。

alt

整体思路是通过MeshGraphhormer HandRefiner提取出手部区域遮罩,并进行局部重绘并用手部修复对应的Controlnet调整训练网络。

最后的高清修复

一个常用的高清修复模块,显存占用比较小,通过将图片分割成多个块进行重绘来提高质量,最后出图可以连接进行高清修复,默认禁用

alt

实用小技巧

实时预览

在Manager中启用实时预览功能可以看到采样器的图片处理过程。

alt

延长连线的中间节点

在新ComfyUI版本下从线端拖出去松手会出现可供选择的快捷节点菜单,里面的Reroute是一个中间节点,常用来理线。

alt

alt

更进一步在松开手时按住shift会出现搜索框可以直接选择节点,左侧有节点的预览图,可以确定是不是自己想要的(双击空白区域也可以打开节点搜索)。

alt

重新连接多个节点

当线已经连好时,如果想改变线的起点(默认情况点线的起点只能创建新的连线),可以按住shift进行拔出操作,如果有多个线端链接,会被一起拔出。

alt

全部评论
你好工作流能分享吗
点赞 回复 分享
发布于 2025-05-26 12:17 广东

相关推荐

02-10 13:41
西南大学 Java
点赞 评论 收藏
分享
02-12 20:22
重庆大学 Java
字节暑期刚入职四天,因为是年前,所以很多正职都放假走了,也就没有给我分配mt,然后有一个老哥在我来的时候给我发了一个landing手册,然后还有关于部门业务的白皮书,还有一些业务代码。然后本人是java面的,进来第一次接触go语言 前面几天熟悉了一下go的语法和go的框架,可以读但是还不太会写,然后业务白皮书也看的很头疼,包括landing手册里要了解的很多东西说实话我看文档真的快看死了,一个嵌套一个,问题是我还完全不知道咋用这个我了解的东西,还有就是那个项目代码,那个老哥喊我去写写单测,熟悉一下go的语法,但也进行的很困难(这是我第一段实习,之前都是springboot那一套,真不太熟悉这个)想问问大家的建议,就是我从现在开始到在开年回来之前应该做些什么,我目前就一个想法 就是复现一个landing手册上的go框架小项目 就是相当于帮自己锻炼锻炼怎么写go 或者各位大佬有没有更好的锻炼go语法的建议还有就是大家都在说vibe coding,那我应该怎么锻炼自己使用ai的能力,感觉我除了给一些需求然后它给我生成代码,好像就没别的用法了,那些什么工作流、拆解、skill啥的都不知道从哪一个地方开始,包括我现在正在实习,不知道精力该怎么分配,去网上想找找关于agent开发的一些学习流程,说实话,众说纷纭,有的是从python开始打基础然后系统学那些rag prompt langchain mcp等等,有的是说直接找一个github上的ai项目然后反复问ai,我确实有点迷茫,恳求各位大佬能留下你们宝贵的建议,我一定认真反复深刻学习有一说一 我觉得字节饭挺好吃的!
双非后端失败第N人:1. go语言我建议你让ai带着你先把基本语法速通了,然后再去用go重新刷你以前刷过的leetcode,这样熟悉起来很快 2. 直接看你们组go项目,里面用***比较复杂,然后把每一个语法现象都喂给ai,一点点看
字节跳动公司福利 1371人发布
点赞 评论 收藏
分享
评论
1
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务