用ComfyUI-Kolors-MZ玩转IPAdapter一张参考图就能复刻风格权重调节完全教程【免费下载链接】ComfyUI-Kolors-MZKolors的ComfyUI原生采样器实现(Kolors ComfyUI Native Sampler Implementation)项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Kolors-MZComfyUI-Kolors-MZ 是 Kolors 在 ComfyUI 中的原生采样器实现内置了完整的 IPAdapter 图像参考支持。只需一张参考图就能让 Kolors 复刻参考图的画风、构图甚至人物肖像并通过权重参数精细控制像到几分。本文带你从零配置到调参掌握 Kolors IPAdapter 风格复刻的完整工作流。IPAdapter 图像参考是什么为什么 Kolors 用户必备️ IPAdapter 的核心思路很简单用 CLIP Vision 编码器把一张参考图提取成图像特征再注入到扩散模型的去噪过程中让生成结果参考这张图。对 Kolors 用户来说它最大的价值是风格复刻只想要参考图的画风、色调、光影内容按提示词自由发挥构图迁移保留参考图的画面布局替换主体肖像风格化基于 FaceID 模型把真人照片转成指定画风的头像ComfyUI-Kolors-MZ 项目已集成 IPAdapter 相关实现节点代码位于ComfyUI_IPAdapter_plus/IPAdapterPlus.pyKolors 专属的加载器与高级应用节点如 MZ_KolorsCLIPVisionLoader、MZ_IPAdapterAdvancedKolors则定义在 mz_kolors_core.py 中。三步快速安装 ComfyUI-Kolors-MZ安装过程非常简单三步完成进入 ComfyUI 的自定义节点目录克隆本仓库cd ComfyUI/custom_nodes git clone https://gitcode.com/gh_mirrors/co/ComfyUI-Kolors-MZ重启 ComfyUI即可在节点列表中搜索到MZ_开头的 Kolors 系列节点⚠️ IPAdapter 功能依赖 ComfyUI_IPAdapter_plus 的最新版本。本仓库已附带集成代码ComfyUI_IPAdapter_plus/目录如果加载 IPAdapter 节点时报错请优先更新 ComfyUI 本体和该插件到最新版本。模型准备清单文件放对位置才能加载IPAdapter 工作流需要以下几组模型下载后放入对应文件夹模型作用放置路径Kolors UNetfp16 版主生成模型models/unet/ChatGLM3fp16 版中文提示词编码models/LLM/ip_adapter_plus_general.binIPAdapter 主模型models/ipadapter/pytorch_model.binimage_encoderCLIP Vision 图像编码器models/clip_vision/ipa-faceid-plus.binFaceID 肖像模型可选models/ipadapter/clip-vit-large-patch14-336FaceID 专用视觉编码器可选models/clip_vision/antelopev2解压后人脸识别可选models/insightface/models/antelopev2/ 小贴士ChatGLM3 请务必使用fp16 版本否则会报 Only Tensors of floating point dtype can require gradients 错误。视觉编码器的配置可参考clip_vit_336/config.json文本编码器配置见configs/text_encoder_config.json。IPAdapter 风格复刻工作流核心节点怎么连下图是 Kolors IPAdapter 风格复刻的完整工作流项目自带示例参考图在右上角右侧输出为复刻风格后的生成图整个流程可以拆成 4 个环节① 模型加载底部左侧VAE 加载器加载sd-vae-ft-mseChatGLM3 加载器 两个提示词编码节点分别编码正向/负向提示词Kolors 的中文提示词由 ChatGLM3 处理无需像 SDXL 那样拆两段Kolors UNET 加载器V2加载 UNet输出 MODEL 和 CLIP 两条线② 图像特征提取中部左侧CLIP 视觉加载器选择pytorch_model (b) .bin输出 CLIP_VISIONIPAdapter 模型加载器选择ip_adapter_plus_general.bin输出 IPADAPTER③ 应用 IPAdapter中部核心应用IPAdapter高级节点把模型、CLIP_VISION、IPADAPTER 三条线接进来再加载你的参考图即可向 MODEL 注入图像参考。图中默认参数权重weight1.00start_at0.000end_at1.000全程生效权重类型weight_typelinear④ 采样与解码MODEL →采样器节点图中为 20 步、dpmpp_2m_sde、karras 调度器、CFG 4.0→ 配合VAE解码和预览图像输出最终图片。权重调节完全指南控制像到几分的 6 个参数权重调节是 IPAdapter 的核心。在**应用IPAdapter高级**节点上你可以通过以下参数精确控制参考强度weight总强度最直观的参数默认 1.0。数值越大生成图越贴近参考图一般 0.5~1.5 之间微调即可超过 2.0 画面容易失真。weight_type权重曲线最容易出效果的参数它决定参考强度在去噪全程中如何分布直接决定参考的是风格还是构图选项效果linear标准全程均匀注入均衡参考ease in / ease out强度逐渐增强 / 逐渐减弱strong middle中段增强细节阶段保留更多自由度style transfer偏风格迁移前段强注入画风strong style transfer强力风格迁移画风几乎完全跟随参考图composition偏构图迁移参考图的布局会被保留style and composition风格 构图同时参考style transfer precise / composition precise更精确的风格 / 构图控制 经验值只想要画风 → style transfer想要同款构图 → composition不确定就用 linear再微调。start_at / end_at生效区间参考图在去噪过程的哪个百分比区间内生效。例如 start_at0.0、end_at0.8 表示只在前 80% 的步骤注入参考最后阶段由提示词主导适合借画风但不借细节。combine_embeds 与 embeds_scalingcombine_embeds多图特征的合并方式默认 concat拼接可选 average平均、overadd叠加embeds_scaling默认 V only只缩放 V 向量可选 VK后者参考更强但更难控制weight_style / weight_composition双图分控高级节点支持同时输入两张参考图——一张管风格、一张管构图并分别调节权重。想要A 图的画风 B 图的构图时直接用它。下面的工作流旧版节点展示了一组常用调参参考权重 1.00、linear 曲线、concat 合并、V only 缩放IPAdapter FaceID如何复刻真人肖像风格想基于真人照片生成指定画风的头像使用 FaceID 工作流即可。项目于 2024-08-02 新增了 FaceID 支持示例工作流见examples/workflow_ipa_faceid.png与风格工作流的差别主要在应用IPAdapter(FaceID)节点加载ipa-faceid-plus.bin模型和pytorch_model (2) .bin视觉编码器连接insightface 加载器加载 antelopev2 人脸检测模型图中使用 CPU 即可图中示例参数weight 4.4、start_at 0.02、end_at 1.0、insightface 权重 0.8提示词中写明画风如矢量插画即可得到保留五官特征的画风化头像 注意FaceID 模式下 weight 可以比风格模式更大示例为 4.4因为它主要锁人脸特征而不锁画风。常见问题排查清单报错现象解决方法IPAdapter 节点报错确认 ComfyUI 本体和 ComfyUI_IPAdapter_plus 已更新到最新版本name round_up is not defined执行pip install -U cpm_kernels升级依赖model_detection 无 unet_prefix_from_state_dict升级 ComfyUI 本体Only Tensors of floating point dtype...换用 fp16 版 ChatGLM3 模型UNet 加载失败Kolors 分 unet 型和 checkpoint 型两种可分别用 UNET 加载器或 KolorsCheckpointLoaderSimple 加载器尝试更多 Kolors 相关节点ControlNet、局部重绘等的用法可查看项目自带的其他示例工作流如examples/workflow_controlnet.png和examples/workflow_inpainting.png。小结ComfyUI-Kolors-MZ 让 Kolors 在 ComfyUI 中以原生采样方式运行并完整打通了 IPAdapter 图像参考链路✅ 克隆仓库 放好 4 组模型即可上手✅ 一张参考图 应用IPAdapter高级节点实现风格/构图复刻✅ 用 weight、weight_type、start_at/end_at 三个核心参数控制像到几分✅ FaceID 工作流支持真人肖像风格化先跑通默认参数的风格工作流再逐个调整权重曲线你就能轻松做出属于自己的 Kolors 风格复刻工作流。【免费下载链接】ComfyUI-Kolors-MZKolors的ComfyUI原生采样器实现(Kolors ComfyUI Native Sampler Implementation)项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Kolors-MZ创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
