Comfyui_JC2

Comfyui_JC2
★ 217

图像描述模型封装低显存优化自动下载
为ComfyUI封装的Joy Caption（Alpha Two与Beta One）节点，自动下载模型并支持低显存nf4模式，便于在GPU<19G上生成图像描述。
💡 在ComfyUI中快速部署Joy Caption生成图像描述与提示词。
🍴 11 Forks💻 Python🔄 2025-05-21
📦
网盘下载
复制链接后前往夸克网盘下载
https://pan.quark.cn/s/a1f1f564f19c
📦 requirements.txt
accelerate
peft==0.12.0
bitsandbytes
huggingface_hub==0.30.1
transformers>=4.51.0
sentencepiece
triton-windows<=3.2.0
bf16 vs nf4
prompt type
length not always better
结构1
结构2
结构3
结构4
📄 README

🧠 ComfyUI Joy Caption Wrapper (Alpha Two & Beta One)

💡 支持 Alpha Two 与全新 Beta One 模型

🎮 一键部署 / 自动下载（Beta One 模型无需手动放置）

📦 GitHub Repo: https://github.com/TTPlanetPig/Comfyui_JC2

Comfyui workflow example：

https://github.com/TTPlanetPig/Comfyui_JC2/blob/main/example/JoyCaption%20Beta_One_example.png

🌟 简介(这里为旧的Joy Caption Alpha Two介绍，已过时）

这是为 ComfyUI 封装的 Joy Caption 节点：

  • ✅ 支持 joy-caption-alpha-two 以及 全新版本 joy-caption-beta-one
  • 🧊 对低显存卡用户推荐使用 nf4 模式，兼顾速度与效果
  • 🔁 参考实现来自：
  • chflame163/ComfyUI_LayerStyle
  • John6666/joy-caption-alpha-two-cli-mod

    • ⚠️ VRAM 要求

    | 模式 | 最低显存 | 说明 |

    |——|———–|——|

    | bf16 | ≥ 19GB | 推荐给 3090 / 4090 用户 |

    | nf4 | ≥ 10GB | 推荐低于 19GB 显存时使用 |

    显存不足将导致 ComfyUI 报错或运行失败。

    🚀 安装方式

    ✅ 安装节点：

    方法一：通过 ComfyUI 内置 Manager 安装

    方法二：手动克隆

    cd ./comfyui/custom_nodes
git clone https://github.com/TTPlanetPig/Comfyui_JC2

    ✅ 安装依赖（适用于 python_embedded）：

    cd ./comfyui/custom_nodes/Comfyui_JC2
../../../python_embeded/python.exe -m pip install -r requirements.txt

    ✅ 安装 PyTorch（如果未预装）

    pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu121

    🚅 提速建议：开启 Liger Kernel

    若需要进一步提升运行速度，推荐启用 liger-kernel：

  • 📁 请点击节点目录下的 安装liger-kernel.bat
  • ✅ 适用于 ComfyUI 官方一键包（python_embeded 构建）

    • 📥 模型准备

    | 模型 | 下载链接 | 放置路径 |

    |——|———–|———-|

    | clip_vision | siglip-so400m-patch14-384 | ComfyUI/models/clip_vision/google--siglip-so400m-patch14-384 |

    | LLM | Meta-Llama-3.1-8B-Instruct | ComfyUI/models/LLM/unsloth--Meta-Llama-3.1-8B-Instruct |

    | Joy Caption LoRA (alpha two) | joy-caption-alpha-two | ComfyUI/models/Joy_caption/cgrkzexw-599808 |

    📦 推荐使用 huggingface-cli 下载以避免路径或名称出错。

    或者使用百度网盘打包下载：

    链接: https://pan.baidu.com/s/1yYRlDKclehSPv-tUVwfVHw 提取码: b84c

    🆕 新增支持：joy-caption-beta-one 🎉

  • ✅ 已集成 joy-caption-beta-one
  • ✅ 无需用户手动下载模型，ComfyUI 节点会自动拉取 HuggingFace 资源
  • ✅ 保持与 Alpha Two 同样的调用逻辑，支持 GPU 显存检测与模式选择

    • 📸 界面 & 使用要点

    🎛 关键参数介绍：

  • 模式选择（bf16 / nf4）

    • 推荐 3090 / 4090 使用 bf16，其余使用 nf4

  • 提示词模式选择（多种任务类型）

  • 文本长度选择（不总是越长越好）

  • 模型 offload 开关（决定是否将模型保留在显存）

  • 控制附加选项是否生效（需搭配使用）

  • 联动选项，需同时启用才有效果

    • 🖼 文件夹结构示意

    确保模型文件正确放置，如图所示：

    ⭐ Star History

    🧪 欢迎测试并反馈问题，Enjoy!