ComfyUI-YoloWorld-EfficientSAM

ComfyUI-YoloWorld-EfficientSAM
★ 817

目标检测实例分割模型自动下载ComfyUI节点
为ComfyUI集成YOLO-World与EfficientSAM，提供目标检测与实例分割能力，自动下载yolo_world模型并可调置信度/IoU等参数，兼容CUDA/CPU。
💡 在ComfyUI中对图像执行检测与分割，生成可调置信度的边界框与掩码。
🍴 70 Forks💻 Python🔄 2024-05-22
📦
网盘下载
复制链接后前往夸克网盘下载
https://pan.quark.cn/s/e00a65475347
📦 requirements.txt
inference-gpu[yolo-world]==0.9.13
ywes_
Dingtalk_20240220201311
Dingtalk_20240224154535
Dingtalk_20240220175722
306523112-ea37dfd0-7019-4207-af2a-aa3c9355b63e
Star History Chart
📄 README

ComfyUI YoloWorld-EfficientSAM

Unofficial implementation of YOLO-World + EfficientSAM & YOLO-World for ComfyUI

项目介绍 | Info

  • 对YOLO-World + EfficientSAM的非官方实现

  • 利用全新的 YOLO-World 与 EfficientSAM 实现高效的对象检测 + 分割

  • 版本：V2.0 新增蒙版分离 + 提取功能，支持选择指定蒙版单独输出，同时支持图像和视频（V1.0工作流已弃用）

    • 视频演示

    V2.0

    https://github.com/ZHO-ZHO-ZHO/ComfyUI-YoloWorld-EfficientSAM/assets/140084057/c7803084-8864-4bc5-a23f-20a47cf66925

    V1.0

    https://github.com/ZHO-ZHO-ZHO/ComfyUI-YoloWorld-EfficientSAM/assets/140084057/ed51a9c7-0e06-4026-8946-04dd78aa712c

    节点说明 | Features

  • YOLO-World 模型加载 | 🔎Yoloworld Model Loader
  • 支持 3 种官方模型：yolo_world/l, yolo_world/m, yolo_world/s，会自动下载并加载

  • EfficientSAM 模型加载 | 🔎ESAM Model Loader
  • 支持 CUDA 或 CPU

  • 🆕检测 + 分割 | 🔎Yoloworld ESAM
  • yolo_world_model：接入 YOLO-World 模型
  • esam_model：接入 EfficientSAM 模型
  • image：接入图像
  • categories：检测 + 分割内容
  • confidence_threshold：置信度阈值，降低可减少误检，增强模型对所需对象的敏感性。增加可最小化误报，防止模型识别不应识别的对象
  • iou_threshold：IoU 阈值，降低数值可减少边界框的重叠，使检测过程更严格。增加数值将会允许更多的边界框重叠，适应更广泛的检测范围
  • box_thickness：检测框厚度
  • text_thickness：文字厚度
  • text_scale：文字缩放
  • with_confidence：是否显示检测对象的置信度
  • with_class_agnostic_nms：是否抑制类别之间的重叠边界框
  • with_segmentation：是否开启 EfficientSAM 进行实例分割
  • mask_combined：是否合并（叠加）蒙版 mask，”是”则将所有 mask 叠加在一张图上输出，”否”则会将所有的蒙版单独输出
  • mask_extracted：是否提取选定蒙版 mask，”是”则会将按照 mask_extracted_index 将所选序号的蒙版单独输出
  • mask_extracted_index：选择蒙版 mask 序号

  • 🆕检测 + 分割 | 🔎Yoloworld ESAM Detector Provider （由 ltdrdata 提供，感谢！）
  • 可配合 Impact-Pack 一起使用
  • yolo_world_model：接入 YOLO-World 模型
  • esam_model：接入 EfficientSAM 模型
  • categories：检测 + 分割内容
  • iou_threshold：IoU 阈值
  • with_class_agnostic_nms：是否抑制类别之间的重叠边界框

    • 安装 | Install

  • 推荐使用管理器 ComfyUI Manager 安装（On the Way）

  • 手动安装：
  • cd custom_nodes
  • git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-YoloWorld-EfficientSAM
  • cd custom_nodes/ComfyUI-YoloWorld-EfficientSAM
  • pip install -r requirements.txt
  • 重启 ComfyUI

  • 模型下载：将 EfficientSAM 中的 efficient_sam_s_cpu.jit 和 efficient_sam_s_gpu.jit 下载到 custom_nodes/ComfyUI-YoloWorld-EfficientSAM 中

    • 工作流 | Workflows

    V2.0

  • V2.0 图片检测+分割

  • V2.0 视频检测+分割

    • V1.0

  • 注意：V1.0 工作流不适用于 V2.0

  • V1.0 图片检测+分割
  • V1.0 视频检测+分割

    • 更新日志

  • 20240224

    • V2.0 新增蒙版分离 + 提取功能，支持选择指定蒙版单独输出，同时支持图像和视频

  • 20240221

    • 合并了由 ltdrdata 提供的 🔎Yoloworld ESAM Detector Provider 节点

  • 20240220

    • 创建项目

    V1.0 同时支持图像与视频的检测与分割，还支持输出 mask 蒙版

    Stars

    [](https://star-history.com/#ZHO-ZHO-ZHO/ComfyUI-YoloWorld-EfficientSAM&Date)

    关于我 | About me

    📬 联系我：

  • 邮箱：zhozho3965@gmail.com
  • QQ 群：839821928

    • 🔗 社交媒体：

  • 个人页：-Zho-
  • Bilibili：我的B站主页
  • X（Twitter）：我的Twitter
  • 小红书：我的小红书主页

    • 💡 支持我：

  • B站：B站充电
  • 爱发电：为我充电

    • Credits

    YOLO-World + EfficientSAM

    YOLO-World

    EfficientSAM

    代码还参考了 @camenduru 感谢！

    ltdrdata 提供了 🔎Yoloworld ESAM Detector Provider 节点，感谢！