ComfyUI-MiniCPM-o

ComfyUI-MiniCPM-o
★ 37

多模态实时音视频MiniCPM-oComfyUI自定义节点
在 ComfyUI 中集成 MiniCPM-o（支持2.6），提供多模态节点，便于实时音视频与图像/文本交互调试。
💡 在 ComfyUI 中用 MiniCPM-o 做实时音视频与多模态实验。
🍴 4 Forks💻 Python🔄 2025-02-16
📦
网盘下载
复制链接后前往夸克网盘下载
https://pan.quark.cn/s/af9fbf81e746
📦 requirements.txt
librosa
accelerate>=0.26.0
vector-quantize-pytorch
vocos
alt text
alt text
alt text
📄 README

ComfyUI-MiniCPM

English | 简体中文

这是一个 ComfyUI 的自定义节点，用于在 ComfyUI 中使用 MiniCPM-o 的多模态能力。

还在增加这个节点的功能，希望能用这个模型实时音视频能力在ComfyUI里做一些有趣实用的事情。

当前支持的模型版本：MiniCPM-o 2.6 (2024年1月发布)

功能

单图i2t提示词反推。

可以选择预设的提示词或者自己输入提示词。

多图i2t提示词反推，输出融合后的提示词

安装步骤

方法一：使用 ComfyUI Manager（推荐）

  • 在 ComfyUI 中安装 ComfyUI Manager
  • 打开 ComfyUI，点击右上角的 “Manager” 标签
  • 在搜索框中输入 “MiniCPM-o”
  • 点击安装按钮完成安装

    • 方法二：手动安装

  • 克隆此仓库到你的 ComfyUI 的 custom_nodes 文件夹下：
    • cd ComfyUI/custom_nodes
git clone https://github.com/CY-CHENYUE/ComfyUI-MiniCPM-o.git

  • 使用 ComfyUI 的 Python 安装依赖：

    • ..\..\..\python_embeded\python.exe -m pip install -r requirements.txt

    安装说明

  • 下载模型文件
  • 从 Hugging Face模型仓库 下载 MiniCPM-o 2.6 模型文件

  • 放置模型文件
  • 将下载的模型文件放在 ComfyUI 的模型目录下：

    • “`

    ComfyUI

    └── models

    └── MiniCPM

    └── MiniCPM-o-2_6

    ├── image_processing_minicpmv.py

    ├── configuration_minicpm.py

    ├── modeling_minicpmo.py

    └── 其他模型文件…

    “`

  • 模型文件结构
  • 确保所有必要的文件都在模型目录中
  • 不要修改文件结构和文件名

  • 注意在ComfyUI 的 Python 安装依赖

    • Contact Me

  • X (Twitter): @cychenyue
  • TikTok: @cychenyue
  • YouTube: @CY-CHENYUE
  • BiliBili: @CY-CHENYUE
  • 小红书: @CY-CHENYUE