comfyui-liveportrait

comfyui-liveportrait
★ 474

人脸驱动多人脸支持实时动画ComfyUI整合
comfyui-liveportrait 是 LivePortrait 的 ComfyUI 移植节点,基于人脸关键点驱动面部动画,支持多人脸并为不同人脸指定不同动画,便于在 ComfyUI 中生成动态头像与动画序列。
💡 在 ComfyUI 中为多人物像生成独立面部动画。
🍴 41 Forks💻 Python🔄 2024-09-01
📦
网盘下载
复制链接后前往夸克网盘下载
https://pan.quark.cn/s/51137d50651f
📦 requirements.txt
--extra-index-url
https://download.pytorch.org/whl/cu118
torch==2.3.0
torchvision==0.18.0
torchaudio==2.3.0
numpy==1.26.4
pyyaml==6.0.1
opencv-python==4.10.0.84
scipy==1.13.1
imageio==2.34.2
lmdb==1.4.1
tqdm==4.66.4
timm==1.0.7
rich==13.7.1
ffmpeg==1.4
onnxruntime-gpu==1.18.0
onnx==1.16.1
scikit-image==0.24.0
albumentations==1.4.10
matplotlib==3.9.0
imageio-ffmpeg==0.5.1
tyro==0.8.5
alt text
alt text
image
alt text
alt text
alt text
📄 README

LivePortrait的Comfyui版本。

!! 支持多人脸 、不同的脸 指定不同的动画

寻求帮助 Mixlab nodes discord

推荐:mixlab-nodes

更新

expression_editor:

示例工作流

表情代码:修改自ComfyUI-AdvancedLivePortrait

face crop 模型参考comfyui-ultralytics-yolo

下载 face_yolov8m.pt 或者 face_yolov8n.pt 到 “models/ultralytics/bbox/

ExpressionVideoNode:

可以创建2个表情之间的插值动画了!

教程

[](https://www.bilibili.com/video/BV1JW421R7sP/?buvid=ZE4865E83C2A9F8547C08310ED8406E72D1B&is_story_h5=false&mid=hSf%2B8X%2BJL2Hq%2F3zyc4No3A%3D%3D&p=1&plat_id=116&share_from=ugc&share_medium=iphone&share_plat=ios&share_session_id=B4772702-1A00-4E2D-8993-4725A2F52BB1&share_source=WEIXIN&share_tag=s_i&spmid=united.player-video-detail.0.0&timestamp=1720927658&unique_k=LAUWKu1&up_id=43149384&vd_source=6b8c7c3af882b1b8460fa6fa0ce1c69d)

workflow

配合 comfyui-mixlab-nodes 使用

支持视频模式 video-to-video

全家福

[](example/mul-workflow.json)

不同脸对应不同的驱动视频 Workflow JSON

[](example/全家福模式-workflow.json)

全家福 Workflow JSON

[](example/live_workflow.json)

Workflow JSON

AppInfo workflow JSON

Nodes

Live Portrait,用于生成动态肖像。

输入参数:

source_image:输入一张静态图像,作为生成动态肖像的基础。

driving_video:输入一个驱动视频,决定动态肖像的动作和表情变化。

crop_info:输入人脸裁剪信息,用于指定人脸的裁剪区域。

输出:

video:输出生成的动态肖像视频。

video_concat:输出与驱动视频合成后的动态肖像视频(如果有的话)。

Face Crop Info,用于提取图像中的人脸裁剪信息。

可调参数:

face_sorting_direction:设置人脸排序方向,可选值为 “left-right”(从左到右)或 “large-small”(从大到小)。用于在图像中包含多张人脸时,确定哪张人脸优先处理。

face_index:指定要处理的人脸索引,默认值为 -1,表示处理所有检测到的人脸。可以设置为特定的索引值以选择特定的人脸。

debug:开启或关闭调试模式。设置为 true 时,会输出调试图像以便查看人脸检测和裁剪区域;设置为 false 时,不输出调试图像。

Retargeting 可开关eye lip是否驱动

models

google drive

百度

放置到

python环境依赖

打包好的环境

如果安装了 comfyui-mixlab-nodes ,是不需要再安装新的依赖的。

相关插件推荐

Comfyui-ChatTTS

comfyui-sound-lab

comfyui-Image-reward

comfyui-ultralytics-yolo

comfyui-moondream