ComfyUI_VVL_VideoCamera_Advanced

ComfyUI_VVL_VideoCamera_Advanced
★ 6

视频相机参数估计VGGT模型模型加载
基于VGGT模型的专业视频相机参数估计工具集，提供模型加载与推理接口，便于在ComfyUI中自动识别并复用摄像机参数。
💡 在ComfyUI流程中自动估计视频帧的相机参数用于后处理。
🍴 2 Forks💻 Python🔄 2025-06-23
📦
网盘下载
复制链接后前往夸克网盘下载
https://pan.quark.cn/s/f414772aa5c3
📦 requirements.txt
torch==2.3.1
torchvision==0.18.1
numpy==1.26.1
Pillow
huggingface_hub
einops
safetensors
pydantic==2.10.6
📄 README

ComfyUI VVL Video Camera Advanced

专业的视频相机参数估计工具集，基于 VGGT 模型。

节点说明

1. VVL VGGT Model Loader

独立的模型加载器，从 ComfyUI/models/vggt/ 目录加载模型。

输入:

  • device: 设备选择 (auto/cuda/cpu)
  • vggt_model: 模型版本 (VGGT-1B)

    • 输出:

  • vggt_model: 模型实例

    • 2. VVL VGGT Video Camera Estimator

    视频相机参数估计节点。

    输入:

  • vggt_model: 来自模型加载器的模型实例
  • video: 视频文件或对象
  • frame_interval: 帧间隔 (默认5)
  • max_frames: 最大帧数 (默认60)

    • 输出:

  • intrinsics_json: 相机内参 (JSON)
  • trajectory_preview: 轨迹可视化图像
  • poses_json: 相机外参和位置 (JSON)

    • 模型目录

    模型会从以下目录自动加载：

    ComfyUI/models/vggt/
├── vggt_1b.pt    # VGGT-1B 模型文件

    如果本地没有模型文件，会自动从 HuggingFace 下载。

    使用流程

  • 添加 VVL VGGT Model Loader 节点
  • 添加 VVL VGGT Video Camera Estimator 节点
  • 连接模型加载器输出到估计器的 vggt_model 输入
  • 连接视频源到 video 输入
  • 运行获得相机参数和轨迹可视化

    • 技术特性

  • 模块化设计: 独立的模型加载和处理节点
  • 智能缓存: 避免重复加载模型
  • 多设备支持: 自动选择最优设备
  • 精度适配: 根据硬件自动调整数据类型
  • 3D可视化: 多视角轨迹预览