vvzc/seedvr2-ncnn-models

SeedVR2-3B ncnn 权重（fp16）

SeedVR2 3B 一步视频修复（超分 / 去噪 / 去压缩）模型的 ncnn 推理权重（fp16），配套纯 C++ 推理项目 seedvr2-ncnn-vulkan 使用——无需 PyTorch，任何支持 Vulkan 的显卡上即可运行。

文件清单

├── dit_full_fp16/                          # 3B DiT（约 6.4GB）
│   ├── seedvr2_dit_block_00~31.ncnn.param  # 32 个 Transformer block
│   ├── seedvr2_dit_block_00~31.ncnn.bin
│   ├── seedvr2_dit_input.ncnn.param/bin    # 输入投影头
│   ├── seedvr2_dit_output.ncnn.param/bin   # 输出投影头
│   ├── manifest.json                       # 导出元信息
│   └── SHA256SUMS                          # 校验
├── vae_dynamic/                            # VAE（约 1GB）
│   ├── seedvr2_vae_encoder_dynamic.ncnn.param/bin
│   ├── seedvr2_vae_decoder_dynamic.ncnn.param/bin
│   └── SHA256SUMS
├── default_pos_emb.bin                     # 官方默认正文本条件 [58, 5120] fp32
└── default_neg_emb.bin                     # 官方默认负文本条件 [64, 5120] fp32

全部权重为动态尺寸导出（不限定分辨率/帧数），帧数需满足 (T-1) % 4 == 0。

使用

推荐直接用配套项目的一键脚本：

git clone --recursive https://github.com/vvzc/seedvr2-ncnn-vulkan.git
cd seedvr2-ncnn-vulkan
./build.sh
./download-models.sh        # 自动从本仓库下载并组装 models/
./build/seedvr2-ncnn-vulkan -i input.mp4 -o output.mp4

手动下载单个文件：

curl -L -O https://huggingface.co/vvzc/seedvr2-ncnn-models/resolve/main/dit_full_fp16/seedvr2_dit_block_00.ncnn.bin
# 国内加速：把 huggingface.co 换成 hf-mirror.com

或用 CLI 整仓下载：

pip install -U huggingface_hub
hf download vvzc/seedvr2-ncnn-models --local-dir models

转换说明

• 由官方 fp32 检查点（seedvr2_ema_3b.pth / ema_vae.pth）经 pnnx 转换、 fp16 量化导出，转换脚本见配套项目的 tools/。
• 数值对齐：6 个自定义 Vulkan 算子 + 分层端到端共 30 个用例与 PyTorch 参考实现 全部 PASS（max abs err ≤ 2e-5）。
• 默认文本 embedding 由官方 pos_emb.pt / neg_emb.pt 转为 fp32，供推理时 不输入 prompt 直接使用。

性能参考

RTX PRO 6000（64×64×5 帧，1 step）：DiT 流式加载 ~22s/步，--resident 常驻模式 ~0.33s/步（66×）。详见配套项目 README。

致谢与许可

• 模型：ByteDance-Seed/SeedVR2（Apache-2.0）
• 推理框架：Tencent/ncnn
• 本仓库权重遵循上游 Apache-2.0 许可