能否写个最小版的视频生成的推理代码

[makao007]

很感谢开源这个项目，很想跑一下这个项目，但是显存不够。
我尝试修改代码，但目前的推理代码有点复杂，有的地方没看懂，修改失败。

为了节省显存，我的思路是，用到模型才加载，用完就卸载模型。

步骤：

1. 加载text_encoder ， prompt -> text_embeddings_cond, 卸载 text_encoder
2. 加载模型transformer, text_embeddings_cond -> latent , 卸载 transformer
3. 加载 audio vae, 解码 audio latent, 卸载 audio vae ;
4. 加载 video vae, 解码 video latent， 卸载 video vae;
5. 合并视频音频信息，生成视频。

---

我改不出来，可以提供这样的推理脚本吗？

[makao007]

下面是AI写的代码：

import os
import torch
import gc
from pe_src.models import (
    load_text_encoder, 
    load_transformer, 
    load_audio_vae, 
    load_video_vae
)
# 注意：根据 NAVA 官方的具体封装，保存音视频的工具通常在 utils 或 copy 自 LTX-Video / Diffusers
from pe_src.utils.video_audio_utils import save_combined_video_audio 

def clear_memory():
    """强制垃圾回收并清空 PyTorch 的显存缓存"""
    gc.collect()
    torch.cuda.empty_cache()

def main():
    # 配置参数
    model_ckpt_path = "./NAVA.ckpt"  # 你的权重路径
    config_path = "configs/baseline_t2av_demo_mmdit_no_split_ltx_control_unipc.yaml"
    prompt = "A modern kitchen with a boiling pot on the stove, sizzling sound."
    device = "cuda" if torch.cuda.is_available() else "cpu"
    
    output_video_path = "./output_visual.mp4"
    output_audio_path = "./output_audio.wav"
    final_output_path = "./final_output.mp4"

    # ==========================================
    # 步骤 1: 加载 Text Encoder -> 编码文本 -> 卸载
    # ==========================================
    print(">>> 正在加载 Text Encoder...")
    text_encoder = load_text_encoder(config_path, checkpoint=model_ckpt_path)
    text_encoder.to(device)
    text_encoder.eval()
    
    print(">>> 正在提取文本 Embedding...")
    with torch.no_grad():
        # 根据 NAVA 实际接口传入 prompt，生成文本条件向量
        text_embeddings_cond = text_encoder.encode_prompt(prompt)
        
    print(">>> 正在卸载 Text Encoder 释放显存...")
    del text_encoder
    clear_memory()

    # ==========================================
    # 步骤 2: 加载 Transformer -> 采样 Latent -> 卸载
    # ==========================================
    print(">>> 正在加载 Transformer 核心模型...")
    transformer = load_transformer(config_path, checkpoint=model_ckpt_path)
    transformer.to(device)
    transformer.eval()
    
    print(">>> 正在通过 MMDiT 进行联合音视频 Latent 采样...")
    with torch.no_grad():
        # 执行去噪采样，NAVA 核心会同步输出视频 Latent 和音频 Latent
        # 实际 API 可能需要传入 steps, height, width, frames, fps 等
        video_latent, audio_latent = transformer.sample(
            text_embeddings_cond=text_embeddings_cond,
            height=704,
            width=1280,
            frames=37,
            steps=50
        )
        
    print(">>> 正在卸载 Transformer 释放显存...")
    del transformer, text_embeddings_cond
    clear_memory()

    # ==========================================
    # 步骤 3: 加载 Audio VAE -> 解码音频 -> 卸载
    # ==========================================
    print(">>> 正在加载 Audio VAE...")
    audio_vae = load_audio_vae(config_path, checkpoint=model_ckpt_path)
    audio_vae.to(device)
    audio_vae.eval()
    
    print(">>> 正在解码音频 Latent...")
    with torch.no_grad():
        # 将潜变量解码为原始音频波形或频谱
        decoded_audio = audio_vae.decode(audio_latent)
        # 将音频保存至本地临时文件
        audio_vae.save_to_wav(decoded_audio, output_audio_path, sr=24000)
        
    print(">>> 正在卸载 Audio VAE 释放显存...")
    del audio_vae, audio_latent, decoded_audio
    clear_memory()

    # ==========================================
    # 步骤 4: 加载 Video VAE -> 解码视频 -> 卸载
    # ==========================================
    print(">>> 正在加载 Video VAE (通常为 LTX-Video VAE)...")
    video_vae = load_video_vae(config_path, checkpoint=model_ckpt_path)
    video_vae.to(device)
    video_vae.eval()
    
    print(">>> 正在解码视频 Latent...")
    with torch.no_grad():
        # 将潜变量解码为视频帧像素
        decoded_video = video_vae.decode(video_latent)
        # 将视频保存至本地临时文件 (不带声音)
        video_vae.save_to_mp4(decoded_video, output_video_path, fps=24)
        
    print(">>> 正在卸载 Video VAE 释放显存...")
    del video_vae, video_latent, decoded_video
    clear_memory()

    # ==========================================
    # 步骤 5: 合并视频和音频文件 (CPU/FFmpeg 级操作)
    # ==========================================
    print(">>> 正在合并音轨与画轨，生成最终对齐视频...")
    if os.path.exists(output_video_path) and os.path.exists(output_audio_path):
        save_combined_video_audio(
            video_path=output_video_path,
            audio_path=output_audio_path,
            output_path=final_output_path
        )
        # 清理临时文件
        os.remove(output_video_path)
        os.remove(output_audio_path)
        print(f">>> 成功！最终视频已保存至: {final_output_path}")
    else:
        print("错误：未找到生成的临时音视频文件，合并失败。")

if __name__ == "__main__":
    main()

[robingg1]

你现在有多少显存呢 scripts/inference_fp8.sh 目前最小可以通过offload和fp8支持20g以下的推理 这个应该能适配常用的显存配置

[makao007]

一次性将vae, text_encoder, transformer 模型全部加载进去没有必要。

[robingg1]

可以分享下你的显卡配置吗，我这边可以尝试看怎么适配。 现在已经开启了t5 offload等配置，显存的峰值并不会因为一开始全部加载有大的变化。