RT-DETRv4 + TensorRT 10.14.1.48 on RTX 5080 causes severe accuracy degradation

[sam70310]

RTX 5080 + TensorRT 10.14.1.48 + RT-DETRv4 精度問題

環境資訊

• GPU: NVIDIA GeForce RTX 5080 (Ada Lovelace 架構)
• CUDA 版本: 12.9
• TensorRT 版本: 10.14.1.48.post1
• 驅動版本: 580.119.02

問題描述

RT-DETRv4 模型在 RTX 5080 上使用 TensorRT 轉換後，輸出分數嚴重下降：

• ONNX 正常輸出: 9個高分 (>0.5), 無極低分 (<0.02)
• TensorRT 錯誤輸出: 0個高分, 167~206個極低分 (<0.02)

其他資訊

1. 架構相關性: 問題只在 RTX 50 系列架構上出現，在RTX 40 系列上的engine模型表現正常
2. FP32/FP16 無關: 即使強制 FP32 仍存在精度下降
3. 層融合無關: 禁用所有層融合優化後問題依然存在
4. ONNX 模型正常: ONNX Runtime 推理完全正確

重現步驟

使用Tools依照MD說明構建engine模型

1. 下載Performance中提供的Checkpoint
2. python tools/deployment/export_onnx.py --check -c configs/rtv4/rtv4_hgnetv2_${model}_coco.yml -r model.pth
3. trtexec --onnx="model.onnx" --saveEngine="model.engine" --fp16

[sam70310]

我已經解決了這個問題，這個問題只在RTX50系列的顯示卡上發生。主要的解決方法是在 TensorRT 導出過程中，將 Optimization Level 調低，並正確設定 Optimization Profile 以處理動態形狀 (Dynamic Shapes)。在某些環境下，過高的優化等級會導致精度問題或匯出失敗，將其設為 0 可以獲得最穩定的結果。

以下是經過整理的代碼範例與重點說明：

import tensorrt as trt

def build_engine(onnx_file_path, engine_file_path, fp16=False):
    TRT_LOGGER = trt.Logger(trt.Logger.INFO)
    builder = trt.Builder(TRT_LOGGER)
    
    # 建立網路定義，必須開啟 EXPLICIT_BATCH
    network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
    parser = trt.OnnxParser(network, TRT_LOGGER)
    config = builder.create_builder_config()

    # ========================================================
    # 重點 1: 調整優化等級 (Optimization Level)
    # 高優化等級在 RT-DETR 上可能導致精度大幅下降或匯出錯誤
    # 將其設為 0 以確保導出的穩定性
    # ========================================================
    if hasattr(config, "builder_optimization_level"):
        config.builder_optimization_level = 0 

    # ========================================================
    # 重點 2: 設定動態形狀的 Optimization Profile
    # 當 ONNX 輸入包含 -1 (Dynamic Shape) 時，必須明確定義範圍
    # ========================================================
    profile = builder.create_optimization_profile()
    
    for i in range(network.num_inputs):
        input_tensor = network.get_input(i)
        name = input_tensor.name
        shape = input_tensor.shape
        
        # 處理動態維度 (將 -1 替換為實際範圍)
        # min: 最小形狀, opt: 最常用形狀(優化目標), max: 最大形狀
        min_shape = [d if d != -1 else 1 for d in shape]
        opt_shape = [d if d != -1 else 1 for d in shape]
        max_shape = [d if d != -1 else 32 for d in shape] # 假設最大 Batch 為 32
        
        profile.set_shape(name, min_shape, opt_shape, max_shape)
    
    config.add_optimization_profile(profile)