paddle OCR V6 GPU识别异常

[HopeLi90]

你好，在使用paddle OCR V6模型，显卡nvidia geoforce gtx 1650 ti启用gpu功能，代码如下所示，let ort_config = OrtSessionConfig::new()
.with_parallel_execution(true)
.with_memory_pattern(true)
.with_inter_threads(16)
.with_intra_threads(16)
.with_optimization_level(oar_ocr::core::config::OrtGraphOptimizationLevel::All)
.with_execution_providers(vec![
OrtExecutionProvider::CUDA {
device_id: Some(1),
gpu_mem_limit: None,
arena_extend_strategy: None,
cudnn_conv_algo_search: None,
cudnn_conv_use_max_workspace: None
},
OrtExecutionProvider::DirectML{
device_id: Some(1)
},
OrtExecutionProvider::CPU, // Fallback
]) ;
程序可顺利通过编译，在运行代码时，前期几个识别任务执行没有问题(GPU按预期运行)，过一会儿，程序执行就报错了，提示以下错误：
adapter execution failed: TextDetectionAdapter: failed to detect text (score_threshold=0.3, box_threshold=0.6, unclip_ratio=2)，我排查了代码，没有发现问题，请问该如何修复该问题呢

[GreatV]

你好，这个场景建议先把执行提供器配置简化。CUDA 的 device_id 与 DirectML 的适配器编号不是同一套编号；如果机器只有一块 NVIDIA 显卡，CUDA 通常应使用 device_id: Some(0)。另外，CUDA 后面配置 DirectML 并不能在 CUDA 运行中失败时自动接管，而 DirectML 也不支持 parallel execution / memory pattern 这组配置。

GTX 1650 Ti 只有 4GB 显存，可以先使用单一 CUDA + CPU，并限制 CUDA arena 和 cuDNN workspace 的显存压力：

let ort_config = OrtSessionConfig::new()
    .with_optimization_level(
        oar_ocr::core::config::OrtGraphOptimizationLevel::All,
    )
    .with_execution_providers(vec![
        OrtExecutionProvider::CUDA {
            device_id: Some(0),
            gpu_mem_limit: None,
            arena_extend_strategy: Some(SameAsRequested.into()),
            cudnn_conv_algo_search: None,
            cudnn_conv_use_max_workspace: Some(false),
        },
        OrtExecutionProvider::CPU,
    ]);

先不要设置以下选项：

.with_parallel_execution(true)
.with_memory_pattern(true)
.with_inter_threads(16)

如果仍然出现同样问题，建议再依次尝试：

1. 减小单次传入的图片数量，避免多个 OCR 实例并发占用显存；
2. 对分辨率特别大的图片先按长边等比缩小；
3. 运行时使用 nvidia-smi -l 1 观察显存是否持续接近 4GB；
4. 用 nvidia-smi -L 确认 CUDA 设备编号；只有确实存在第二块 NVIDIA GPU 时才使用 device_id: Some(1)。

其中 CPU 只会承接建图时 CUDA 不支持的算子，CUDA 推理过程中如果发生显存不足，不会自动切换到 CPU，因此仍需通过上述方式降低显存峰值。

[GreatV]

补充一个适用于 4GB 显存的 workaround：除了上面的 ORT 配置外，建议显式限制 OCR pipeline 内部批次，尤其是文本区域识别批次：

let ocr = OAROCRBuilder::new(det_model, rec_model, dict_path)
    .ort_session(ort_config)
    .image_batch_size(1)
    .region_batch_size(4)
    .build()?;

建议先固定使用 image_batch_size(1) 和 region_batch_size(4)。确认连续任务稳定后，如果需要提高吞吐量，可以再逐步把 region_batch_size 调到 8；4GB 显卡不建议直接使用较大的默认识别批次。单次 predict 也尽量逐张传入图片，并避免多个 OCR 实例并发运行。

上述 1/4 配置已使用 PP-OCRv6 Medium 做过连续 20 次任务测试，全部正常完成，测试环境中的显存峰值约为 2GB。

[HopeLi90]

好的，非常感谢🙏🏻，我这边再试试！我这边运行只能通过OrtExecutionProvider::DirectML{
device_id: Some(1)
}配置，实现gpu调用,每次识别一个图片，识别稳定性出错时机也不同，有时识别几十张图片就出错了，有时识别几百张图片就出现如上反馈的问题！