简介目标检测在工业视觉、安防监控等领域应用广泛但训练环境通常基于PyTorch而实际生产系统常用C#开发。ONNX Runtime作为跨平台推理引擎能够在C#中无Python依赖地部署YoloV8模型并通过CUDA加速实现实时视频检测。其原理是将YoloV8导出的ONNX格式模型加载到推理会话中配合OpenCvSharp完成视频解码、图像预处理与检测框绘制。这项技术的价值在于绕开Python解释器契合Windows桌面、上位机和工控系统的部署约束大幅降低集成复杂度。典型应用场景包括上位机视觉检测、安防监控、工业质检等。本文以完整GPU版Demo为线索从环境版本匹配、代码结构、推理链路到常见坑点逐层拆解帮助C#开发者快速搭建可扩展的实时目标检测工程雏形。 最近把C#侧的YoloV8部署方案完整整理了一遍做了一个基于OnnxRuntime的视频检测DemoGPU版本源码和依赖环境一起打包。这份资料解决的核心问题是你的业务系统是C#写的比如上位机、桌面工具、工控软件但目标检测模型是YoloV8训练的怎么在不引入Python环境的前提下在C#里把模型跑起来而且还要达到实时检测的帧率。对于做C#视觉开发、上位机集成、安防监控、工业质检的朋友来说这个Demo可以当一个工程雏形拿过来改改模型路径、输入输出尺寸就能接进自己的项目。因为它走的是ONNX Runtime这条标准路线模型可以是YoloV8官方导出的也可以是别人训练好的自定义模型。这篇文章会把整个Demo从环境准备、代码结构、推理链路到坑点排查全部拆开讲算是给后来的人铺一层地板。1. 项目定位这套Demo解决的不只是“跑通模型”1.1 技术选型为什么是C# YoloV8 OnnxRuntime GPU先说选型逻辑。现在目标检测领域最常用的训练框架是PyTorchYoloV8也主要集中在Python生态里。但实际部署环境往往和训练环境完全是两回事。大量桌面视觉软件、上位机控制系统、实验室检测工具是用C#开发的尤其是WinForm和WPF这类系统要么不方便装Python运行时要么客户现场对软件环境有严格管控不允许塞一堆解释器依赖进来。这时候就得找一条不需要Python、不需要PyTorch的推理路径。C#调用深度学习模型主流方案有两个方向一是通过ML.NET的Image Classification等高层API方便但灵活性差复杂模型根本没法接二是直接用OnnxRuntime这个原生推理库它提供了完整的.NET绑定加载ONNX格式模型可以配置CUDA、TensorRT等硬件加速后端。OnnxRuntime是微软自己在用、也在持续维护的引擎在Windows平台和.NET生态里的亲和度非常高一个NuGet包就能引入。模型本身选择YoloV8是因为它在速度和精度之间的平衡是目前目标检测里最成熟的之一。而且Ultralytics官方直接支持把训练好的模型导出为ONNX格式一条命令搞定导出来的模型可以直接被OnnxRuntime加载不需要额外写算子或转换脚本。GPU加速则是因为视频检测是连续的逐帧推理CPU推理单帧可能就要一两百毫秒做实时监控根本扛不住。打个比方CPU推理像是背着麻袋送货GPU是一辆卡车视频这种源源不断的货只有卡车才拉得动。1.2 这个Demo能做什么后续能长成什么样子Demo本身的功能范围不算复杂读取一段视频文件或本地摄像头画面对每一帧执行YoloV8目标检测在画面上绘制出检测框、类别标签和置信度同时在左上角实时显示处理帧率。如果接入的是现场摄像头那基本就是一个迷你版AI视频分析工具的样子了。但工程的价值从来不在表面功能而在它能延展出来的形态。拿这条链路来说往界面方向走可以把Mat转成Bitmap绑定到WPF或WinForm的Image控件上就能做出带检测画面的桌面软件往业务方向走可以把检测结果序列化成JSON或写入数据库作为质检记录或安防告警的依据往规模方向走可以做多路视频并发每个摄像头开一个推理线程或者用OnnxRuntime的批处理能力一次喂多帧图像。这个Demo本质上就是给你一张骨架所有上层业务都可以顺着这条链路长出来。2. 环境准备先把GPU这条链路打通2.1 先搞清楚显卡驱动和CUDA的版本关系拿到一个“GPU版本”的Demo很多人第一步会去装最新的CUDA Toolkit然后发现OnnxRuntime加载报错或者是CUDA Provider初始化失败。这个坑八成出在版本匹配上。OnnxRuntime.Gpu这个NuGet包每个版本都绑定了特定的CUDA和cuDNN版本不是随便装一个就能用。先简单解释一下CUDA的层级关系。NVIDIA显卡驱动有版本号驱动内部带了一个“最高支持CUDA版本”。打开命令行执行nvidia-smi右上角能看到Driver Version和CUDA Version注意这个CUDA Version表示驱动能支持到什么版本并不代表机器已经装了CUDA Toolkit。跑OnnxRuntime的GPU推理需要的是CUDA运行时库和cuDNN库它们可以被NuGet包或手动安装的Toolkit提供。以项目里常用的组合为例如果你引用的是Microsoft.ML.OnnxRuntime.Gpu 1.16.x官方要求的是CUDA 11.8和cuDNN 8.7如果上到1.18.xCUDA版本要求就变成12.x了。我在项目里习惯的做法是先确定要用的OnnxRuntime.Gpu版本然后到它的官方发布说明里查对应CUDA/cuDNN版本再照着装。千万不要装个最新的CUDA 12.6就想通吃所有OnnxRuntime版本实际运行时会直接给你甩一句“Failed to load library onnxruntime_providers_cuda.dll”。2.2 NuGet依赖与工程配置清单C#工程里需要引用的包主要有两个Microsoft.ML.OnnxRuntime.Gpu和OpenCvSharp4。前者负责模型推理后者负责视频解码、图像预处理和画框。OpenCvSharp这边建议直接引用OpenCvSharp4和OpenCvSharp4.runtime.win两个包前者是托管API后者是Windows原生DLL缺了后者运行时会报“无法加载DLL”。目标框架建议用.NET 6或.NET 8项目平台目标设置为x64。OnnxRuntime.Gpu本身只有64位版本OpenCvSharp的native库也以x64为主如果工程默认AnyCPU在部分机器上会以x86方式启动然后直接崩掉。这一点在csproj文件里可以直接设死PropertyGroup OutputTypeExe/OutputType TargetFrameworknet8.0/TargetFramework PlatformTargetx64/PlatformTarget Platformsx64/Platforms /PropertyGroup除了这两个核心包还可以带上System.Drawing.Common用于后续把Mat转Bitmap但Demo主流程不依赖它。参考包版本OpenCvSharp4 4.8.0.20230708以上、OnnxRuntime.Gpu 1.16.3以上具体版本可以根据你的CUDA环境微调。2.3 源码包里“带环境”到底带了哪些东西标题里写了“源码带环境”这个是很多人最关心的部分。一个GPU视频检测Demo要能双击跑起来依赖的东西其实不止NuGet包还包含native层的DLL文件、模型文件和运行库。我打包时会把这几类放进去ONNX模型文件默认是yolov8n.onnx也会放一个训练好的自定义模型示例OnnxRuntime的native DLL包括onnxruntime.dll、onnxruntime_providers_cuda.dll、onnxruntime_providers_shared.dll等这些在NuGet包目录下的runtimes/win-x64/native里能找齐OpenCvSharp的native DLL通常是一个名为OpenCvSharpExtern.dll的文件Visual C运行库说明文件或者直接附带vc_redist.x64.exe安装包因为OpenCvSharp和OnnxRuntime的native层依赖VC运行库一段测试用的短视频或几张示例图片方便验证整条链路是否正常。这里需要区分两类环境一类是软件运行时环境比如CUDA Toolkit和cuDNN这些体积大、涉及系统全局配置通常不能只靠拷贝DLL解决另一类是工程自带的依赖库也就是上面列的这些DLL它们可以随源码一起分发拷贝到输出目录就能用。Demo里“带环境”主要指后者能让开发者在拿到源码后减少大半配置时间但CUDA/cuDNN还是需要按版本要求另行安装。3. 核心代码实现从视频帧到检测框的完整链路3.1 视频读取文件、摄像头和RTSP流视频检测的第一步是把视频帧读出来。这里用的是OpenCvSharp的VideoCapture它既能打开本地文件也能打开摄像头索引还能接RTSP流。using OpenCvSharp; string videoPath test.mp4; using var capture new VideoCapture(videoPath); if (!capture.IsOpened()) { Console.WriteLine(视频打开失败); return; } Mat frame new Mat(); while (capture.Read(frame)) { // frame 就是当前帧BGR格式 // 在这里执行推理和绘制 }如果接的是USB摄像头把videoPath换成摄像头索引比如0、1。如果需要设置摄像头属性可以用capture.Set方法例如设置分辨率capture.Set(VideoCaptureProperties.FrameWidth, 1280); capture.Set(VideoCaptureProperties.FrameHeight, 720); capture.Set(VideoCaptureProperties.Fps, 30);这里有一个小坑OpenCvSharp的VideoCapture在读取RTSP流时默认缓冲区较大画面延迟会比较高。如果做摄像头实时检测建议把BufferSize设置为1并且设置连接超时时间避免断线后卡死capture.Set(VideoCaptureProperties.BufferSize, 1); capture.Set(VideoCaptureProperties.OpenTimeoutMsec, 3000);实测下来这个配置对局域网内的RTSP流延迟改善非常明显画面能接近实时。如果你的场景是监控大华或海康的摄像头这行代码值得直接抄进项目里。3.2 推理会话启用CUDA加速的正确姿势模型推理的核心对象是InferenceSession它负责加载ONNX模型并执行计算。GPU加速的关键在于SessionOptions上挂载CUDA Execution Provider。using Microsoft.ML.OnnxRuntime; var sessionOptions new SessionOptions(); sessionOptions.AppendExecutionProvider_CUDA(0); sessionOptions.GraphOptimizationLevel GraphOptimizationLevel.ORT_ENABLE_ALL; using var session new InferenceSession(yolov8n.onnx, sessionOptions);这里AppendExecutionProvider_CUDA(0)的参数0表示使用第0号显卡。GraphOptimizationLevel.ORT_ENABLE_ALL是开启所有图优化这个能白赚一些性能。不过直接这么写有个隐患如果运行机器上没有符合要求的NVIDIA GPU程序在创建Session的时候就会抛异常。在Demo里我建议做一个降级策略CUDA初始化失败时回退到CPU推理这样代码在核显笔记本上也能跑只是帧率低一些var sessionOptions new SessionOptions(); bool useGpu false; try { sessionOptions.AppendExecutionProvider_CUDA(0); useGpu true; } catch { Console.WriteLine(CUDA不可用回退到CPU推理); sessionOptions.AppendExecutionProvider_CPU(); } sessionOptions.GraphOptimizationLevel GraphOptimizationLevel.ORT_ENABLE_ALL; using var session new InferenceSession(yolov8n.onnx, sessionOptions);另外推理的输入节点名称不一定要写死成“images”。可以通过session.InputMetadata动态获取这样即使模型是用别的工具导出的输入名称不同也能跑string inputName session.InputMetadata.Keys.First(); Console.WriteLine($模型输入名称: {inputName});3.3 图像预处理Letterbox和归一化不能省YoloV8的ONNX模型输入尺寸固定常见的是640×640或416×416通道顺序是RGB归一化范围是0到1。直接把原始视频帧塞进去肯定会报维度错误。这里最关键的预处理叫做Letterbox。Letterbox的意思是把原始图像按比例缩放到目标尺寸剩余区域用灰色填充而不是直接拉伸。直接拉伸会让图像里的物体变形检测精度会明显下降。填充灰色常用值是114是训练时的默认设置推理阶段也必须保持一致。const int inputSize 640; int originalWidth frame.Width; int originalHeight frame.Height; float scale Math.Min((float)inputSize / originalWidth, (float)inputSize / originalHeight); int newWidth (int)(originalWidth * scale); int newHeight (int)(originalHeight * scale); int padX (inputSize - newWidth) / 2; int padY (inputSize - newHeight) / 2; using var resized new Mat(); Cv2.Resize(frame, resized, new Size(newWidth, newHeight)); using Mat canvas new Mat(inputSize, inputSize, MatType.CV_8UC3, new Scalar(114, 114, 114)); resized.CopyTo(canvas[new Rect(padX, padY, newWidth, newHeight)]);下一步是把图像从BGR转为RGB、归一化到0-1、再从HWC布局转成模型要求的NCHW布局最后放进DenseTensor。using Microsoft.ML.OnnxRuntime.Tensors; var inputTensor new DenseTensorfloat(new[] { 1, 3, inputSize, inputSize }); for (int y 0; y inputSize; y) { for (int x 0; x inputSize; x) { Vec3b pixel canvas.AtVec3b(y, x); inputTensor[0, 0, y, x] pixel.Item2 / 255f; // R通道 inputTensor[0, 1, y, x] pixel.Item1 / 255f; // G通道 inputTensor[0, 2, y, x] pixel.Item0 / 255f; // B通道 } }这段双层循环虽然直观但逐像素调用AtVec3b在性能上不是最优解。如果你的视频分辨率高、要求帧率严格可以考虑用Marshal.Copy直接把Mat的像素数据拷到数组再填充到Tensor这个优化在第4章还会提。3.4 推理输出解析从张量到检测框YoloV8导出的ONNX模型输出格式需要特别留意因为不同导出方式对应完全不同的后处理逻辑。最常见的官方导出格式输出张量维度是[1, 84, 8400]含义是1个batch84维4个坐标值 80个类别分数8400个候选框。注意这种格式的模型不包含NMS非极大值抑制模块需要我们自己解析。using var results session.Run(new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(inputName, inputTensor) }); var output results.First().AsTensorfloat(); int classCount output.Dimensions[1] - 4; // 84 - 4 80 int numBoxes output.Dimensions[2]; // 8400解析逻辑对每个候选框先取出cx、cy、w、h这四个值是中心点坐标和宽高基于640×640输入尺寸然后遍历类别维度找到得分最高的类别如果得分低于置信度阈值就跳过最后把坐标映射回原始图像尺寸并转成左上角和右下角坐标。const float confidenceThreshold 0.25f; for (int i 0; i numBoxes; i) { float cx output[0, 0, i]; float cy output[0, 1, i]; float w output[0, 2, i]; float h output[0, 3, i]; float bestScore 0; int bestClass -1; for (int j 4; j output.Dimensions[1]; j) { float score output[0, j, i]; if (score bestScore) { bestScore score; bestClass j - 4; } } if (bestScore confidenceThreshold) continue; // 映射回原始图像坐标 float x1 (cx - w / 2f - padX) / scale; float y1 (cy - h / 2f - padY) / scale; float x2 (cx w / 2f - padX) / scale; float y2 (cy h / 2f - padY) / scale; }这里坐标还原公式里的padX、padY和scale正好对应前面Letterbox里的参数如果预处理用了别的填充方式映射公式也要同步改。解析完之后还需要做NMS过滤掉重叠的框。可以用OpenCvSharp的CvDnn.NMSBoxes如果你的OpenCvSharp版本带DNN模块的话var boxes detections.Select(d new Rect((int)d.X1, (int)d.Y1, (int)(d.X2 - d.X1), (int)(d.Y2 - d.Y1))).ToArray(); var scores detections.Select(d d.Score).ToArray(); CvDnn.NMSBoxes(boxes, scores, confidenceThreshold, 0.45f, out int[] indices);如果编译报本文还有配套的精品资源点击获取
C#实战：基于OnnxRuntime的YoloV8视频检测GPU部署方案
简介目标检测在工业视觉、安防监控等领域应用广泛但训练环境通常基于PyTorch而实际生产系统常用C#开发。ONNX Runtime作为跨平台推理引擎能够在C#中无Python依赖地部署YoloV8模型并通过CUDA加速实现实时视频检测。其原理是将YoloV8导出的ONNX格式模型加载到推理会话中配合OpenCvSharp完成视频解码、图像预处理与检测框绘制。这项技术的价值在于绕开Python解释器契合Windows桌面、上位机和工控系统的部署约束大幅降低集成复杂度。典型应用场景包括上位机视觉检测、安防监控、工业质检等。本文以完整GPU版Demo为线索从环境版本匹配、代码结构、推理链路到常见坑点逐层拆解帮助C#开发者快速搭建可扩展的实时目标检测工程雏形。 最近把C#侧的YoloV8部署方案完整整理了一遍做了一个基于OnnxRuntime的视频检测DemoGPU版本源码和依赖环境一起打包。这份资料解决的核心问题是你的业务系统是C#写的比如上位机、桌面工具、工控软件但目标检测模型是YoloV8训练的怎么在不引入Python环境的前提下在C#里把模型跑起来而且还要达到实时检测的帧率。对于做C#视觉开发、上位机集成、安防监控、工业质检的朋友来说这个Demo可以当一个工程雏形拿过来改改模型路径、输入输出尺寸就能接进自己的项目。因为它走的是ONNX Runtime这条标准路线模型可以是YoloV8官方导出的也可以是别人训练好的自定义模型。这篇文章会把整个Demo从环境准备、代码结构、推理链路到坑点排查全部拆开讲算是给后来的人铺一层地板。1. 项目定位这套Demo解决的不只是“跑通模型”1.1 技术选型为什么是C# YoloV8 OnnxRuntime GPU先说选型逻辑。现在目标检测领域最常用的训练框架是PyTorchYoloV8也主要集中在Python生态里。但实际部署环境往往和训练环境完全是两回事。大量桌面视觉软件、上位机控制系统、实验室检测工具是用C#开发的尤其是WinForm和WPF这类系统要么不方便装Python运行时要么客户现场对软件环境有严格管控不允许塞一堆解释器依赖进来。这时候就得找一条不需要Python、不需要PyTorch的推理路径。C#调用深度学习模型主流方案有两个方向一是通过ML.NET的Image Classification等高层API方便但灵活性差复杂模型根本没法接二是直接用OnnxRuntime这个原生推理库它提供了完整的.NET绑定加载ONNX格式模型可以配置CUDA、TensorRT等硬件加速后端。OnnxRuntime是微软自己在用、也在持续维护的引擎在Windows平台和.NET生态里的亲和度非常高一个NuGet包就能引入。模型本身选择YoloV8是因为它在速度和精度之间的平衡是目前目标检测里最成熟的之一。而且Ultralytics官方直接支持把训练好的模型导出为ONNX格式一条命令搞定导出来的模型可以直接被OnnxRuntime加载不需要额外写算子或转换脚本。GPU加速则是因为视频检测是连续的逐帧推理CPU推理单帧可能就要一两百毫秒做实时监控根本扛不住。打个比方CPU推理像是背着麻袋送货GPU是一辆卡车视频这种源源不断的货只有卡车才拉得动。1.2 这个Demo能做什么后续能长成什么样子Demo本身的功能范围不算复杂读取一段视频文件或本地摄像头画面对每一帧执行YoloV8目标检测在画面上绘制出检测框、类别标签和置信度同时在左上角实时显示处理帧率。如果接入的是现场摄像头那基本就是一个迷你版AI视频分析工具的样子了。但工程的价值从来不在表面功能而在它能延展出来的形态。拿这条链路来说往界面方向走可以把Mat转成Bitmap绑定到WPF或WinForm的Image控件上就能做出带检测画面的桌面软件往业务方向走可以把检测结果序列化成JSON或写入数据库作为质检记录或安防告警的依据往规模方向走可以做多路视频并发每个摄像头开一个推理线程或者用OnnxRuntime的批处理能力一次喂多帧图像。这个Demo本质上就是给你一张骨架所有上层业务都可以顺着这条链路长出来。2. 环境准备先把GPU这条链路打通2.1 先搞清楚显卡驱动和CUDA的版本关系拿到一个“GPU版本”的Demo很多人第一步会去装最新的CUDA Toolkit然后发现OnnxRuntime加载报错或者是CUDA Provider初始化失败。这个坑八成出在版本匹配上。OnnxRuntime.Gpu这个NuGet包每个版本都绑定了特定的CUDA和cuDNN版本不是随便装一个就能用。先简单解释一下CUDA的层级关系。NVIDIA显卡驱动有版本号驱动内部带了一个“最高支持CUDA版本”。打开命令行执行nvidia-smi右上角能看到Driver Version和CUDA Version注意这个CUDA Version表示驱动能支持到什么版本并不代表机器已经装了CUDA Toolkit。跑OnnxRuntime的GPU推理需要的是CUDA运行时库和cuDNN库它们可以被NuGet包或手动安装的Toolkit提供。以项目里常用的组合为例如果你引用的是Microsoft.ML.OnnxRuntime.Gpu 1.16.x官方要求的是CUDA 11.8和cuDNN 8.7如果上到1.18.xCUDA版本要求就变成12.x了。我在项目里习惯的做法是先确定要用的OnnxRuntime.Gpu版本然后到它的官方发布说明里查对应CUDA/cuDNN版本再照着装。千万不要装个最新的CUDA 12.6就想通吃所有OnnxRuntime版本实际运行时会直接给你甩一句“Failed to load library onnxruntime_providers_cuda.dll”。2.2 NuGet依赖与工程配置清单C#工程里需要引用的包主要有两个Microsoft.ML.OnnxRuntime.Gpu和OpenCvSharp4。前者负责模型推理后者负责视频解码、图像预处理和画框。OpenCvSharp这边建议直接引用OpenCvSharp4和OpenCvSharp4.runtime.win两个包前者是托管API后者是Windows原生DLL缺了后者运行时会报“无法加载DLL”。目标框架建议用.NET 6或.NET 8项目平台目标设置为x64。OnnxRuntime.Gpu本身只有64位版本OpenCvSharp的native库也以x64为主如果工程默认AnyCPU在部分机器上会以x86方式启动然后直接崩掉。这一点在csproj文件里可以直接设死PropertyGroup OutputTypeExe/OutputType TargetFrameworknet8.0/TargetFramework PlatformTargetx64/PlatformTarget Platformsx64/Platforms /PropertyGroup除了这两个核心包还可以带上System.Drawing.Common用于后续把Mat转Bitmap但Demo主流程不依赖它。参考包版本OpenCvSharp4 4.8.0.20230708以上、OnnxRuntime.Gpu 1.16.3以上具体版本可以根据你的CUDA环境微调。2.3 源码包里“带环境”到底带了哪些东西标题里写了“源码带环境”这个是很多人最关心的部分。一个GPU视频检测Demo要能双击跑起来依赖的东西其实不止NuGet包还包含native层的DLL文件、模型文件和运行库。我打包时会把这几类放进去ONNX模型文件默认是yolov8n.onnx也会放一个训练好的自定义模型示例OnnxRuntime的native DLL包括onnxruntime.dll、onnxruntime_providers_cuda.dll、onnxruntime_providers_shared.dll等这些在NuGet包目录下的runtimes/win-x64/native里能找齐OpenCvSharp的native DLL通常是一个名为OpenCvSharpExtern.dll的文件Visual C运行库说明文件或者直接附带vc_redist.x64.exe安装包因为OpenCvSharp和OnnxRuntime的native层依赖VC运行库一段测试用的短视频或几张示例图片方便验证整条链路是否正常。这里需要区分两类环境一类是软件运行时环境比如CUDA Toolkit和cuDNN这些体积大、涉及系统全局配置通常不能只靠拷贝DLL解决另一类是工程自带的依赖库也就是上面列的这些DLL它们可以随源码一起分发拷贝到输出目录就能用。Demo里“带环境”主要指后者能让开发者在拿到源码后减少大半配置时间但CUDA/cuDNN还是需要按版本要求另行安装。3. 核心代码实现从视频帧到检测框的完整链路3.1 视频读取文件、摄像头和RTSP流视频检测的第一步是把视频帧读出来。这里用的是OpenCvSharp的VideoCapture它既能打开本地文件也能打开摄像头索引还能接RTSP流。using OpenCvSharp; string videoPath test.mp4; using var capture new VideoCapture(videoPath); if (!capture.IsOpened()) { Console.WriteLine(视频打开失败); return; } Mat frame new Mat(); while (capture.Read(frame)) { // frame 就是当前帧BGR格式 // 在这里执行推理和绘制 }如果接的是USB摄像头把videoPath换成摄像头索引比如0、1。如果需要设置摄像头属性可以用capture.Set方法例如设置分辨率capture.Set(VideoCaptureProperties.FrameWidth, 1280); capture.Set(VideoCaptureProperties.FrameHeight, 720); capture.Set(VideoCaptureProperties.Fps, 30);这里有一个小坑OpenCvSharp的VideoCapture在读取RTSP流时默认缓冲区较大画面延迟会比较高。如果做摄像头实时检测建议把BufferSize设置为1并且设置连接超时时间避免断线后卡死capture.Set(VideoCaptureProperties.BufferSize, 1); capture.Set(VideoCaptureProperties.OpenTimeoutMsec, 3000);实测下来这个配置对局域网内的RTSP流延迟改善非常明显画面能接近实时。如果你的场景是监控大华或海康的摄像头这行代码值得直接抄进项目里。3.2 推理会话启用CUDA加速的正确姿势模型推理的核心对象是InferenceSession它负责加载ONNX模型并执行计算。GPU加速的关键在于SessionOptions上挂载CUDA Execution Provider。using Microsoft.ML.OnnxRuntime; var sessionOptions new SessionOptions(); sessionOptions.AppendExecutionProvider_CUDA(0); sessionOptions.GraphOptimizationLevel GraphOptimizationLevel.ORT_ENABLE_ALL; using var session new InferenceSession(yolov8n.onnx, sessionOptions);这里AppendExecutionProvider_CUDA(0)的参数0表示使用第0号显卡。GraphOptimizationLevel.ORT_ENABLE_ALL是开启所有图优化这个能白赚一些性能。不过直接这么写有个隐患如果运行机器上没有符合要求的NVIDIA GPU程序在创建Session的时候就会抛异常。在Demo里我建议做一个降级策略CUDA初始化失败时回退到CPU推理这样代码在核显笔记本上也能跑只是帧率低一些var sessionOptions new SessionOptions(); bool useGpu false; try { sessionOptions.AppendExecutionProvider_CUDA(0); useGpu true; } catch { Console.WriteLine(CUDA不可用回退到CPU推理); sessionOptions.AppendExecutionProvider_CPU(); } sessionOptions.GraphOptimizationLevel GraphOptimizationLevel.ORT_ENABLE_ALL; using var session new InferenceSession(yolov8n.onnx, sessionOptions);另外推理的输入节点名称不一定要写死成“images”。可以通过session.InputMetadata动态获取这样即使模型是用别的工具导出的输入名称不同也能跑string inputName session.InputMetadata.Keys.First(); Console.WriteLine($模型输入名称: {inputName});3.3 图像预处理Letterbox和归一化不能省YoloV8的ONNX模型输入尺寸固定常见的是640×640或416×416通道顺序是RGB归一化范围是0到1。直接把原始视频帧塞进去肯定会报维度错误。这里最关键的预处理叫做Letterbox。Letterbox的意思是把原始图像按比例缩放到目标尺寸剩余区域用灰色填充而不是直接拉伸。直接拉伸会让图像里的物体变形检测精度会明显下降。填充灰色常用值是114是训练时的默认设置推理阶段也必须保持一致。const int inputSize 640; int originalWidth frame.Width; int originalHeight frame.Height; float scale Math.Min((float)inputSize / originalWidth, (float)inputSize / originalHeight); int newWidth (int)(originalWidth * scale); int newHeight (int)(originalHeight * scale); int padX (inputSize - newWidth) / 2; int padY (inputSize - newHeight) / 2; using var resized new Mat(); Cv2.Resize(frame, resized, new Size(newWidth, newHeight)); using Mat canvas new Mat(inputSize, inputSize, MatType.CV_8UC3, new Scalar(114, 114, 114)); resized.CopyTo(canvas[new Rect(padX, padY, newWidth, newHeight)]);下一步是把图像从BGR转为RGB、归一化到0-1、再从HWC布局转成模型要求的NCHW布局最后放进DenseTensor。using Microsoft.ML.OnnxRuntime.Tensors; var inputTensor new DenseTensorfloat(new[] { 1, 3, inputSize, inputSize }); for (int y 0; y inputSize; y) { for (int x 0; x inputSize; x) { Vec3b pixel canvas.AtVec3b(y, x); inputTensor[0, 0, y, x] pixel.Item2 / 255f; // R通道 inputTensor[0, 1, y, x] pixel.Item1 / 255f; // G通道 inputTensor[0, 2, y, x] pixel.Item0 / 255f; // B通道 } }这段双层循环虽然直观但逐像素调用AtVec3b在性能上不是最优解。如果你的视频分辨率高、要求帧率严格可以考虑用Marshal.Copy直接把Mat的像素数据拷到数组再填充到Tensor这个优化在第4章还会提。3.4 推理输出解析从张量到检测框YoloV8导出的ONNX模型输出格式需要特别留意因为不同导出方式对应完全不同的后处理逻辑。最常见的官方导出格式输出张量维度是[1, 84, 8400]含义是1个batch84维4个坐标值 80个类别分数8400个候选框。注意这种格式的模型不包含NMS非极大值抑制模块需要我们自己解析。using var results session.Run(new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(inputName, inputTensor) }); var output results.First().AsTensorfloat(); int classCount output.Dimensions[1] - 4; // 84 - 4 80 int numBoxes output.Dimensions[2]; // 8400解析逻辑对每个候选框先取出cx、cy、w、h这四个值是中心点坐标和宽高基于640×640输入尺寸然后遍历类别维度找到得分最高的类别如果得分低于置信度阈值就跳过最后把坐标映射回原始图像尺寸并转成左上角和右下角坐标。const float confidenceThreshold 0.25f; for (int i 0; i numBoxes; i) { float cx output[0, 0, i]; float cy output[0, 1, i]; float w output[0, 2, i]; float h output[0, 3, i]; float bestScore 0; int bestClass -1; for (int j 4; j output.Dimensions[1]; j) { float score output[0, j, i]; if (score bestScore) { bestScore score; bestClass j - 4; } } if (bestScore confidenceThreshold) continue; // 映射回原始图像坐标 float x1 (cx - w / 2f - padX) / scale; float y1 (cy - h / 2f - padY) / scale; float x2 (cx w / 2f - padX) / scale; float y2 (cy h / 2f - padY) / scale; }这里坐标还原公式里的padX、padY和scale正好对应前面Letterbox里的参数如果预处理用了别的填充方式映射公式也要同步改。解析完之后还需要做NMS过滤掉重叠的框。可以用OpenCvSharp的CvDnn.NMSBoxes如果你的OpenCvSharp版本带DNN模块的话var boxes detections.Select(d new Rect((int)d.X1, (int)d.Y1, (int)(d.X2 - d.X1), (int)(d.Y2 - d.Y1))).ToArray(); var scores detections.Select(d d.Score).ToArray(); CvDnn.NMSBoxes(boxes, scores, confidenceThreshold, 0.45f, out int[] indices);如果编译报本文还有配套的精品资源点击获取
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
