Jetson边缘AI开发实战：从硬件选型到TensorRT模型部署全攻略-尧图网络科技

1. 从零上手Jetson：不只是开箱即用

如果你刚拿到一块NVIDIA Jetson开发板，无论是小巧的Nano，还是性能怪兽AGX Orin，第一感觉可能是兴奋，紧接着可能就是迷茫。这块板子看起来像树莓派，但内核是英伟达的Tegra SoC，系统是基于ARM架构的Ubuntu，还预装了CUDA和TensorRT。官方的说法是“开箱即用的人工智能计算机”，但真实情况是，从点亮屏幕到真正跑通你的第一个AI模型，中间有一堆“坑”要填。这不仅仅是把系统刷进去、接上显示器那么简单，它涉及到驱动适配、环境配置、性能调优和远程开发等一系列工程化问题。我经手过从Jetson Nano到AGX Xavier再到Orin NX/AGX Orin几乎所有型号，从刷机到部署踩过的坑，足够写一本避坑手册。这篇文章，我就以一个过来人的身份，把Jetson从入门到能干活儿的完整路径，以及那些官方文档里不会明说、但实际开发中一定会遇到的细节，给你彻底讲清楚。

2. 硬件选型与开箱准备：别让第一步就卡住

Jetson产品线现在很丰富，新手最容易犯的错就是不看需求盲目选型，或者买了板子才发现缺这少那。我们先理清硬件这摊事。

2.1 型号解读与适用场景

Jetson家族主要分几个梯队，性能、功耗和价格差异巨大。

Jetson Nano系列：入门首选，功耗低（5W/10W模式），适合教育、原型验证和轻量级AI应用（如简单的图像分类、目标检测）。最新的Jetson Orin Nano虽然也叫Nano，但基于Orin架构，性能是旧款Nano的数倍，接口也更现代（如M.2 Key M接口），是更理想的入门选择。但要注意，Orin Nano的载板设计（A02/B01版本）和旧版Nano不兼容，散热设计也需要留意。
Jetson NX系列（如Jetson Xavier NX, Orin NX）：中坚力量，体积小巧但性能强劲。Xavier NX在紧凑的模组上提供了相当可观的算力，而Jetson Orin NX则是当前性价比的明星，提供从20TOPS到100TOPS的不同配置，足以应对大多数边缘AI部署场景，如机器人、智能零售、工业质检。
Jetson AGX系列（如AGX Xavier, AGX Orin）：工业级性能怪兽。AGX Orin最高可达275TOPS的AI算力，支持多传感器融合和复杂的自动驾驶、高端机器人算法。它不仅仅是算力强，其接口丰富性、可靠性设计都是为了严苛环境准备的。价格也最贵，通常用于产品最终部署而非前期开发。

选型建议很简单：做原型验证、学习AI，从Orin Nano或Xavier NX起步；做产品预研和中等负载部署，重点考察Orin NX；如果是自动驾驶、高端机器人或需要极致性能的场景，再考虑AGX Orin。

2.2 必不可少的周边配件清单

官方套件可能只包含核心板和载板，以下配件你必须自备，否则寸步难行：

电源适配器：这是头号杀手。Jetson对电源要求极其严格，供电不足会导致各种玄学问题：无法启动、随机重启、性能降频。务必使用官方推荐规格的电源。例如，Jetson Nano Developer Kit需要5V/4A（最好5.5mm/2.1mm接口），而AGX Orin可能需要19V以上的电源。不要用手机充电器凑合。
存储设备：大部分Jetson依赖MicroSD卡（如Nano）或NVMe SSD（如Orin NX/AGX Orin）。SD卡速度是瓶颈，强烈建议使用UHS-I U3/A2 V30级别的高速卡（如SanDisk Extreme系列）。对于Orin系列，选择一块性能不错的NVMe SSD能极大提升系统响应和数据处理速度。网上搜索“nvmeon1 not found”的错误，很多时候就和SSD兼容性或未插紧有关。
散热方案：Jetson运行时发热量不小，尤其是高负载下。Nano可能需要一个风扇散热器，NX和AGX系列通常自带风扇，但也要确保风道畅通。过热会触发温控降频，导致性能骤降。
显示与键鼠：初次设置可能需要HDMI显示器。但更推荐的方式是准备好网线，我们后面会讲如何直接用网络远程控制，这样更灵活。
网络连接：稳定的有线网络（以太网）对于刷机、下载安装包至关重要。Wi-Fi通常需要额外配置驱动。

3. 系统刷机与初始化：跨越第一道鸿沟

拿到板子，第一步是让系统跑起来。Jetson使用英伟达定制的Ubuntu系统，需要通过刷机工具（SDK Manager）或镜像烧录的方式安装。

3.1 两种刷机路径详解

方法一：使用SDK Manager（推荐给所有开发者）

这是英伟达官方的集成工具，在Ubuntu主机（物理机或虚拟机）上运行。它不仅能刷入系统，还可以同时安装JetPack SDK（包含CUDA, cuDNN, TensorRT, OpenCV等），一站式搞定。

操作流程与核心细节：

准备主机：你需要一台运行Ubuntu 20.04或22.04 LTS的x86电脑作为主机。虚拟机（如VMware, VirtualBox）也可以，但必须配置USB 3.0直通，否则刷机时可能无法识别设备。
下载安装SDK Manager：从英伟达官网下载.deb包安装。安装后启动，需要英伟达开发者账号登录。
连接Jetson：Jetson进入恢复模式（Force Recovery Mode）。这是关键步骤：先按住载板上的“Force Recovery”按钮（不同板子位置不同，需查手册），然后轻按一下“Power”键，保持按住Recovery键约2秒再松开。此时，通过USB-Micro USB（或USB-C）线将Jetson的恢复口（通常标有“FC_REC”）连接到主机。
在SDK Manager中选择目标：主机应能识别到一个“NVIDIA Corp”设备。在SDK Manager中，选择你的Jetson型号、目标操作系统版本和JetPack版本。这里有个重要选择：“Host Machine”下的组件通常不勾选（除非你也要在主机装CUDA），“Target Hardware”下的“OS”和“JetPack SDK”必须勾选。你可以取消勾选一些不急需的组件（如DeepStream, Isaac等）以加快下载和安装速度，后续可以单独安装。
刷机与安装：接下来按照提示操作。SDK Manager会先下载系统镜像和组件（耗时很长，取决于网络），然后自动刷入Jetson。刷机完成后，Jetson会第一次启动，进行Ubuntu的初始设置（语言、时区、用户名密码等）。注意：初始设置必须在连接显示器键鼠的情况下完成，或者通过串口终端完成。
后续组件安装：初始设置完成后，用网线将Jetson和主机连接到同一局域网。回到SDK Manager，它会自动发现Jetson的IP地址，然后继续安装剩余的SDK组件到Jetson上。这一步也需要时间。

避坑提示：整个过程中，网络稳定是重中之重。下载失败、安装超时是常事。可以考虑预先下载好离线包。另外，确保主机有足够的磁盘空间（至少50GB）。

方法二：直接烧录镜像文件（适合快速部署或无Ubuntu主机）

英伟达也提供预烧录的系统镜像（.img文件）。你可以像给树莓派烧录系统一样，用balenaEtcher或Rufus工具直接将镜像写入SD卡（针对Nano）或通过USB烧录到eMMC/NVMe（针对其他型号）。

优点：简单直接，不依赖Ubuntu主机和网络。
缺点：镜像通常只包含最基础的系统，CUDA、TensorRT等可能需要后续通过apt命令手动安装，版本管理和兼容性需要自己操心。

对于Jetson Orin Nano等新设备，如果遇到启动问题，可能需要先更新载板的引导程序（BOOTROM），这通常需要另一个叫Jetson-IO的工具或通过进入恢复模式进行，比SDK Manager流程更底层一些。

3.2 首次启动与基础配置

系统第一次启动后，完成Ubuntu设置向导。之后，立即做以下几件事：

换源：默认的软件源在国外，速度慢。修改/etc/apt/sources.list文件，将Ubuntu官方源替换为国内镜像源（如清华、阿里云、中科大源）。同时，Jetson的专属仓库（ports.ubuntu.com）通常不建议换，但可以尝试寻找国内镜像，或者用代理加速。
系统更新：执行sudo apt update && sudo apt upgrade，更新系统包。但升级内核要谨慎，最好先明确是否需要。
检查JetPack组件：运行jtop（需要先安装：sudo -H pip install jetson-stats）或nvcc --version，确认CUDA、TensorRT等已正确安装。
配置静态IP（可选但推荐）：对于固定位置的开发，为Jetson设置一个静态IP地址，方便后续SSH连接。在Ubuntu桌面网络设置中配置，或修改/etc/netplan/下的配置文件。

4. 开发环境搭建：告别显示器与键鼠

很少有人会一直给Jetson外接显示器，高效的开发方式一定是远程。这里推荐最稳定的组合：SSH + VSCode Remote。

4.1 网络配置与SSH连接

确保Jetson和你的开发电脑在同一个局域网。

在Jetson上开启SSH：默认可能已安装。如果没有，运行sudo apt install openssh-server。
查找Jetson的IP：在Jetson的终端里运行ifconfig或ip addr show，找到eth0（有线）或wlan0（无线）的IP地址。
从开发电脑连接：在Mac/Linux终端或Windows的PowerShell/WSL中，使用命令ssh username@jetson_ip（例如ssh nvidia@192.168.1.100）进行连接。首次连接需要确认指纹。

4.2 使用VSCode进行远程开发

这是提升效率的关键。在开发电脑上安装VSCode，然后安装官方扩展“Remote - SSH”。

在VSCode左侧活动栏点击远程资源管理器图标。
点击“+”号，输入SSH连接命令（如ssh nvidia@192.168.1.100）。
选择保存配置的路径。
在远程主机列表中，右键点击新添加的主机，选择“Connect to Host in Current Window”。
首次连接会提示输入密码，并需要在VSCode中安装“Remote Server”组件到Jetson上。

连接成功后，你的VSCode界面就完全在操作Jetson了。可以在这里直接编辑Jetson上的代码文件，使用终端，甚至运行和调试程序。文件传输通过VSCode的文件管理器拖拽即可，无需额外SFTP工具。

4.3 图形化桌面远程控制

对于需要运行带图形界面的程序（比如你用Qt开发了一个桌面程序，或者需要使用一些GUI工具），SSH的X11转发（ssh -X）通常很慢且不稳定。更好的方案是使用真正的远程桌面。

推荐方案：VNC over SSH隧道

在Jetson上安装VNC Server：sudo apt install tightvncserver
首次运行并设置密码：在Jetson的SSH终端里运行vncserver，按提示设置一个仅用于VNC连接的密码。
在开发电脑上建立SSH隧道：ssh -L 5901:localhost:5901 -N -f username@jetson_ip
- 这条命令将本地电脑的5901端口转发到Jetson的5901端口（VNC默认端口）。
在开发电脑上使用VNC Viewer：打开VNC Viewer（如RealVNC, TigerVNC），连接地址填localhost:1（或localhost:5901）。这样，你就能看到Jetson的完整桌面，并且传输经过SSH加密，安全又相对流畅。

网上搜索“jetson nano 远程桌面”的很多教程会直接让VNC服务监听所有网络接口，存在安全风险。通过SSH隧道连接是最佳实践。

5. 核心软件栈配置与避坑

系统跑通了，远程也能连了，接下来就是配置AI开发环境。Jetson的精髓在于其GPU加速的软件栈。

5.1 CUDA与cuDNN：基础中的基础

JetPack已经包含了匹配的CUDA和cuDNN，通常不需要手动安装。你需要做的是验证和熟悉。

验证安装：nvcc --version查看CUDA编译器版本；cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2查看cuDNN版本。
环境变量：通常已自动配置好。可以检查~/.bashrc文件，确保有类似export PATH=/usr/local/cuda/bin:$PATH和export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH的行。修改后执行source ~/.bashrc。
编译示例：尝试编译一个CUDA样例，如进入/usr/local/cuda/samples/下的某个目录，执行sudo make。这是检验CUDA环境是否健全的好方法。

5.2 TensorRT：模型推理加速引擎

TensorRT是英伟达的高性能深度学习推理SDK。JetPack也预装了。

检查安装：dpkg -l | grep tensorrt查看安装的包。
核心概念：TensorRT的工作流程是“优化”和“部署”。它接受你的训练好的模型（ONNX, PyTorch, TensorFlow等），进行图优化、层融合、精度校准（INT8/FP16），生成一个高度优化的“引擎”（plan文件），然后在Jetson上高效执行。
使用方式：
1. Python API：最常用。import tensorrt as trt。你需要先安装pycuda等依赖。
2. C++ API：性能最优，用于生产环境。
3. trtexec工具：命令行工具，可以快速将模型转换为引擎并测试性能，非常适合初步评估。

实操心得：TensorRT的版本与CUDA、cuDNN版本强绑定。用JetPack安装的整套兼容性最好。自行用pip安装tensorrt很可能遇到版本冲突。遇到模型解析失败、精度异常，首先检查TensorRT版本和模型导出方式。

5.3 OpenCV：计算机视觉基石

Jetson上的OpenCV是个“特供版”。因为GPU加速的编解码、视觉处理等功能依赖于Jetson的特定硬件（如NVDEC, NVENC），所以英伟达提供了预编译的、带有GPU加速的OpenCV。

预装版本：运行opencv_version查看。通常JetPack会安装好，路径在/usr/lib/aarch64-linux-gnu/和/usr/include/opencv4/。
自行编译：如果你需要最新的OpenCV功能，或者需要开启某些特定的编译选项（如GStreamer支持、Python绑定），可能需要从源码编译。这是一个耗时且容易出错的过程，需要安装大量依赖，并正确配置CUDA、cuDNN、TensorRT的路径。网上有很多“Jetson编译OpenCV”的教程，务必选择与你JetPack版本匹配的教程。
“jetson学opencv”：对于学习者，我建议先使用预装的OpenCV。它的性能已经足够好，并且稳定。当预装版本确实无法满足需求时，再考虑编译。编译前，务必备份系统。

5.4 外设与硬件接口使用

摄像头：这是AI项目的眼睛。Jetson支持CSI摄像头（如树莓派摄像头V2，IMX219传感器）和USB摄像头。

CSI摄像头：需要正确连接排线，并在/boot/extlinux/extlinux.conf文件中修改设备树（Device Tree）来启用。对于IMX219，通常已有支持。可以使用nvgstcapture-1.0命令或GStreamer管道来测试。如果遇到“jetson nano驱动imx219”的问题，大概率是设备树配置或连接问题。
USB摄像头：即插即用程度高。使用ls /dev/video*查看设备节点，用v4l2-ctl --list-formats --device=/dev/video0查看支持格式。OpenCV的VideoCapture可以直接调用。

USB设备：如U盘、移动硬盘。Jetson Nano等设备USB口供电能力有限，连接大功率移动硬盘可能导致系统不稳定，建议使用带外接电源的USB Hub。读取U盘就是标准的Linux挂载操作：插入后通常会自动挂载在/media/username/下，也可以用sudo mount /dev/sda1 /mnt手动挂载。

GPIO：Jetson载板提供了40针的GPIO接口，兼容树莓派引脚布局。可以使用Python库（如Jetson.GPIO）或C语言进行控制，用于连接传感器、控制电机等。注意电平是3.3V，不是5V。

6. 实战：从模型到部署的完整链路

假设我们现在有一个目标检测模型（比如YOLOv5），要部署到Jetson Orin NX上。我们走一遍核心流程。

6.1 模型准备与转换

训练模型：在PC或云端，使用PyTorch训练好一个YOLOv5模型，得到.pt权重文件。
导出为ONNX：使用YOLOv5提供的export.py脚本，将PyTorch模型导出为ONNX格式。这是通用中间格式，TensorRT可以识别。
```
python export.py --weights yolov5s.pt --include onnx --img 640
```
注意指定输入图片尺寸（如640x640）。

6.2 在Jetson上使用TensorRT优化

将ONNX模型传到Jetson：使用VSCode Remote的文件拖拽功能，或者scp命令。
使用trtexec生成引擎：这是最快验证的方式。
```
/usr/src/tensorrt/bin/trtexec --onnx=yolov5s.onnx --saveEngine=yolov5s_fp16.engine --fp16 --workspace=1024
```
- --fp16：启用FP16精度，在Jetson上能大幅提升速度且精度损失很小。
- --workspace：设置GPU内存工作空间大小，单位是MB。复杂模型需要更大的workspace。
测试引擎性能：
```
/usr/src/tensorrt/bin/trtexec --loadEngine=yolov5s_fp16.engine
```
它会运行性能基准测试，输出延迟、吞吐量等数据。

6.3 编写推理应用程序

你可以使用TensorRT的Python API来加载引擎并进行推理。核心步骤包括：

创建Runtime和反序列化引擎。
创建执行上下文（ExecutionContext）。
为输入和输出分配GPU内存（Device Memory）。
将输入数据（如图像）从CPU内存拷贝到GPU，并进行预处理（缩放、归一化、通道转换等）。
执行推理。
将输出数据从GPU拷回CPU，并进行后处理（如YOLO的解码、非极大值抑制NMS）。
释放资源。

后处理部分往往比推理本身更耗时，需要仔细优化。可以考虑使用CUDA核函数来加速后处理。

6.4 性能监控与调优

使用jtop工具（运行sudo jtop）可以实时监控Jetson的状态：

GPU、CPU、内存使用率。
各个CPU核心的频率和温度。
JetPack组件版本信息。
NVMe/磁盘状态。

如果性能未达预期，可以从以下方面排查：

功耗模式：Jetson有多种功耗模式（如MAXN，5W，10W）。使用sudo nvpmodel -q查看当前模式，sudo nvpmodel -m <mode_id>切换。高性能模式需要更多功耗和散热。
CPU/GPU频率锁定：使用jetson_clocks脚本可以将CPU和GPU频率锁定在最高值，避免动态调频带来的波动，用于性能测试。但长期运行需注意散热。
推理Pipeline优化：确保图像预处理、推理、后处理是流水线进行的，而不是串行等待。可以使用多线程或异步CUDA流。
内存瓶颈：检查是否因内存交换（swap）导致卡顿。可以适当增加swap空间，但这只是权宜之计，根本是优化内存使用。

7. 高级主题与疑难排错

7.1 系统重置与恢复

当系统被玩坏、无法启动时，可能需要重置。

软件重置：对于可以进入系统但想恢复出厂设置的情况，可以尝试重新刷机。
硬件恢复：对于完全无法启动（砖了），需要进入强制恢复模式（Force Recovery Mode），然后通过SDK Manager或命令行工具flash.sh重新刷写系统。这就是“jetson agx orin刷机”或“nvidia jetson orin nx 重置系统”要解决的问题。关键点是进入恢复模式的时机和USB连接。

7.2 存储设备故障处理

“nvmeon1 not found”这类错误通常发生在Orin NX/AGX Orin上，系统找不到NVMe SSD。

物理检查：首先关机，重新插拔NVMe SSD，确保安装牢固。
BIOS/引导检查：进入启动配置（通常在开机时按Esc或Del键），确认NVMe设备是否被识别。
系统内检查：如果系统能启动但从其他介质（如SD卡）启动，在系统内使用sudo fdisk -l或lsblk命令查看是否能识别到NVMe设备。如果识别不到，可能是硬件兼容性问题或设备故障。
格式化与分区：如果识别到设备（如/dev/nvme0n1）但没有文件系统，需要对其进行分区和格式化。注意：这会清空所有数据！
```
sudo parted /dev/nvme0n1 mklabel gpt sudo parted -a optimal /dev/nvme0n1 mkpart primary 0% 100% sudo mkfs.ext4 /dev/nvme0n1p1
```
更新固件：极少数情况下，可能需要更新载板或SSD的固件。

7.3 Qt开发桌面程序

在Jetson上进行Qt开发，和在其他Linux平台上类似，但需要注意交叉编译或本地编译的选择。

本地编译（推荐）：直接在Jetson上安装Qt Creator和Qt库进行开发。优点是部署简单，环境一致。
```
sudo apt install qt5-default qtcreator -y
```
安装后，直接在Jetson的桌面环境或通过VNC远程桌面打开Qt Creator进行开发。编译出的程序可以直接在Jetson上运行。
交叉编译：在x86开发电脑上编译出ARM架构的可执行文件，然后拷贝到Jetson上运行。这需要配置复杂的交叉编译工具链，对于依赖本地硬件加速（如CUDA、OpenCV GPU模块）的程序非常不友好，不推荐初学者使用。

核心要点：在Jetson上做Qt开发，本质就是在一台ARM架构的Ubuntu电脑上做开发。所有Linux下的Qt知识都适用。难点可能在于将你的AI推理引擎（如TensorRT C++库）集成到Qt项目中，这涉及到正确的链接库路径和头文件包含。

Jetson是一个强大的边缘AI平台，但它的强大建立在正确的配置和使用之上。从选对硬件、稳定刷机，到搭建高效的远程开发环境，再到深入利用TensorRT等软件栈，每一步都需要耐心和细致。它不像树莓派那样“傻瓜式”，但带来的性能提升是数量级的。希望这份从实战中总结的指南，能帮你绕开我当年踩过的那些坑，更快地把想法在Jetson上变成现实。记住，遇到问题多查英伟达官方论坛和GitHub的Issues，那里有全球开发者积累的宝贵经验。