最近几年具身智能、人形机器人、无人驾驶成了 AI 领域最热的方向。不管是让机器人自己走路避障还是让汽车在复杂道路上感知环境背后都有一个交叉学科的影子SLAM尤其是视觉 SLAMVisual SLAM简称 VSLAM。很多读者后台问我想系统入门视觉 SLAM第一步应该看什么我通常会回答把《视觉SLAM十四讲》这本书吃透配套把 ORB-SLAM3 跑起来基本就摸到门道了。不过《视觉SLAM十四讲》这本书内容非常密集涉及李群李代数、非线性优化、特征点法、直接法、回环检测、地图构建等多个模块。很多初学者在看书过程中会遇到“公式看得懂、代码跑不起来”的困境。本文结合我自己的学习经历和工程实践把从零入门视觉 SLAM 的关键概念、学习主线、环境搭建、运行 Demo 的完整路径整理出来希望能帮你把这条学习曲线走平一些。无论你将来是做机器人导航、无人驾驶、AR/VR还是具身智能算法视觉 SLAM 都是一门绕不开的基础课。读完本文你会明白视觉 SLAM 的整体框架是什么四个核心模块分别解决什么问题以及在一台 Ubuntu 机器上如何把 ORB-SLAM3 完整跑起来。我会尽量把原理和实操结合起来代码、命令、配置都给全方便你照着做。1. 背景与核心概念为什么视觉SLAM如此重要1.1 SLAM是什么SLAM 的全称是 Simultaneous Localization and Mapping中文叫“同时定位与建图”。简单说就是让一个移动的载体机器人、无人机、汽车、手机在没有事先知道环境地图的情况下一边确定自己在哪里一边构建周围环境的地图。它的英文名称包含了两个任务Localization定位解决“我在哪”的问题。Mapping建图解决“周围长什么样”的问题。这两个问题互相耦合定位需要地图建图需要知道当前位姿。所以 SLAM 本质上是一个“鸡生蛋、蛋生鸡”的问题需要通过传感器数据和状态估计算法一起求解。根据传感器类型SLAM 可以分成激光 SLAM 和视觉 SLAM。激光 SLAM 直接测距精度高、受光照影响小但激光雷达贵而且只能获取几何信息无法感知纹理和颜色。视觉 SLAM 则使用相机作为传感器成本低、信息丰富既能做定位也能识别语义信息因此在无人驾驶、服务机器人、AR/MR 领域不可替代唯一的难点是视觉信息计算量大对算法和算力要求更高。1.2 视觉SLAM与具身智能、无人驾驶的关系这里先梳理一个概念链条具身智能Embodied AI指的是让 AI 拥有“身体”能感知环境、做出决策并行动比如人形机器人、机械臂抓取。机器人要在真实世界中导航、避障、抓取首先就需要知道“我在哪”“物体在哪”“障碍物在哪”。这三个问题分别对应 SLAM 的定位、语义感知和建图能力。无人驾驶感知系统中一个关键环节是在线实时定位。视觉 SLAM 可以结合 IMU、轮速计、RTK 等传感器在 GPS 失效场景地下车库、隧道中提供连续、精确的位姿估计。所以视觉 SLAM 是机器人和无人驾驶“感知-决策-执行”链路中最底层的一环也是具身智能学习路线的第一站。1.3 为什么从《视觉SLAM十四讲》开始《视觉SLAM十四讲》以下简称《十四讲》是国内最受欢迎的一本视觉 SLAM 入门书配套有开源代码内容覆盖了视觉 SLAM 的完整数学基础和工程实现。很多人说这本书“劝退”原因在于数学要求高旋转矩阵、变换矩阵、四元数、李群李代数、非线性优化。依赖环境复杂OpenCV、Eigen、Sophus、Ceres、G2O、PCL、DBoW3 等库版本众多配置很容易踩坑。跨学科涉及图像处理、概率论、多视图几何、图优化等多个方向。但这恰恰说明一个问题只有把这些基础啃下来后面的高层应用才能真正理解。如果你能跑通书中的代码再把 ORB-SLAM3 运行起来你对 SLAM 的认知会有一个质的飞跃。1.4 经典视觉SLAM系统运行框架为了便于记忆可以把视觉 SLAM 分成四个核心模块模块英文名称核心任务常用方法前端视觉里程计Front-end Visual Odometry (VO)根据相邻帧估算相机相对运动构建局部轨迹特征点法ORB、直接法LSD-SLAM、半直接法SVO后端优化Back-end Optimization对相机位姿和地图点进行全局优化消除累积漂移扩展卡尔曼滤波EKF、BABundle Adjustment、位姿图优化回环检测Loop Closure Detection识别相机是否回到之前访问过的位置词袋模型BoW、DBoW2/DBoW3、深度学习全局描述子建图Mapping根据位姿和观测构建地图表达稀疏点云、稠密点云、八叉树地图OctoMap、栅格地图下图是经典的视觉 SLAM 流程图用文字描述传感器数据图像/IMU ↓ 前端视觉里程计帧间位姿估计 ↓ 后端优化全局位姿、地图点、滑动窗口 ↓ 回环检测当前位置是否访问过 —→ 触发回环修正 ↓ 地图构建稀疏/稠密/语义地图初学者最容易踩的一个误区是只盯着“帧间匹配”以为 SLAM 就是算一个变换矩阵。实际上没有回环检测的 SLAM 只能叫视觉里程计因为误差会不断累积没有后端优化的 SLAM 轨迹会越飘越远。只有把四个模块串联起来才是一个完整的 SLAM 系统。2. 环境准备与版本说明2.1 操作系统与编译工具如果你的目标是学习算法而非生产部署推荐使用 Ubuntu 20.04 或 Ubuntu 22.04。本文示例针对 Ubuntu 20.04 ROS Noetic 组合这也是目前《十四讲》和 ORB-SLAM3 社区最常见的搭配。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。如果你的系统是 Ubuntu 22.04有些库比如 OpenCV 4.5.x、PCL 1.12版本更高编译 ORB-SLAM3 时通常也没有问题但需要注意 Ceres 和 Pangolin 的版本匹配。2.2 依赖清单视觉 SLAM 是一个重度依赖第三方库的方向下面列出最关键的几项库名称作用示例版本Eigen线性代数库矩阵运算基础3.3.7Sophus李群李代数库支持 SO(3) / SE(3)书中修改版OpenCV图像读取、特征提取、相机标定4.2.0 / 4.5.5Ceres非线性最小二乘优化库1.14.0 / 2.1.0G2O图优化库基于顶点和边书中修改版PangolinOpenGL 可视化库画轨迹和相机位姿0.6PCL点云处理库用于建图1.10ROS机器人操作系统Noetic / Foxy2.3 安装基础工具在开始之前先把系统的编译工具链装好sudo apt update sudo apt install -y build-essential cmake git pkg-config sudo apt install -y libeigen3-dev libglew-dev libglfw3-dev sudo apt install -y libgoogle-glog-dev libgflags-dev sudo apt install -y libatlas-base-dev libsuitesparse-dev上面这些库中libeigen3-dev是矩阵运算基础libsuitesparse-dev是稀疏线性求解依赖Ceres 和 G2O 都会用到。libgoogle-glog-dev和libgflags-dev是日志和命令行解析库。2.4 安装OpenCVOpenCV 的选择要谨慎。Ubuntu 自带源里的 OpenCV 通常是 4.2 或 4.5对大多数例子来说足够。可以这样安装sudo apt install -y libopencv-dev安装完成后验证版本pkg-config --modversion opencv4如果需要编译 Pangolin 或者 ORB-SLAM3建议同时安装 OpenCV contrib 模块吗这里要提醒ORB-SLAM3 只需要基础模块不需要 contrib。编译时如果 OpenCV 版本太高比如 4.8某些旧代码可能因为CV_LOAD_IMAGE_GRAYSCALE等 API 变更而报错遇到时改为cv::IMREAD_GRAYSCALE即可。2.5 编译PangolinPangolin 是可视化库《十四讲》第三版使用 Pangolin 0.6。编译步骤git clone https://github.com/stevenlovegrove/Pangolin.git cd Pangolin git checkout v0.6 mkdir build cd build cmake .. make -j$(nproc) sudo make install注意如果 clone 的默认分支是 0.9/0.8 版本接口会发生一些变化比如gl::GlTexture之类的命名空间调整所以一定要按 v0.6 这个 tag 编译除非你想用新版适配代码。2.6 安装Ceres和G2O《十四讲》的许多示例依赖 Ceres 和 G2O。如果你只想先跑通演示可以只装 Ceresgit clone https://github.com/ceres-solver/ceres-solver.git cd ceres-solver mkdir build cd build cmake .. make -j$(nproc) sudo make installG2O 因为作者维护了一个修改过的分支建议直接从《十四讲》源码的3rdparty里编译。也可以使用官方原版但部分示例会依赖g2o::VertexSE3Expmap之类的类官方库接口略有差异编译时如果报错先检查接口变化。2.7 拉取《十四讲》源码高翔老师维护的《十四讲》配套代码是https://github.com/gaoxiang12/slambook2这是第二版也是目前使用最广泛的版本。第三方库放在了slambook2/3rdparty目录下你可以把整个仓库克隆到本地git clone https://github.com/gaoxiang12/slambook2.git cd slambook2书的配套代码并不是一个大工程而是按章节拆成了多个独立的文件夹例如ch3/三维空间刚体运动ch4/李群李代数ch5/相机模型与图像ch6/非线性优化ch7/特征点法视觉里程计ch9/设计前端ch10/后端优化ch11/位姿图优化ch12/回环检测ch13/建图强烈建议按章节顺序编译运行。不要一开始就跳到 ORB-SLAM3否则会缺少中间很多数学和工程铺垫。3. 核心原理拆解从数学到系统3.1 三维空间刚体运动旋转矩阵、变换矩阵、四元数SLAM 中最重要的一个基础问题是如何描述相机在空间中的位置和朝向。相机位姿由旋转矩阵 $R$ 和平移向量 $t$ 组成通常用变换矩阵 $T$ 表示$$T \begin{bmatrix} R t \ 0^T 1 \end{bmatrix}$$一个三维点在世界坐标系下的坐标 $p_w$经过变换矩阵 $T$ 转换到相机坐标系$$p_c T \cdot p_w$$在代码里Eigen 提供了矩阵运算模块#include Eigen/Core #include Eigen/Geometry int main() { // 定义旋转角绕 Z 轴旋转 45 度 double angle M_PI / 4; Eigen::Matrix3d R Eigen::AngleAxisd(angle, Eigen::Vector3d::UnitZ()).toRotationMatrix(); // 定义平移向量 Eigen::Vector3d t(1.0, 2.0, 3.0); // 构造变换矩阵 T Eigen::Isometry3d T Eigen::Isometry3d::Identity(); T.rotate(R); T.pretranslate(t); // 世界坐标系下的点 Eigen::Vector3d p_w(0.0, 1.0, 0.0); // 转换到相机坐标系 Eigen::Vector3d p_c T * p_w; std::cout p_c p_c.transpose() std::endl; return 0; }这里有一个新手容易混淆的概念Isometry3d本质上是一个四维的齐次变换矩阵但在 Eigen 中可以直接乘以三维点Eigen 内部自动完成齐次坐标变换。实际工程中一定要明确点是“在世界系”还是“在相机系”这是很多 bug 的根源。四元数也是描述旋转的一种方式优点是简洁、无奇异性、插值方便。但四元数不好直观理解一般建议先把旋转矩阵和变换矩阵搞清楚四元数只需知道和矩阵之间的转换关系即可。3.2 相机模型与内参相机把三维世界投影到二维图像这个过程可以用针孔相机模型描述相机坐标系下的点 $(X, Y, Z)$投影到归一化平面坐标 $(x, y) (X/Z, Y/Z)$再经过内参矩阵 $K$ 得到像素坐标$$u f_x \cdot x c_x$$ $$v f_y \cdot y c_y$$内参矩阵 $K$ 可以写成$$K \begin{bmatrix} f_x 0 c_x \ 0 f_y c_y \ 0 0 1 \end{bmatrix}$$其中$f_x, f_y$ 是焦距单位像素$c_x, c_y$ 是主点坐标。在代码中用 OpenCV 读取图像并查看内参的例子#include opencv2/opencv.hpp #include iostream int main() { // 读取图像 cv::Mat image cv::imread(/home/your_name/slambook2/ch5/undistort/1.png, cv::IMREAD_COLOR); if (image.empty()) { std::cerr Failed to load image std::endl; return -1; } // 内参矩阵实际值需要根据相机标定得到 cv::Mat K (cv::Mat_double(3, 3) 520.9, 0, 325.1, 0, 521.0, 249.7, 0, 0, 1); // 畸变系数 cv::Mat distCoeffs (cv::Mat_double(1, 5) -0.2541, 0.1159, 0, 0, 0); // 去除畸变 cv::Mat undistorted; cv::undistort(image, undistorted, K, distCoeffs); cv::imwrite(undistorted.png, undistorted); std::cout Undistortion done. std::endl; return 0; }相机标定是视觉 SLAM 工程落地中绕不开的流程。常见的标定工具包括OpenCV 提供的calibrateCamera()接口。ROS 中的camera_calibration功能包。张正友棋盘格标定法。在生产环境中相机的内参和畸变系数必须精确标定否则前端的特征匹配和三角化都会产生明显误差。3.3 非线性优化与图优化视觉 SLAM 的位姿估计本质上是一个状态估计问题。我们要找一组相机位姿和三维空间点使得所有观测误差最小。这个问题的数学形式是最小二乘问题$$\min \sum_{i,j} | z_{ij} - h(T_i, P_j) |^2$$其中 $z_{ij}$ 是实际观测到的像素坐标$h$ 是重投影函数$T_i$ 是第 i 帧相机位姿$P_j$ 是第 j 个地图点坐标。高斯牛顿法和列文伯格-马夸尔特法LM是解决这个问题的常用方法。Eigen 本身不做非线性优化我们通常借助 Ceres 或 G2O 完成。下面用 Ceres 演示一个非常简单的曲线拟合问题理解 Ceres 的基本用法#include ceres/ceres.h #include glog/logging.h #include iostream #include cmath // 残差块拟合 y exp(a * x b) w struct ExponentialResidual { ExponentialResidual(double x, double y) : x_(x), y_(y) {} template typename T bool operator()(const T* const a, const T* const b, T* residual) const { residual[0] y_ - exp(a[0] * x_ b[0]); return true; } private: const double x_; const double y_; }; int main(int argc, char** argv) { google::InitGoogleLogging(argv[0]); // 生成带噪声的数据 const double a_true 0.3, b_true 0.1; std::vectordouble x_data, y_data; for (int i 0; i 100; i) { double x i * 0.1; double y exp(a_true * x b_true) (rand() % 1000) / 1000.0 * 0.2 - 0.1; x_data.push_back(x); y_data.push_back(y); } // 初始估计 double a 0.0, b 0.0; ceres::Problem problem; for (int i 0; i x_data.size(); i) { problem.AddResidualBlock( new ceres::AutoDiffCostFunctionExponentialResidual, 1, 1, 1( new ExponentialResidual(x_data[i], y_data[i])), nullptr, a, b); } ceres::Solver::Options options; options.max_num_iterations 100; options.linear_solver_type ceres::DENSE_QR; options.minimizer_progress_to_stdout true; ceres::Solver::Summary summary; ceres::Solve(options, problem, summary); std::cout summary.BriefReport() std::endl; std::cout Estimated a: a , b: b std::endl; return 0; }这段代码的核心思想是定义残差、添加残差块、求解。在视觉 SLAM 中残差就是“重投影误差”而待优化的变量就是相机位姿和地图点坐标。理解 Ceres 的使用方法后再去看 ORB-SLAM3 中的优化代码就不会太吃力。3.4 前端视觉里程计特征点法特征点法是目前最成熟、最常用的视觉里程计方法。它主要由以下步骤组成提取特征点FAST、ORB 等。计算描述子ORB 描述子。匹配特征点暴力匹配或快速近似最近邻FLANN。求解相对运动对极几何2D-2DPnP3D-2DICP3D-3D。剔除误匹配随机采样一致性RANSAC。ORB 特征在旋转和光照上都有一定的鲁棒性提取速度也快适合实时 SLAM。OpenCV 中提取 ORB 特征的代码#include opencv2/opencv.hpp #include opencv2/features2d.hpp #include iostream int main() { cv::Mat img1 cv::imread(1.png, cv::IMREAD_GRAYSCALE); cv::Mat img2 cv::imread(2.png, cv::IMREAD_GRAYSCALE); if (img1.empty() || img2.empty()) { std::cerr Failed to load images std::endl; return -1; } // 提取 ORB 特征 std::vectorcv::KeyPoint kp1, kp2; cv::Mat desc1, desc2; cv::Ptrcv::ORB orb cv::ORB::create(500, 1.2f, 8, 31, 0, 2, cv::ORB::HARRIS_SCORE, 31, 20); orb-detectAndCompute(img1, cv::noArray(), kp1, desc1); orb-detectAndCompute(img2, cv::noArray(), kp2, desc2); // 暴力匹配 std::vectorcv::DMatch matches; cv::BFMatcher matcher(cv::NORM_HAMMING); matcher.match(desc1, desc2, matches); // 筛选最优匹配 double min_dist 10000; for (const auto m : matches) { if (m.distance min_dist) min_dist m.distance; } std::vectorcv::DMatch good_matches; for (const auto m : matches) { if (m.distance std::max(2 * min_dist, 30.0)) { good_matches.push_back(m); } } cv::Mat img_match; cv::drawMatches(img1, kp1, img2, kp2, good_matches, img_match); cv::imshow(good matches, img_match); cv::waitKey(0); std::cout Total good matches: good_matches.size() std::endl; return 0; }为什么匹配之后还要做 RANSAC因为图像中的错误匹配是不可避免的哪怕描述子距离很小也可能匹配到错误位置。RANSAC 可以从包含误匹配的对应点集合中估计出正确的变换模型同时把外点剔掉。在《十四讲》第7章中你还会看到用对极约束求解本质矩阵 E再分解得到 R 和 t 的完整流程。4. 完整实战案例编译运行ORB-SLAM3当你学完《十四讲》的大部分章节后下一步就是跑一个完整、现代的 SLAM 系统。ORB-SLAM3 是目前最经典、影响力最大的特征点法 SLAM 之一支持单目、双目、RGB-D 和 IMU 融合。本小节以 RGB-D 模式为例带你在 Ubuntu 上跑通一个 TUM 数据集序列。4.1 下载ORB-SLAM3源码ORB-SLAM3 官方仓库是https://github.com/UZ-SLAMLab/ORB_SLAM3注意大小写。git clone https://github.com/UZ-SLAMLab/ORB_SLAM3.git cd ORB_SLAM34.2 ORB-SLAM3依赖说明ORB-SLAM3 依赖以下库OpenCVEigen3Pangolin可视化界面DBoW2回环检测词袋SLAM 源码自带第三方库g2o图优化源码自带第三方库Sophus源码自带第三方库如果你按照第 2 节装好了 Pangolin 和 OpenCV就可以直接编译 ORB-SLAM3。在执行编译前还需要安装sudo apt install -y libssl-dev libboost-system-dev libboost-filesystem-dev libboost-thread-dev然后执行编译cd ORB_SLAM3 chmod x build.sh ./build.sh编译时间取决于机器性能通常需要几分钟到十几分钟。如果网络不稳定导致 DBoW2 或 g2o 子模块下载失败可以在ORB_SLAM3/Thirdparty目录下单独编译各个子模块。4.3 下载TUM数据集TUM RGB-D 数据集是慕尼黑工业大学公开的视觉 SLAM 评估数据集包含彩色图、深度图和真实轨迹。常用的是rgbd_dataset_freiburg1_deskwget https://cvg.cit.tum.de/rgbd/dataset/freiburg1/rgbd_dataset_freiburg1_desk.tgz tar -xzvf rgbd_dataset_freiburg1_desk.tgz如果下载地址失效也可以去 TUM 官网手动下载。数据集解压后需要确认目录下有rgb.txt、depth.txt、groundtruth.txt和rgb/、depth/文件夹。4.4 运行RGB-D示例ORB-SLAM3 自带 TUM RGB-D 示例运行前需要准备Examples/RGB-D/TUM1.yaml配置文件。通常这个文件已经在仓库里了我们只需要执行./Examples/RGB-D/rgbd_tum \ Vocabulary/ORBvoc.txt \ Examples/RGB-D/TUM1.yaml \ /path/to/rgbd_dataset_freiburg1_desk \ /path/to/rgbd_dataset_freiburg1_desk/associations.txt其中associations.txt是彩色图和深度图的配对文件。如果数据集目录没有这个文件可以用仓库自带的 Python 脚本生成import os rgb_dir rgb depth_dir depth def load_timestamps(filepath): timestamps [] with open(filepath, r) as f: for line in f: line line.strip() if line.startswith(#) or not line: continue parts line.split() timestamps.append((parts[0], parts[1])) return timestamps rgb_items load_timestamps(rgb.txt) depth_items load_timestamps(depth.txt) with open(associations.txt, w) as f: for rgb_ts, rgb_file in rgb_items: # 找时间戳最近的深度图 best_depth None best_diff float(inf) for depth_ts, depth_file in depth_items: diff abs(float(rgb_ts) - float(depth_ts)) if diff best_diff: best_diff diff best_depth depth_file if best_depth: f.write(f{rgb_ts} {rgb_file} {float(rgb_ts) 0.0:.6f} {best_depth}\n)注意这个脚本简化了深度图时间戳的配对逻辑实际 TUM 数据集的 association 脚本要更严谨一些。官方提供的associate.py可以在这里获取wget https://raw.githubusercontent.com/raulmur/ORB_SLAM2/master/Examples/RGB-D/associate.py python associate.py rgb.txt depth.txt associations.txt之所以要配准时间戳是因为深度图和彩色图是不同相机异步采集的直接按文件顺序简单拼接会导致像素对不齐最终轨迹精度变差。4.5 预期运行结果程序启动后会出现 Pangolin 可视化窗口显示相机轨迹和稀疏地图点。终端会打印每帧处理的耗时、当前关键帧数量、地图点数量等。数据集运行结束后程序会输出轨迹文件KeyFrameTrajectory.txt你可以用 Python 和 matplotlib 画出来。import numpy as np import matplotlib.pyplot as plt data [] with open(KeyFrameTrajectory.txt, r) as f: for line in f: line line.strip() if line.startswith(#) or not line: continue parts line.split() data.append([float(parts[0]), float(parts[1]), float(parts[2]), float(parts[3])]) data np.array(data) plt.figure(figsize(8, 6)) plt.plot(data[:, 1], data[:, 2], linewidth1.0) plt.xlabel(x (m)) plt.ylabel(z (m)) plt.title(ORB-SLAM3 Trajectory) plt.grid(True) plt.savefig(trajectory.png, dpi200)运行成功后你实际上已经完成了一个“从传感器数据到轨迹输出”的完整链路。接下来再去分析它的源码比如跟踪线程、局部建图线程、回环检测线程就有了很好的工程基础。5. 常见问题与排查思路视觉 SLAM 环境配置是出了名的麻烦。这里整理几个我经常遇到的报错和排查方法。问题现象常见原因解决思路编译 C 代码报错找不到 Eigen3没有安装 Eigen 或 CMake 找不到 Eigen3_DIRsudo apt install libeigen3-devCMake 里添加find_package(Eigen3 REQUIRED)OpenCV 版本不匹配报cuda_gl_interop.h不存在OpenCV CPU 版本和 CUDA 冲突重新安装非 CUDA 版 OpenCV或删除系统中 CUDA 相关 OpenCV 头文件ORB-SLAM3 编译时usleep报错在新版 glibc 中usleep声明被移除在源码文件中添加#include unistd.h若仍报错在system.cc里加int usleep(useconds_t usec);声明Pangolin 版本太新API 变动导致编译失败使用了 Pangolin 0.8/0.9切换到 v0.6 tag 重新编译TUM 数据集运行后轨迹明显漂移相机内参配置不对或者 RGB-D 深度图时间戳没配对好检查 TUM1.yaml 中 fx、fy、cx、cy 是否正确重新生成 associations.txt单目模式初始化失败一直显示trying to initialize场景纹理不够丰富或者相机移动幅度太小改用纹理丰富的序列平移相机而不是原地旋转编译时g2o报大量链接错误G2O 的库版本和 ORB-SLAM3 自带的第三方库冲突优先使用 ORB-SLAM3 自带的Thirdparty/g2o不要用系统安装的 g2o5.1 例Pangolin编译失败的解决Pangolin 是一个依赖很多图形库的项目常见报错包括缺少xkbcommon、缺少Wayland、缺少libepoxy。可以按如下顺序安装sudo apt install -y libxkbcommon-dev libwayland-dev libepoxy-dev libx11-dev libxrandr-dev libxi-dev libxcursor-dev libxinerama-dev libxxf86vm-dev然后再重新编译 Pangolin基本可以解决大部分图形库依赖问题。5.2 例RGB-D序列显示“no depth image”问题运行 TUM RGB-D 序列时如果控制台一直提示找不到深度图大概率是associations.txt生成失败。此时可以用head命令检查文件内容head -n 5 associations.txt正常内容应该是1305031102.175304 1305031102.175304.png 1305031102.183763 1305031102.183763.png如果发现文件内容是空白的说明associate.py的路径参数写错了。5.3 例并行编译内存不足导致卡死ORB-SLAM3 的编译过程比较吃内存默认的make -j会耗尽内存。建议使用make -j4甚至make -j2特别是虚拟机环境下。如果卡死先kill进程再降低并行编译线程数重试。6. 工程实践与进阶建议6.1 理论学习路线如果你完全零基础我建议按下面的顺序推进先学习 C 基础和 Linux 操作至少会写类、STL 容器、编译 Makefile/CMake。看《视觉SLAM十四讲》前 6 章重点掌握三维空间刚体运动、旋转矩阵、四元数、李群李代数、相机模型和非线性优化。看第 7 章实现一个基于特征点的视觉里程计跑通 2D-2D 对极几何和 3D-2D PnP。看第 8 章理解光流法和直接法的区别了解为什么直接法在纹理缺乏场景更有效。看第 9-10 章理解前端设计、后端 BA 和图优化。看第 11-13 章理解回环检测和建图了解词袋模型、八叉树地图和点云拼接。跑 ORB-SLAM3 作为综合实践。6.2 代码阅读顺序直接看 ORB-SLAM3 源码容易迷失。我建议按“线程”来读跟踪线程TrackingSystem.cc、Tracking.cc理解每帧图像如何变成相机位姿。局部建图线程LocalMappingLocalMapping.cc理解关键帧筛选、地图点创建和局部 BA。回环检测线程LoopClosingLoopClosing.cc理解回环候选帧搜索、Sim3 求解和全局优化。地图管理Map / MapPoint / KeyFrame理解数据结构如何组织。6.3 工程落地建议在真正的机器人或无人驾驶项目中使用 SLAM不能只停留在跑通 Demo还要注意以下几点传感器标定与同步视觉 SLAM 的精度上限由传感器决定而不是算法。相机内参、畸变、IMU 外参、相机到机器人基座的外参、时间戳同步都要做到尽量精确。很多“算法效果差”的问题最终定位到是标定错误。坐标系约定团队里必须统一坐标系约定。不同 SLAM 系统输出的是“相机系到世界系”还是“世界系到相机系” ROS 中的tf树如何连接都要有清晰文档。否则算法联调时会出现方向翻转的问题。参数调优与鲁棒性ORB-SLAM3 提供了大量 yaml 参数。灰度阈值、特征点数量、金字塔缩放因子、RANSAC 迭代次数、局部 BA 窗口大小等都需要根据应用场景反复实验。不要直接拿着默认参数去跑真实场景不同的光照、运动速度和传感器分辨率会带来显著差异。失败检测与恢复工程系统必须有“跟踪丢失”检测机制。比如长时间特征匹配数量过少、重投影误差突然增大都要触发重定位或重新初始化。ORB-SLAM3 有重定位机制但你需要在自己的项目里定义什么时候报告失败什么时候切换传感器模式。计算资源规划SLAM 算法通常要跑在嵌入式设备或者车辆计算平台。需要提前评估 CPU 占用、内存占用和延迟。ORB-SLAM3 在普通 x86 上可以做到实时但在资源受限的机器人平台需要裁剪关键帧数量、降低图像分辨率或者使用稀疏特征提取策略。6.4 从视觉SLAM到具身智能具身智能需要的不只是定位和建图还包括语义理解、任务规划、运动控制。但视觉 SLAM 提供的“环境几何结构”和“自身位姿”是所有上层能力的地基。一个常见的学习路径是视觉 SLAM解决“我在哪里、周围长什么样”。机器人导航在 SLAM 地图上做路径规划与避障学习 ROS 2 Nav2 框架。语义感知用目标检测、语义分割给地图添加语义标签形成语义地图。机械臂操作结合视觉伺服和目标抓取完成“看到-决策-执行”闭环。因此不要觉得 SLAM 只是传统机器人方向。它实际上是通向具身智能、无人驾驶的关键前置技能之一。7. 总结与学习建议视觉 SLAM 的学习可以分为“数学基础-模块实现-完整系统-工程优化”四个阶段。本文从 SLAM 的核心概念出发介绍了视觉 SLAM 的整体框架、数学基础、ORB 特征匹配原理、非线性优化方法然后带你在 Ubuntu 上从零配置依赖、编译并运行 ORB-SLAM3最后总结了常见的环境问题和工程落地建议。如果你的目标是快速上手建议优先完成以下三件事把《视觉SLAM十四讲》前 7 章的公式推导和代码跑完不追求全部背下来但要知道每个模块解决什么问题。运行至少一个数据集TUM 或 EuRoC把 ORB-SLAM3 跑通并保存轨迹与真实轨迹比较算出 ATE 或 RPE 误差。用 ROS 2 和真实摄像头采集一段自己的数据尝试用 ORB-SLAM3 实时运行感受真实场景和数据集场景的差异。如果你在学习过程中卡住了先不要急着换资料更不要直接跳到深度学习和多传感器融合方向。多花点时间把坐标变换和优化理论弄扎实这些知识会在后面帮助你解决几乎所有看似“玄学”的问题。视觉 SLAM 的门槛不低但只要你按步骤走每一步都能看到可视化结果成就感会推着你继续往前走。如果你觉得本文对你有帮助可以收藏备用。后续我还会写一些关于 ORB-SLAM3 代码导读、视觉惯性里程计和机器人导航地图构建的内容敬请关注。
视觉SLAM入门路线：从《十四讲》到ORB-SLAM3实战
最近几年具身智能、人形机器人、无人驾驶成了 AI 领域最热的方向。不管是让机器人自己走路避障还是让汽车在复杂道路上感知环境背后都有一个交叉学科的影子SLAM尤其是视觉 SLAMVisual SLAM简称 VSLAM。很多读者后台问我想系统入门视觉 SLAM第一步应该看什么我通常会回答把《视觉SLAM十四讲》这本书吃透配套把 ORB-SLAM3 跑起来基本就摸到门道了。不过《视觉SLAM十四讲》这本书内容非常密集涉及李群李代数、非线性优化、特征点法、直接法、回环检测、地图构建等多个模块。很多初学者在看书过程中会遇到“公式看得懂、代码跑不起来”的困境。本文结合我自己的学习经历和工程实践把从零入门视觉 SLAM 的关键概念、学习主线、环境搭建、运行 Demo 的完整路径整理出来希望能帮你把这条学习曲线走平一些。无论你将来是做机器人导航、无人驾驶、AR/VR还是具身智能算法视觉 SLAM 都是一门绕不开的基础课。读完本文你会明白视觉 SLAM 的整体框架是什么四个核心模块分别解决什么问题以及在一台 Ubuntu 机器上如何把 ORB-SLAM3 完整跑起来。我会尽量把原理和实操结合起来代码、命令、配置都给全方便你照着做。1. 背景与核心概念为什么视觉SLAM如此重要1.1 SLAM是什么SLAM 的全称是 Simultaneous Localization and Mapping中文叫“同时定位与建图”。简单说就是让一个移动的载体机器人、无人机、汽车、手机在没有事先知道环境地图的情况下一边确定自己在哪里一边构建周围环境的地图。它的英文名称包含了两个任务Localization定位解决“我在哪”的问题。Mapping建图解决“周围长什么样”的问题。这两个问题互相耦合定位需要地图建图需要知道当前位姿。所以 SLAM 本质上是一个“鸡生蛋、蛋生鸡”的问题需要通过传感器数据和状态估计算法一起求解。根据传感器类型SLAM 可以分成激光 SLAM 和视觉 SLAM。激光 SLAM 直接测距精度高、受光照影响小但激光雷达贵而且只能获取几何信息无法感知纹理和颜色。视觉 SLAM 则使用相机作为传感器成本低、信息丰富既能做定位也能识别语义信息因此在无人驾驶、服务机器人、AR/MR 领域不可替代唯一的难点是视觉信息计算量大对算法和算力要求更高。1.2 视觉SLAM与具身智能、无人驾驶的关系这里先梳理一个概念链条具身智能Embodied AI指的是让 AI 拥有“身体”能感知环境、做出决策并行动比如人形机器人、机械臂抓取。机器人要在真实世界中导航、避障、抓取首先就需要知道“我在哪”“物体在哪”“障碍物在哪”。这三个问题分别对应 SLAM 的定位、语义感知和建图能力。无人驾驶感知系统中一个关键环节是在线实时定位。视觉 SLAM 可以结合 IMU、轮速计、RTK 等传感器在 GPS 失效场景地下车库、隧道中提供连续、精确的位姿估计。所以视觉 SLAM 是机器人和无人驾驶“感知-决策-执行”链路中最底层的一环也是具身智能学习路线的第一站。1.3 为什么从《视觉SLAM十四讲》开始《视觉SLAM十四讲》以下简称《十四讲》是国内最受欢迎的一本视觉 SLAM 入门书配套有开源代码内容覆盖了视觉 SLAM 的完整数学基础和工程实现。很多人说这本书“劝退”原因在于数学要求高旋转矩阵、变换矩阵、四元数、李群李代数、非线性优化。依赖环境复杂OpenCV、Eigen、Sophus、Ceres、G2O、PCL、DBoW3 等库版本众多配置很容易踩坑。跨学科涉及图像处理、概率论、多视图几何、图优化等多个方向。但这恰恰说明一个问题只有把这些基础啃下来后面的高层应用才能真正理解。如果你能跑通书中的代码再把 ORB-SLAM3 运行起来你对 SLAM 的认知会有一个质的飞跃。1.4 经典视觉SLAM系统运行框架为了便于记忆可以把视觉 SLAM 分成四个核心模块模块英文名称核心任务常用方法前端视觉里程计Front-end Visual Odometry (VO)根据相邻帧估算相机相对运动构建局部轨迹特征点法ORB、直接法LSD-SLAM、半直接法SVO后端优化Back-end Optimization对相机位姿和地图点进行全局优化消除累积漂移扩展卡尔曼滤波EKF、BABundle Adjustment、位姿图优化回环检测Loop Closure Detection识别相机是否回到之前访问过的位置词袋模型BoW、DBoW2/DBoW3、深度学习全局描述子建图Mapping根据位姿和观测构建地图表达稀疏点云、稠密点云、八叉树地图OctoMap、栅格地图下图是经典的视觉 SLAM 流程图用文字描述传感器数据图像/IMU ↓ 前端视觉里程计帧间位姿估计 ↓ 后端优化全局位姿、地图点、滑动窗口 ↓ 回环检测当前位置是否访问过 —→ 触发回环修正 ↓ 地图构建稀疏/稠密/语义地图初学者最容易踩的一个误区是只盯着“帧间匹配”以为 SLAM 就是算一个变换矩阵。实际上没有回环检测的 SLAM 只能叫视觉里程计因为误差会不断累积没有后端优化的 SLAM 轨迹会越飘越远。只有把四个模块串联起来才是一个完整的 SLAM 系统。2. 环境准备与版本说明2.1 操作系统与编译工具如果你的目标是学习算法而非生产部署推荐使用 Ubuntu 20.04 或 Ubuntu 22.04。本文示例针对 Ubuntu 20.04 ROS Noetic 组合这也是目前《十四讲》和 ORB-SLAM3 社区最常见的搭配。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。如果你的系统是 Ubuntu 22.04有些库比如 OpenCV 4.5.x、PCL 1.12版本更高编译 ORB-SLAM3 时通常也没有问题但需要注意 Ceres 和 Pangolin 的版本匹配。2.2 依赖清单视觉 SLAM 是一个重度依赖第三方库的方向下面列出最关键的几项库名称作用示例版本Eigen线性代数库矩阵运算基础3.3.7Sophus李群李代数库支持 SO(3) / SE(3)书中修改版OpenCV图像读取、特征提取、相机标定4.2.0 / 4.5.5Ceres非线性最小二乘优化库1.14.0 / 2.1.0G2O图优化库基于顶点和边书中修改版PangolinOpenGL 可视化库画轨迹和相机位姿0.6PCL点云处理库用于建图1.10ROS机器人操作系统Noetic / Foxy2.3 安装基础工具在开始之前先把系统的编译工具链装好sudo apt update sudo apt install -y build-essential cmake git pkg-config sudo apt install -y libeigen3-dev libglew-dev libglfw3-dev sudo apt install -y libgoogle-glog-dev libgflags-dev sudo apt install -y libatlas-base-dev libsuitesparse-dev上面这些库中libeigen3-dev是矩阵运算基础libsuitesparse-dev是稀疏线性求解依赖Ceres 和 G2O 都会用到。libgoogle-glog-dev和libgflags-dev是日志和命令行解析库。2.4 安装OpenCVOpenCV 的选择要谨慎。Ubuntu 自带源里的 OpenCV 通常是 4.2 或 4.5对大多数例子来说足够。可以这样安装sudo apt install -y libopencv-dev安装完成后验证版本pkg-config --modversion opencv4如果需要编译 Pangolin 或者 ORB-SLAM3建议同时安装 OpenCV contrib 模块吗这里要提醒ORB-SLAM3 只需要基础模块不需要 contrib。编译时如果 OpenCV 版本太高比如 4.8某些旧代码可能因为CV_LOAD_IMAGE_GRAYSCALE等 API 变更而报错遇到时改为cv::IMREAD_GRAYSCALE即可。2.5 编译PangolinPangolin 是可视化库《十四讲》第三版使用 Pangolin 0.6。编译步骤git clone https://github.com/stevenlovegrove/Pangolin.git cd Pangolin git checkout v0.6 mkdir build cd build cmake .. make -j$(nproc) sudo make install注意如果 clone 的默认分支是 0.9/0.8 版本接口会发生一些变化比如gl::GlTexture之类的命名空间调整所以一定要按 v0.6 这个 tag 编译除非你想用新版适配代码。2.6 安装Ceres和G2O《十四讲》的许多示例依赖 Ceres 和 G2O。如果你只想先跑通演示可以只装 Ceresgit clone https://github.com/ceres-solver/ceres-solver.git cd ceres-solver mkdir build cd build cmake .. make -j$(nproc) sudo make installG2O 因为作者维护了一个修改过的分支建议直接从《十四讲》源码的3rdparty里编译。也可以使用官方原版但部分示例会依赖g2o::VertexSE3Expmap之类的类官方库接口略有差异编译时如果报错先检查接口变化。2.7 拉取《十四讲》源码高翔老师维护的《十四讲》配套代码是https://github.com/gaoxiang12/slambook2这是第二版也是目前使用最广泛的版本。第三方库放在了slambook2/3rdparty目录下你可以把整个仓库克隆到本地git clone https://github.com/gaoxiang12/slambook2.git cd slambook2书的配套代码并不是一个大工程而是按章节拆成了多个独立的文件夹例如ch3/三维空间刚体运动ch4/李群李代数ch5/相机模型与图像ch6/非线性优化ch7/特征点法视觉里程计ch9/设计前端ch10/后端优化ch11/位姿图优化ch12/回环检测ch13/建图强烈建议按章节顺序编译运行。不要一开始就跳到 ORB-SLAM3否则会缺少中间很多数学和工程铺垫。3. 核心原理拆解从数学到系统3.1 三维空间刚体运动旋转矩阵、变换矩阵、四元数SLAM 中最重要的一个基础问题是如何描述相机在空间中的位置和朝向。相机位姿由旋转矩阵 $R$ 和平移向量 $t$ 组成通常用变换矩阵 $T$ 表示$$T \begin{bmatrix} R t \ 0^T 1 \end{bmatrix}$$一个三维点在世界坐标系下的坐标 $p_w$经过变换矩阵 $T$ 转换到相机坐标系$$p_c T \cdot p_w$$在代码里Eigen 提供了矩阵运算模块#include Eigen/Core #include Eigen/Geometry int main() { // 定义旋转角绕 Z 轴旋转 45 度 double angle M_PI / 4; Eigen::Matrix3d R Eigen::AngleAxisd(angle, Eigen::Vector3d::UnitZ()).toRotationMatrix(); // 定义平移向量 Eigen::Vector3d t(1.0, 2.0, 3.0); // 构造变换矩阵 T Eigen::Isometry3d T Eigen::Isometry3d::Identity(); T.rotate(R); T.pretranslate(t); // 世界坐标系下的点 Eigen::Vector3d p_w(0.0, 1.0, 0.0); // 转换到相机坐标系 Eigen::Vector3d p_c T * p_w; std::cout p_c p_c.transpose() std::endl; return 0; }这里有一个新手容易混淆的概念Isometry3d本质上是一个四维的齐次变换矩阵但在 Eigen 中可以直接乘以三维点Eigen 内部自动完成齐次坐标变换。实际工程中一定要明确点是“在世界系”还是“在相机系”这是很多 bug 的根源。四元数也是描述旋转的一种方式优点是简洁、无奇异性、插值方便。但四元数不好直观理解一般建议先把旋转矩阵和变换矩阵搞清楚四元数只需知道和矩阵之间的转换关系即可。3.2 相机模型与内参相机把三维世界投影到二维图像这个过程可以用针孔相机模型描述相机坐标系下的点 $(X, Y, Z)$投影到归一化平面坐标 $(x, y) (X/Z, Y/Z)$再经过内参矩阵 $K$ 得到像素坐标$$u f_x \cdot x c_x$$ $$v f_y \cdot y c_y$$内参矩阵 $K$ 可以写成$$K \begin{bmatrix} f_x 0 c_x \ 0 f_y c_y \ 0 0 1 \end{bmatrix}$$其中$f_x, f_y$ 是焦距单位像素$c_x, c_y$ 是主点坐标。在代码中用 OpenCV 读取图像并查看内参的例子#include opencv2/opencv.hpp #include iostream int main() { // 读取图像 cv::Mat image cv::imread(/home/your_name/slambook2/ch5/undistort/1.png, cv::IMREAD_COLOR); if (image.empty()) { std::cerr Failed to load image std::endl; return -1; } // 内参矩阵实际值需要根据相机标定得到 cv::Mat K (cv::Mat_double(3, 3) 520.9, 0, 325.1, 0, 521.0, 249.7, 0, 0, 1); // 畸变系数 cv::Mat distCoeffs (cv::Mat_double(1, 5) -0.2541, 0.1159, 0, 0, 0); // 去除畸变 cv::Mat undistorted; cv::undistort(image, undistorted, K, distCoeffs); cv::imwrite(undistorted.png, undistorted); std::cout Undistortion done. std::endl; return 0; }相机标定是视觉 SLAM 工程落地中绕不开的流程。常见的标定工具包括OpenCV 提供的calibrateCamera()接口。ROS 中的camera_calibration功能包。张正友棋盘格标定法。在生产环境中相机的内参和畸变系数必须精确标定否则前端的特征匹配和三角化都会产生明显误差。3.3 非线性优化与图优化视觉 SLAM 的位姿估计本质上是一个状态估计问题。我们要找一组相机位姿和三维空间点使得所有观测误差最小。这个问题的数学形式是最小二乘问题$$\min \sum_{i,j} | z_{ij} - h(T_i, P_j) |^2$$其中 $z_{ij}$ 是实际观测到的像素坐标$h$ 是重投影函数$T_i$ 是第 i 帧相机位姿$P_j$ 是第 j 个地图点坐标。高斯牛顿法和列文伯格-马夸尔特法LM是解决这个问题的常用方法。Eigen 本身不做非线性优化我们通常借助 Ceres 或 G2O 完成。下面用 Ceres 演示一个非常简单的曲线拟合问题理解 Ceres 的基本用法#include ceres/ceres.h #include glog/logging.h #include iostream #include cmath // 残差块拟合 y exp(a * x b) w struct ExponentialResidual { ExponentialResidual(double x, double y) : x_(x), y_(y) {} template typename T bool operator()(const T* const a, const T* const b, T* residual) const { residual[0] y_ - exp(a[0] * x_ b[0]); return true; } private: const double x_; const double y_; }; int main(int argc, char** argv) { google::InitGoogleLogging(argv[0]); // 生成带噪声的数据 const double a_true 0.3, b_true 0.1; std::vectordouble x_data, y_data; for (int i 0; i 100; i) { double x i * 0.1; double y exp(a_true * x b_true) (rand() % 1000) / 1000.0 * 0.2 - 0.1; x_data.push_back(x); y_data.push_back(y); } // 初始估计 double a 0.0, b 0.0; ceres::Problem problem; for (int i 0; i x_data.size(); i) { problem.AddResidualBlock( new ceres::AutoDiffCostFunctionExponentialResidual, 1, 1, 1( new ExponentialResidual(x_data[i], y_data[i])), nullptr, a, b); } ceres::Solver::Options options; options.max_num_iterations 100; options.linear_solver_type ceres::DENSE_QR; options.minimizer_progress_to_stdout true; ceres::Solver::Summary summary; ceres::Solve(options, problem, summary); std::cout summary.BriefReport() std::endl; std::cout Estimated a: a , b: b std::endl; return 0; }这段代码的核心思想是定义残差、添加残差块、求解。在视觉 SLAM 中残差就是“重投影误差”而待优化的变量就是相机位姿和地图点坐标。理解 Ceres 的使用方法后再去看 ORB-SLAM3 中的优化代码就不会太吃力。3.4 前端视觉里程计特征点法特征点法是目前最成熟、最常用的视觉里程计方法。它主要由以下步骤组成提取特征点FAST、ORB 等。计算描述子ORB 描述子。匹配特征点暴力匹配或快速近似最近邻FLANN。求解相对运动对极几何2D-2DPnP3D-2DICP3D-3D。剔除误匹配随机采样一致性RANSAC。ORB 特征在旋转和光照上都有一定的鲁棒性提取速度也快适合实时 SLAM。OpenCV 中提取 ORB 特征的代码#include opencv2/opencv.hpp #include opencv2/features2d.hpp #include iostream int main() { cv::Mat img1 cv::imread(1.png, cv::IMREAD_GRAYSCALE); cv::Mat img2 cv::imread(2.png, cv::IMREAD_GRAYSCALE); if (img1.empty() || img2.empty()) { std::cerr Failed to load images std::endl; return -1; } // 提取 ORB 特征 std::vectorcv::KeyPoint kp1, kp2; cv::Mat desc1, desc2; cv::Ptrcv::ORB orb cv::ORB::create(500, 1.2f, 8, 31, 0, 2, cv::ORB::HARRIS_SCORE, 31, 20); orb-detectAndCompute(img1, cv::noArray(), kp1, desc1); orb-detectAndCompute(img2, cv::noArray(), kp2, desc2); // 暴力匹配 std::vectorcv::DMatch matches; cv::BFMatcher matcher(cv::NORM_HAMMING); matcher.match(desc1, desc2, matches); // 筛选最优匹配 double min_dist 10000; for (const auto m : matches) { if (m.distance min_dist) min_dist m.distance; } std::vectorcv::DMatch good_matches; for (const auto m : matches) { if (m.distance std::max(2 * min_dist, 30.0)) { good_matches.push_back(m); } } cv::Mat img_match; cv::drawMatches(img1, kp1, img2, kp2, good_matches, img_match); cv::imshow(good matches, img_match); cv::waitKey(0); std::cout Total good matches: good_matches.size() std::endl; return 0; }为什么匹配之后还要做 RANSAC因为图像中的错误匹配是不可避免的哪怕描述子距离很小也可能匹配到错误位置。RANSAC 可以从包含误匹配的对应点集合中估计出正确的变换模型同时把外点剔掉。在《十四讲》第7章中你还会看到用对极约束求解本质矩阵 E再分解得到 R 和 t 的完整流程。4. 完整实战案例编译运行ORB-SLAM3当你学完《十四讲》的大部分章节后下一步就是跑一个完整、现代的 SLAM 系统。ORB-SLAM3 是目前最经典、影响力最大的特征点法 SLAM 之一支持单目、双目、RGB-D 和 IMU 融合。本小节以 RGB-D 模式为例带你在 Ubuntu 上跑通一个 TUM 数据集序列。4.1 下载ORB-SLAM3源码ORB-SLAM3 官方仓库是https://github.com/UZ-SLAMLab/ORB_SLAM3注意大小写。git clone https://github.com/UZ-SLAMLab/ORB_SLAM3.git cd ORB_SLAM34.2 ORB-SLAM3依赖说明ORB-SLAM3 依赖以下库OpenCVEigen3Pangolin可视化界面DBoW2回环检测词袋SLAM 源码自带第三方库g2o图优化源码自带第三方库Sophus源码自带第三方库如果你按照第 2 节装好了 Pangolin 和 OpenCV就可以直接编译 ORB-SLAM3。在执行编译前还需要安装sudo apt install -y libssl-dev libboost-system-dev libboost-filesystem-dev libboost-thread-dev然后执行编译cd ORB_SLAM3 chmod x build.sh ./build.sh编译时间取决于机器性能通常需要几分钟到十几分钟。如果网络不稳定导致 DBoW2 或 g2o 子模块下载失败可以在ORB_SLAM3/Thirdparty目录下单独编译各个子模块。4.3 下载TUM数据集TUM RGB-D 数据集是慕尼黑工业大学公开的视觉 SLAM 评估数据集包含彩色图、深度图和真实轨迹。常用的是rgbd_dataset_freiburg1_deskwget https://cvg.cit.tum.de/rgbd/dataset/freiburg1/rgbd_dataset_freiburg1_desk.tgz tar -xzvf rgbd_dataset_freiburg1_desk.tgz如果下载地址失效也可以去 TUM 官网手动下载。数据集解压后需要确认目录下有rgb.txt、depth.txt、groundtruth.txt和rgb/、depth/文件夹。4.4 运行RGB-D示例ORB-SLAM3 自带 TUM RGB-D 示例运行前需要准备Examples/RGB-D/TUM1.yaml配置文件。通常这个文件已经在仓库里了我们只需要执行./Examples/RGB-D/rgbd_tum \ Vocabulary/ORBvoc.txt \ Examples/RGB-D/TUM1.yaml \ /path/to/rgbd_dataset_freiburg1_desk \ /path/to/rgbd_dataset_freiburg1_desk/associations.txt其中associations.txt是彩色图和深度图的配对文件。如果数据集目录没有这个文件可以用仓库自带的 Python 脚本生成import os rgb_dir rgb depth_dir depth def load_timestamps(filepath): timestamps [] with open(filepath, r) as f: for line in f: line line.strip() if line.startswith(#) or not line: continue parts line.split() timestamps.append((parts[0], parts[1])) return timestamps rgb_items load_timestamps(rgb.txt) depth_items load_timestamps(depth.txt) with open(associations.txt, w) as f: for rgb_ts, rgb_file in rgb_items: # 找时间戳最近的深度图 best_depth None best_diff float(inf) for depth_ts, depth_file in depth_items: diff abs(float(rgb_ts) - float(depth_ts)) if diff best_diff: best_diff diff best_depth depth_file if best_depth: f.write(f{rgb_ts} {rgb_file} {float(rgb_ts) 0.0:.6f} {best_depth}\n)注意这个脚本简化了深度图时间戳的配对逻辑实际 TUM 数据集的 association 脚本要更严谨一些。官方提供的associate.py可以在这里获取wget https://raw.githubusercontent.com/raulmur/ORB_SLAM2/master/Examples/RGB-D/associate.py python associate.py rgb.txt depth.txt associations.txt之所以要配准时间戳是因为深度图和彩色图是不同相机异步采集的直接按文件顺序简单拼接会导致像素对不齐最终轨迹精度变差。4.5 预期运行结果程序启动后会出现 Pangolin 可视化窗口显示相机轨迹和稀疏地图点。终端会打印每帧处理的耗时、当前关键帧数量、地图点数量等。数据集运行结束后程序会输出轨迹文件KeyFrameTrajectory.txt你可以用 Python 和 matplotlib 画出来。import numpy as np import matplotlib.pyplot as plt data [] with open(KeyFrameTrajectory.txt, r) as f: for line in f: line line.strip() if line.startswith(#) or not line: continue parts line.split() data.append([float(parts[0]), float(parts[1]), float(parts[2]), float(parts[3])]) data np.array(data) plt.figure(figsize(8, 6)) plt.plot(data[:, 1], data[:, 2], linewidth1.0) plt.xlabel(x (m)) plt.ylabel(z (m)) plt.title(ORB-SLAM3 Trajectory) plt.grid(True) plt.savefig(trajectory.png, dpi200)运行成功后你实际上已经完成了一个“从传感器数据到轨迹输出”的完整链路。接下来再去分析它的源码比如跟踪线程、局部建图线程、回环检测线程就有了很好的工程基础。5. 常见问题与排查思路视觉 SLAM 环境配置是出了名的麻烦。这里整理几个我经常遇到的报错和排查方法。问题现象常见原因解决思路编译 C 代码报错找不到 Eigen3没有安装 Eigen 或 CMake 找不到 Eigen3_DIRsudo apt install libeigen3-devCMake 里添加find_package(Eigen3 REQUIRED)OpenCV 版本不匹配报cuda_gl_interop.h不存在OpenCV CPU 版本和 CUDA 冲突重新安装非 CUDA 版 OpenCV或删除系统中 CUDA 相关 OpenCV 头文件ORB-SLAM3 编译时usleep报错在新版 glibc 中usleep声明被移除在源码文件中添加#include unistd.h若仍报错在system.cc里加int usleep(useconds_t usec);声明Pangolin 版本太新API 变动导致编译失败使用了 Pangolin 0.8/0.9切换到 v0.6 tag 重新编译TUM 数据集运行后轨迹明显漂移相机内参配置不对或者 RGB-D 深度图时间戳没配对好检查 TUM1.yaml 中 fx、fy、cx、cy 是否正确重新生成 associations.txt单目模式初始化失败一直显示trying to initialize场景纹理不够丰富或者相机移动幅度太小改用纹理丰富的序列平移相机而不是原地旋转编译时g2o报大量链接错误G2O 的库版本和 ORB-SLAM3 自带的第三方库冲突优先使用 ORB-SLAM3 自带的Thirdparty/g2o不要用系统安装的 g2o5.1 例Pangolin编译失败的解决Pangolin 是一个依赖很多图形库的项目常见报错包括缺少xkbcommon、缺少Wayland、缺少libepoxy。可以按如下顺序安装sudo apt install -y libxkbcommon-dev libwayland-dev libepoxy-dev libx11-dev libxrandr-dev libxi-dev libxcursor-dev libxinerama-dev libxxf86vm-dev然后再重新编译 Pangolin基本可以解决大部分图形库依赖问题。5.2 例RGB-D序列显示“no depth image”问题运行 TUM RGB-D 序列时如果控制台一直提示找不到深度图大概率是associations.txt生成失败。此时可以用head命令检查文件内容head -n 5 associations.txt正常内容应该是1305031102.175304 1305031102.175304.png 1305031102.183763 1305031102.183763.png如果发现文件内容是空白的说明associate.py的路径参数写错了。5.3 例并行编译内存不足导致卡死ORB-SLAM3 的编译过程比较吃内存默认的make -j会耗尽内存。建议使用make -j4甚至make -j2特别是虚拟机环境下。如果卡死先kill进程再降低并行编译线程数重试。6. 工程实践与进阶建议6.1 理论学习路线如果你完全零基础我建议按下面的顺序推进先学习 C 基础和 Linux 操作至少会写类、STL 容器、编译 Makefile/CMake。看《视觉SLAM十四讲》前 6 章重点掌握三维空间刚体运动、旋转矩阵、四元数、李群李代数、相机模型和非线性优化。看第 7 章实现一个基于特征点的视觉里程计跑通 2D-2D 对极几何和 3D-2D PnP。看第 8 章理解光流法和直接法的区别了解为什么直接法在纹理缺乏场景更有效。看第 9-10 章理解前端设计、后端 BA 和图优化。看第 11-13 章理解回环检测和建图了解词袋模型、八叉树地图和点云拼接。跑 ORB-SLAM3 作为综合实践。6.2 代码阅读顺序直接看 ORB-SLAM3 源码容易迷失。我建议按“线程”来读跟踪线程TrackingSystem.cc、Tracking.cc理解每帧图像如何变成相机位姿。局部建图线程LocalMappingLocalMapping.cc理解关键帧筛选、地图点创建和局部 BA。回环检测线程LoopClosingLoopClosing.cc理解回环候选帧搜索、Sim3 求解和全局优化。地图管理Map / MapPoint / KeyFrame理解数据结构如何组织。6.3 工程落地建议在真正的机器人或无人驾驶项目中使用 SLAM不能只停留在跑通 Demo还要注意以下几点传感器标定与同步视觉 SLAM 的精度上限由传感器决定而不是算法。相机内参、畸变、IMU 外参、相机到机器人基座的外参、时间戳同步都要做到尽量精确。很多“算法效果差”的问题最终定位到是标定错误。坐标系约定团队里必须统一坐标系约定。不同 SLAM 系统输出的是“相机系到世界系”还是“世界系到相机系” ROS 中的tf树如何连接都要有清晰文档。否则算法联调时会出现方向翻转的问题。参数调优与鲁棒性ORB-SLAM3 提供了大量 yaml 参数。灰度阈值、特征点数量、金字塔缩放因子、RANSAC 迭代次数、局部 BA 窗口大小等都需要根据应用场景反复实验。不要直接拿着默认参数去跑真实场景不同的光照、运动速度和传感器分辨率会带来显著差异。失败检测与恢复工程系统必须有“跟踪丢失”检测机制。比如长时间特征匹配数量过少、重投影误差突然增大都要触发重定位或重新初始化。ORB-SLAM3 有重定位机制但你需要在自己的项目里定义什么时候报告失败什么时候切换传感器模式。计算资源规划SLAM 算法通常要跑在嵌入式设备或者车辆计算平台。需要提前评估 CPU 占用、内存占用和延迟。ORB-SLAM3 在普通 x86 上可以做到实时但在资源受限的机器人平台需要裁剪关键帧数量、降低图像分辨率或者使用稀疏特征提取策略。6.4 从视觉SLAM到具身智能具身智能需要的不只是定位和建图还包括语义理解、任务规划、运动控制。但视觉 SLAM 提供的“环境几何结构”和“自身位姿”是所有上层能力的地基。一个常见的学习路径是视觉 SLAM解决“我在哪里、周围长什么样”。机器人导航在 SLAM 地图上做路径规划与避障学习 ROS 2 Nav2 框架。语义感知用目标检测、语义分割给地图添加语义标签形成语义地图。机械臂操作结合视觉伺服和目标抓取完成“看到-决策-执行”闭环。因此不要觉得 SLAM 只是传统机器人方向。它实际上是通向具身智能、无人驾驶的关键前置技能之一。7. 总结与学习建议视觉 SLAM 的学习可以分为“数学基础-模块实现-完整系统-工程优化”四个阶段。本文从 SLAM 的核心概念出发介绍了视觉 SLAM 的整体框架、数学基础、ORB 特征匹配原理、非线性优化方法然后带你在 Ubuntu 上从零配置依赖、编译并运行 ORB-SLAM3最后总结了常见的环境问题和工程落地建议。如果你的目标是快速上手建议优先完成以下三件事把《视觉SLAM十四讲》前 7 章的公式推导和代码跑完不追求全部背下来但要知道每个模块解决什么问题。运行至少一个数据集TUM 或 EuRoC把 ORB-SLAM3 跑通并保存轨迹与真实轨迹比较算出 ATE 或 RPE 误差。用 ROS 2 和真实摄像头采集一段自己的数据尝试用 ORB-SLAM3 实时运行感受真实场景和数据集场景的差异。如果你在学习过程中卡住了先不要急着换资料更不要直接跳到深度学习和多传感器融合方向。多花点时间把坐标变换和优化理论弄扎实这些知识会在后面帮助你解决几乎所有看似“玄学”的问题。视觉 SLAM 的门槛不低但只要你按步骤走每一步都能看到可视化结果成就感会推着你继续往前走。如果你觉得本文对你有帮助可以收藏备用。后续我还会写一些关于 ORB-SLAM3 代码导读、视觉惯性里程计和机器人导航地图构建的内容敬请关注。
