1. 项目概述：为什么深度感知是AR开发的“分水岭”？

如果你正在看这篇文章，大概率已经对AR（增强现实）开发有了初步了解，可能用Unity或Unreal Engine做过一些简单的图像识别、平面检测，甚至把3D模型“贴”在了桌面上。但当你尝试让虚拟物体真正“理解”它所处的物理空间——比如让一个虚拟的杯子稳稳地放在不平整的地毯褶皱里，或者让一个虚拟角色自然地绕过现实中的沙发——你就会发现，传统的基于标记或平面的AR技术，其交互深度和真实感一下子就撞到了天花板。这正是深度感知AR要解决的核心问题：让虚拟内容不仅“看见”平面，更能“感知”三维空间的几何结构与深度信息，实现虚实之间毫米级的精准融合与遮挡。

深度感知AR开发，听起来高大上，但它的本质并不神秘。你可以把它理解为给AR应用装上了一双“立体视觉”的眼睛。传统的手机AR主要依赖单目摄像头和惯性测量单元（IMU），通过SLAM（即时定位与地图构建）技术估算相机的位姿和稀疏的特征点云，来理解“我在哪里”和“面前大概是什么方向”。而深度感知，则是在此基础上，通过专用的深度传感器（如结构光、ToF飞行时间法、立体视觉）或基于AI的单目深度估计算法，获取场景中每个像素点到摄像头的精确距离，从而构建出稠密的、带有几何信息的三维环境模型。

这带来的改变是革命性的。举个例子，没有深度感知，一个虚拟的台灯模型只能漂浮在检测到的水平面上；有了深度感知，这个台灯可以精确地“站”在桌面的边缘，其阴影可以根据房间内真实光源的方向和深度信息生成的几何表面进行投射，甚至当你的手从台灯前划过时，虚拟的灯光能真实地被你的手遮挡。这种级别的沉浸感，正是下一代消费级AR应用，从娱乐游戏到工业维修、从室内设计到远程协作，所迫切需要的核心能力。

然而，从“知道概念”到“跑通流程”，中间隔着一道由环境配置、SDK集成、数据处理、性能优化构成的鸿沟。网上的教程要么过于理论化，要么只针对某个特定硬件（如某款已停产的深度摄像头），缺乏一套通用的、可复现的实战路径。这正是我写这篇指南的初衷：我将以最主流的Unity引擎和跨平台的AR Foundation框架为核心，结合苹果的ARKit Depth API与谷歌的ARCore Depth API，带你用五个清晰的步骤，从零搭建一个深度感知AR开发环境，并完成一个包含场景理解、网格重建、虚实遮挡的完整落地场景。无论你是移动应用开发者、XR内容创作者，还是对空间计算感兴趣的学生，这篇指南都将提供一条避坑的实战路径。

2. 核心思路与工具选型：为什么是AR Foundation + 原生SDK？

在开始动手之前，我们必须理清技术栈。深度感知AR开发不是单一技术，而是一个技术栈的组合。选型错误，可能会让你在后期陷入无尽的兼容性和性能泥潭。

2.1 核心框架：为什么选择AR Foundation？

Unity的AR Foundation是一个抽象层，它统一了ARKit（iOS）和ARCore（Android）的接口。这意味着，你写一套C#代码，就可以同时部署到iOS和Android设备上，前提是设备支持相应的原生深度功能。这是它最大的优势——跨平台。

但AR Foundation本身并不“生产”深度数据，它只是一个“搬运工”和“翻译官”。真正的深度数据来源于手机操作系统底层对深度传感器或视觉算法的调用。在iOS上，这依靠的是ARKit的Depth API；在Android上，则依赖ARCore的Depth API。AR Foundation的AROcclusionManager、ARMeshManager等组件，为我们提供了访问这些底层深度和几何信息的标准化方式。

注意：AR Foundation的版本与Unity编辑器版本、XR Plugin兼容性紧密相关。我强烈建议使用Unity 2021 LTS或2022 LTS版本，并搭配对应版本的AR Foundation package（如7.0+）。过旧的版本可能不支持最新的深度API特性。

2.2 深度数据来源：硬件与算法的权衡

深度数据的获取主要有两种途径：

1. 主动式深度传感器：如iPhone 12 Pro及更新机型上的LiDAR扫描仪，以及部分安卓旗舰机搭载的ToF镜头。它们通过发射并接收红外光来直接测量距离，精度高、响应快，尤其在低纹理或暗光环境下表现优异。这是目前体验最好的深度感知方案。
2. 被动式单目深度估计：仅依靠普通的RGB摄像头，通过机器学习模型实时估算深度图。这是ARCore Depth API为没有专用传感器的Android设备提供的主流方案，ARKit也为不带LiDAR的设备提供了类似功能。其优势是设备兼容性广，但精度、速度和稳定性通常不及专用传感器，对场景纹理和光照条件也更敏感。

我们的实战将优先考虑LiDAR/ToF硬件方案，因为它能提供最稳定可靠的数据，便于我们理解深度感知的核心原理。对于单目深度估计，其集成方式在API层面是相似的，但需要额外关注性能开销和精度处理。

2.3 辅助工具链：让开发更高效

除了核心的Unity和AR Foundation，一套顺手的工具链能极大提升效率：

• 版本管理：使用Git。为你的Unity项目设置合理的.gitignore文件，避免将Library、Temp等文件夹纳入版本控制。
• 代码编辑器：Visual Studio 2022或JetBrains Rider。确保安装了Unity开发所需的插件。
• 调试工具：Unity的Frame Debugger和Profiler是性能优化的生命线。对于深度数据可视化，我们会在项目中编写简单的着色器或使用Debug绘图来实时查看深度图和网格。

选型总结：我们的技术栈确定为Unity 2022 LTS + AR Foundation + ARKit/ARCore原生SDK，目标硬件是支持深度API的iOS/Android设备。这套组合在成熟度、社区支持和跨平台能力上最为平衡。

3. 五步实战：从环境配置到场景落地

接下来，我们进入最核心的实战环节。我将这整个过程分解为五个逻辑步骤，每一步都包含具体操作、代码片段和避坑指南。

3.1 第一步：基础开发环境搭建与项目初始化

这一步的目标是创建一个纯净、配置正确的Unity项目，为AR开发做好准备。

3.1.1 Unity编辑器安装与模块配置

1. 从Unity Hub下载并安装Unity 2022.3 LTS版本。在安装时，务必勾选以下模块：

   • iOS Build Support(如果你要开发iOS应用)
   • Android Build Support(如果你要开发Android应用)
   • Windows/Mac IL2CPP Build Support(IL2CPP后端能带来更好的性能)

2. 创建一个新的3D项目（URP或Built-in渲染管线均可，本指南以URP为例，因其在现代图形效果上更优）。项目名称如DepthARDemo。

3.1.2 导入AR Foundation及其依赖

1. 打开Unity，进入Window -> Package Manager。

2. 点击左上角“+”号，选择“Add package by name...”。

3. 依次添加以下核心Package（请使用Package Manager中可获取的最新稳定版本）：

   • com.unity.xr.arfoundation@7.0.0(AR核心框架)
   • com.unity.xr.arkit@7.0.0(iOS支持)
   • com.unity.xr.arcore@7.0.0(Android支持)
   • com.unity.render-pipelines.universal@14.0.0(URP渲染管线)

4. 等待Package下载并导入完毕。如果系统提示需要安装其他依赖（如XR Plugin Management），请同意安装。

3.1.3 关键项目设置（Player Settings）

这是最容易出错的一步，错误的设置会导致应用无法部署或AR功能无法启动。

• iOS平台设置(File -> Build Settings -> 选择iOS -> Player Settings)：

  • Other Settings：
    • Camera Usage Description：填写请求相机权限的描述，如“需要摄像头以实现增强现实功能”。（必须填写，否则App Store审核会被拒）。
    • Minimum iOS Version：设置为14.0或更高，以确保深度API支持。
    • Architecture：选择ARM64。
  • XR Plug-in Management：确保ARKit插件被勾选。

• Android平台设置(File -> Build Settings -> 选择Android -> Player Settings)：

  • Other Settings：
    • Graphics APIs：仅保留Vulkan或OpenGLES3。建议优先Vulkan以获得更好性能，但需测试设备兼容性。
    • Minimum API Level：设置为Android 8.0 (API Level 26)或更高。ARCore要求至少API 24，但更高版本更安全。
    • Target API Level：设置为你测试设备的Android版本或最新版本。
  • XR Plug-in Management：确保ARCore插件被勾选。

实操心得：每次切换构建平台（iOS/Android）后，最好关闭Unity再重新打开，或者至少进行Assets -> Reimport All操作，以确保所有平台相关的脚本和资源被正确编译和链接。我曾多次遇到因为切换平台后未重新导入，导致脚本编译错误的问题。

3.2 第二步：构建第一个深度感知AR场景

现在，我们来创建一个最基本的场景，它能够启动AR会话，并尝试获取深度信息。

3.2.1 创建基础AR场景组件

1. 在场景中删除默认的Main Camera。
2. 在Hierarchy面板右键，选择XR -> AR Session Origin。这会自动创建一个包含AR Session Origin和AR Session组件的游戏对象，以及一个子物体AR Camera，它替代了原来的主相机。
3. 选中AR Session Origin，在Inspector面板中，点击Add Component，添加以下管理器（这些是AR Foundation的核心功能组件）：
   • AR Plane Manager：用于检测和可视化水平面、垂直面。
   • AR Point Cloud Manager：用于可视化特征点云，帮助理解SLAM状态。
   • AR Occlusion Manager：这是深度感知的关键组件，负责管理虚实遮挡。
   • AR Mesh Manager：用于生成和更新环境网格。

3.2.2 配置URP渲染管线以支持AR遮挡

深度遮挡需要渲染管线支持。在URP中，我们需要启用一个特定的Renderer Feature。

1. 在Project窗口中，找到Assets/Settings文件夹（如果没有则创建），里面应该有UniversalRP-HighQuality资产（创建URP项目时自动生成）。双击打开。
2. 在Inspector中，找到Renderer List，点击其中唯一的Renderer Data资源（如Universal Renderer Asset）。
3. 在打开的Renderer Data面板中，找到Renderer Features列表，点击Add Renderer Feature，选择AR Background Renderer Feature。这个特性负责正确渲染相机背景和实现基于深度的遮挡。
4. 回到场景，选中AR Camera，确保其Clear Flags为Solid Color，且背景为纯黑色或透明。AR Background Renderer Feature会处理实际的相机画面填充。

3.2.3 编写脚本：可视化深度与网格信息

为了直观地看到深度感知的效果，我们创建一个简单的调试脚本。

1. 在Project中创建Scripts文件夹，新建一个C#脚本DepthARVisualizer.cs，将其挂载到AR Session Origin上。
2. 脚本核心代码如下：

using UnityEngine; using UnityEngine.XR.ARFoundation; using UnityEngine.XR.ARSubsystems; public class DepthARVisualizer : MonoBehaviour { public Material depthMaterial; // 一个用于将深度图渲染为颜色的材质 public bool showDepthTexture = false; public bool showMesh = true; private AROcclusionManager occlusionManager; private ARMeshManager meshManager; private RenderTexture depthDebugTexture; void Start() { occlusionManager = GetComponent<AROcclusionManager>(); meshManager = GetComponent<ARMeshManager>(); if (meshManager != null) { meshManager.meshPrefab.GetComponent<MeshRenderer>().enabled = showMesh; } } void OnDestroy() { if (depthDebugTexture != null) { depthDebugTexture.Release(); } } void Update() { // 1. 尝试获取并可视化深度纹理 if (occlusionManager != null && occlusionManager.TryAcquireEnvironmentDepthCpuImage(out XRCpuImage depthImage)) { using (depthImage) { // 首次创建或纹理尺寸不匹配时，重新创建调试纹理 if (depthDebugTexture == null || depthDebugTexture.width != depthImage.width || depthDebugTexture.height != depthImage.height) { if (depthDebugTexture != null) depthDebugTexture.Release(); depthDebugTexture = new RenderTexture(depthImage.width, depthImage.height, 0, RenderTextureFormat.ARGB32); depthDebugTexture.Create(); } // 这里简化处理：将深度图像转换为纹理。实际应用中，深度数据需要归一化等处理。 // 更复杂的可视化可能需要通过Compute Shader或Graphics.Blit。 UpdateDepthTexture(depthImage); } } // 2. 控制网格显示 if (meshManager != null && meshManager.meshPrefab != null) { meshManager.meshPrefab.GetComponent<MeshRenderer>().enabled = showMesh; } } // 一个简单的OnRenderImage用于在屏幕一角绘制深度纹理（仅用于调试，性能开销需注意） void OnRenderImage(RenderTexture src, RenderTexture dest) { Graphics.Blit(src, dest); // 默认渲染主画面 if (showDepthTexture && depthDebugTexture != null && depthMaterial != null) { // 在屏幕右下角四分之一区域绘制深度图 GL.PushMatrix(); GL.LoadPixelMatrix(); Graphics.DrawTexture(new Rect(Screen.width * 0.75f, 0, Screen.width * 0.25f, Screen.height * 0.25f), depthDebugTexture, depthMaterial); GL.PopMatrix(); } } private void UpdateDepthTexture(XRCpuImage depthImage) { // 注意：这是一个高度简化的示例。实际处理XRCpuImage需要理解其格式（通常是DepthFloat16或DepthUInt16）。 // 你需要根据 depthImage.format 来解析原始字节数据，并将其转换为可视化的灰度或彩色图。 // 此处仅为示意流程。 // 更推荐的做法是使用 occlusionManager.environmentDepthTexture，它是一个直接可用的Shader Texture。 Debug.Log($"获取到深度图: {depthImage.width}x{depthImage.height}, 格式: {depthImage.format}"); } }

3. 创建一个简单的Unlit Shader Material，将其赋给脚本的depthMaterial字段，用于将深度值映射为颜色（例如，近处红色，远处蓝色）。

3.2.4 构建与真机测试

1. 将你的iOS或Android设备通过USB连接到电脑，并开启开发者模式与USB调试。
2. 在Unity的Build Settings中，添加当前场景，选择目标平台，点击Build And Run。
3. 首次构建会花费较长时间。构建完成后，应用将安装到设备上。
4. 运行应用，授予相机权限。你应该能看到相机画面，并随着手机移动，逐渐检测出平面（AR Plane Manager可视化）和点云（AR Point Cloud Manager可视化）。如果一切正常，AR Mesh Manager会开始生成灰色的环境网格，AR Occlusion Manager会使得虚拟物体被真实环境遮挡。

避坑指南：如果在Android设备上运行黑屏或崩溃，请按以下顺序排查：

1. 检查Player Settings -> Other Settings -> Graphics APIs，确保只保留一个（Vulkan或GLES3）。
2. 确认设备是否支持ARCore，并已安装最新版Google Play Services for AR。可以在设备上运行Google的“ARCore测速”应用来验证。
3. 检查Unity日志（通过adb logcat或构建Development Build后在设备上查看日志文件），查找具体的错误信息。

3.3 第三步：深度数据解析与环境网格应用

上一步我们让系统跑起来了，但深度数据还只是一张看不见的“图”。这一步，我们要把它用起来。

3.3.1 理解深度数据的格式

通过AROcclusionManager获取的深度图，通常是一个XRCpuImage对象，其格式可能是：

• XRCpuImage.Format.DepthFloat16：每个像素是16位浮点数，表示以米为单位的距离。
• XRCpuImage.Format.DepthUInt16：每个像素是16位无符号整数，表示归一化的深度值。

我们需要将其转换为CPU端可用的数组，或直接以纹理形式传入GPU。更简单的方式是直接使用occlusionManager.environmentDepthTexture，这是一个在Shader中可以直接采样的Texture2D。

3.3.2 实现精确的虚实遮挡

遮挡是深度感知最直观的应用。在URP中，这通常由AR Background Renderer Feature和AR Occlusion Manager自动处理。但为了自定义效果，我们需要理解其原理。

1. 深度写入：AR相机在渲染真实背景时，会将估算出的环境深度信息写入Z-Buffer。
2. 虚拟物体渲染：当渲染一个虚拟物体时，它的每个像素都会计算其在相机空间中的深度（Z值）。
3. 深度测试：在片段着色器中，系统会比较虚拟像素的Z值和Z-Buffer中对应位置的环境深度值。如果虚拟像素比环境更远（Z值更大），则被丢弃（遮挡）；否则，正常渲染。

我们可以编写一个自定义的Shader，来更精细地控制遮挡行为。例如，一个简单的支持深度测试的Unlit Shader：

Shader "Custom/DepthAwareUnlit" { Properties { _Color ("Color", Color) = (1,1,1,1) _MainTex ("Albedo (RGB)", 2D) = "white" {} } SubShader { Tags { "RenderType"="Opaque" "Queue"="Geometry" } LOD 100 Pass { CGPROGRAM #pragma vertex vert #pragma fragment frag #include "UnityCG.cginc" struct appdata { float4 vertex : POSITION; float2 uv : TEXCOORD0; }; struct v2f { float2 uv : TEXCOORD0; float4 vertex : SV_POSITION; float4 screenPos : TEXCOORD1; }; sampler2D _MainTex; float4 _MainTex_ST; fixed4 _Color; // _CameraDepthTexture 是由URP管线提供的环境深度纹理 sampler2D _CameraDepthTexture; v2f vert (appdata v) { v2f o; o.vertex = UnityObjectToClipPos(v.vertex); o.uv = TRANSFORM_TEX(v.uv, _MainTex); o.screenPos = ComputeScreenPos(o.vertex); return o; } fixed4 frag (v2f i) : SV_Target { // 1. 采样物体颜色 fixed4 col = tex2D(_MainTex, i.uv) * _Color; // 2. 计算当前片元的NDC深度和屏幕UV float sceneDepth = LinearEyeDepth(SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, i.screenPos.xy / i.screenPos.w)); float objectDepth = i.screenPos.w; // 简化处理，实际应使用LinearEyeDepth处理顶点深度 // 3. 简单的深度比较（如果物体深度大于场景深度，则被遮挡） // 这里可以添加一个小的偏移量（bias）来避免Z-fighting float depthBias = 0.01; // 单位：米 if (objectDepth > sceneDepth + depthBias) { discard; // 丢弃被遮挡的片元 } return col; } ENDCG } } FallBack "Diffuse" }

3.3.3 利用环境网格进行物理交互

ARMeshManager生成的环境网格（ARMesh）是一个MeshFilter组件，包含了顶点、三角形和法线信息。我们可以利用它做更多事情：

• 物理碰撞：为生成的网格添加MeshCollider组件，这样虚拟物体就可以与环境发生物理碰撞。注意，动态更新的网格频繁更新MeshCollider开销很大，通常只对相对静止的区域启用。
• 空间标注：将用户标注的虚拟信息（如一个箭头、一段文字）持久化地“钉”在网格的特定顶点上，即使设备离开再回来，通过SLAM重定位，标注也能恢复在正确的位置。
• 体积测量：结合深度数据，可以计算现实世界中物体的长、宽、高或体积。

以下是一个示例，演示如何为静态区域的环境网格添加碰撞体：

// 挂载在AR Session Origin上，监听网格生成完成事件 public class MeshColliderHandler : MonoBehaviour { private ARMeshManager meshManager; private Dictionary<MeshId, MeshCollider> meshColliders = new Dictionary<MeshId, MeshCollider>(); void Start() { meshManager = GetComponent<ARMeshManager>(); if (meshManager != null) { meshManager.meshesChanged += OnMeshesChanged; } } void OnMeshesChanged(ARMeshesChangedEventArgs args) { // 为新添加的网格添加碰撞体（这里仅为示例，实际需判断网格是否稳定） foreach (var meshFilter in args.added) { if (!meshColliders.ContainsKey(meshFilter.meshId)) { var collider = meshFilter.gameObject.AddComponent<MeshCollider>(); collider.sharedMesh = meshFilter.sharedMesh; meshColliders[meshFilter.meshId] = collider; Debug.Log($"为网格 {meshFilter.meshId} 添加了碰撞体。"); } } // 移除已销毁网格的碰撞体引用 foreach (var meshFilter in args.removed) { if (meshColliders.TryGetValue(meshFilter.meshId, out var collider)) { Destroy(collider); meshColliders.Remove(meshFilter.meshId); } } } void OnDestroy() { if (meshManager != null) { meshManager.meshesChanged -= OnMeshesChanged; } } }

3.4 第四步：性能优化与平台适配

深度感知和实时网格重建是计算密集型任务，不当的实现会迅速耗尽手机电量并导致帧率骤降。

3.4.1 深度与网格的更新策略

• 降低更新频率：不是每一帧都需要最新的深度图和网格。对于相对静态的场景，可以将ARMeshManager的density属性调低，或通过脚本控制其enabled属性，在需要时（如用户触发扫描）才开启网格生成。
• 控制网格分辨率：ARMeshManager的meshPrefab通常包含一个MeshFilter和一个用于简化网格的组件（如UnityEngine.XR.ARFoundation.ARMeshGenerator）。你可以调整其参数来控制生成网格的面片数量。更少的三角形意味着更少的渲染和物理计算开销。
• 使用CPU Image的时机：TryAcquireEnvironmentDepthCpuImage是一个同步调用，可能阻塞主线程。如果不需要每帧处理CPU端的深度数据（例如只用于GPU遮挡），应避免频繁调用。可以考虑在子线程中异步处理，但要注意线程安全。

3.4.2 平台特异性优化

• iOS (ARKit with LiDAR)：
  • 优势：LiDAR提供高质量、高帧率的深度数据。可以更激进地使用高分辨率网格和实时遮挡。
  • 注意：关注内存占用。持续生成的高精度网格可能占用大量内存。使用Mesh.MeshDataArrayAPI进行高效的网格数据处理。
• Android (ARCore Depth API)：
  • 单目深度估计：精度和稳定性对场景光照和纹理敏感。在低光或纯色墙面环境下，深度数据可能噪声很大甚至失效。需要增加鲁棒性处理，比如对深度图进行时间滤波或空间滤波。
  • 性能：在低端Android设备上，深度估计和网格生成可能成为主要性能瓶颈。务必提供图形质量选项，允许用户关闭或降低深度/网格效果。
  • 兼容性检查：运行时必须检查AROcclusionManager.descriptor.supportsEnvironmentDepthImage和supportsEnvironmentDepthConfidenceImage（置信度图，可用于过滤不可靠的深度值）。不是所有支持ARCore的设备都支持深度API。

3.4.3 渲染优化

• 遮挡剔除：对于被真实环境完全遮挡的虚拟物体，应尽早停止渲染。除了依赖深度测试，还可以使用AROcclusionManager提供的QueryDepth方法进行粗略的CPU端深度查询，来决定是否渲染某个物体。
• 简化Shader：在移动设备上，片元着色器中的复杂计算（如每像素的深度比较）是性能杀手。尽可能使用简单的Shader，并利用URP的Shader LOD和GPU Instancing等功能。

3.5 第五步：构建一个完整的场景落地Demo

我们将整合前面所有步骤，创建一个简单的“AR测量与放置”Demo场景。这个场景允许用户：

1. 扫描环境，生成网格。
2. 点击屏幕，在真实世界的表面上放置一个虚拟立方体。
3. 立方体与真实环境发生正确的物理碰撞和视觉遮挡。
4. 测量两个放置点之间的距离。

3.5.1 场景搭建

1. 创建一个UI Canvas，包含一个按钮“Toggle Mesh”（切换网格显示）和一个Text元素用于显示测量距离。
2. 创建一个Prefab作为可放置的虚拟物体（如一个彩色立方体），为其附加刚体（Rigidbody）和碰撞体（BoxCollider）。
3. 创建一个空物体MeasurementManager，并挂载以下脚本。

3.5.2 核心交互脚本

using UnityEngine; using UnityEngine.UI; using UnityEngine.XR.ARFoundation; using UnityEngine.XR.ARSubsystems; public class ARPlacementAndMeasurement : MonoBehaviour { public ARRaycastManager raycastManager; public GameObject placementPrefab; public Text distanceText; public LayerMask placementLayer; // 用于射线检测的层，应包含AR网格 private GameObject placedObjectA; private GameObject placedObjectB; private LineRenderer lineRenderer; void Start() { lineRenderer = gameObject.AddComponent<LineRenderer>(); lineRenderer.startWidth = lineRenderer.endWidth = 0.02f; lineRenderer.material = new Material(Shader.Find("Unlit/Color")) { color = Color.green }; lineRenderer.enabled = false; } void Update() { // 1. 处理触摸输入 if (Input.touchCount > 0 && Input.GetTouch(0).phase == TouchPhase.Began) { Touch touch = Input.GetTouch(0); Ray ray = Camera.main.ScreenPointToRay(touch.position); // 2. 使用ARRaycastManager进行射线检测，判断是否击中AR平面或网格 List<ARRaycastHit> hits = new List<ARRaycastHit>(); if (raycastManager.Raycast(touch.position, hits, TrackableType.PlaneWithinPolygon | TrackableType.FeaturePoint)) { Pose hitPose = hits[0].pose; // 3. 放置物体 GameObject newObj = Instantiate(placementPrefab, hitPose.position, hitPose.rotation); // 4. 更新测量点 if (placedObjectA == null) { placedObjectA = newObj; distanceText.text = "点A已放置，请点击放置点B"; } else if (placedObjectB == null) { placedObjectB = newObj; UpdateDistanceMeasurement(); } else { // 替换点A，点B变为新的点A，实现连续测量 Destroy(placedObjectA); placedObjectA = placedObjectB; placedObjectB = newObj; UpdateDistanceMeasurement(); } } } } void UpdateDistanceMeasurement() { if (placedObjectA != null && placedObjectB != null) { float distance = Vector3.Distance(placedObjectA.transform.position, placedObjectB.transform.position); distanceText.text = $"距离: {distance:F2} 米"; // 绘制连线 lineRenderer.enabled = true; lineRenderer.SetPosition(0, placedObjectA.transform.position); lineRenderer.SetPosition(1, placedObjectB.transform.position); } } // 可由UI按钮调用 public void ClearMeasurement() { if (placedObjectA != null) Destroy(placedObjectA); if (placedObjectB != null) Destroy(placedObjectB); placedObjectA = placedObjectB = null; lineRenderer.enabled = false; distanceText.text = "点击屏幕放置测量点"; } }

3.5.3 整合与测试

1. 将ARRaycastManager组件添加到AR Session Origin。
2. 在MeasurementManager的Inspector中，将raycastManager、placementPrefab和UIText组件拖拽赋值。
3. 确保placementPrefab的Layer被包含在placementLayer掩码中。
4. 构建并运行到真机。扫描房间，点击地面或桌面放置立方体。放置第二个立方体后，屏幕上会显示两者间的距离，并有一条绿色连线。立方体会受到环境网格碰撞体的阻挡，并会被真实物体（如你的手）遮挡。

4. 常见问题与排查技巧实录

在实际开发中，你几乎一定会遇到下面这些问题。这里是我踩过坑后总结的排查清单。

4.1 深度图/网格不显示或数据异常

• 现象：AROcclusionManager获取不到深度图，或深度图全黑/全白；ARMeshManager不生成网格。
  • 检查设备支持：首先确认你的设备是否支持深度API。iOS需iPhone 12 Pro及以上（带LiDAR），Android需在 ARCore支持设备列表 中且支持深度API。
  • 检查权限与设置：确保应用已获得相机权限。在iOS的Info.plist（Unity会自动从Player Settings生成）中必须有NSCameraUsageDescription。在Android的AndroidManifest.xml中应有相机权限。
  • 检查场景光照与纹理：单目深度估计在昏暗、反光或纯色无纹理的墙面环境下会失效。尝试在光照充足、纹理丰富的环境中测试。
  • 查看日志：构建Development Build，在设备上运行并查看Unity日志，寻找来自AROcclusionManager或ARMeshManager的错误或警告信息。

4.2 虚拟物体闪烁或遮挡不正确（Z-fighting）

• 现象：虚拟物体与真实表面交界处出现闪烁的像素。
  • 原因：虚拟物体的深度值与真实环境的深度值过于接近，导致深度测试结果在逐帧间不稳定。
  • 解决方案：
    1. 增加深度偏移（Depth Bias）：在自定义Shader的深度比较中，添加一个小的偏移量（如0.01米），让虚拟物体稍微“浮”在真实表面之上。如上文Shader示例中的depthBias。
    2. 调整渲染队列（Render Queue）：确保虚拟物体的渲染队列在透明物体之前，但在不透明物体之后。通常"Queue"="Geometry+1"是一个安全的尝试。
    3. 使用置信度图（如果平台支持）：ARCore等提供深度置信度图。在Shader中采样置信度纹理，对低置信度区域的深度比较结果进行平滑或忽略，可以减少因噪声引起的闪烁。

4.3 应用在真机上运行卡顿、发热严重

• 现象：帧率低，手机发烫。
  • 优化网格：降低ARMeshManager的density和meshPrefab中网格生成组件的三角形数量或分辨率。
  • 控制更新：在用户不需要扫描时（如物体已放置完毕），通过脚本将ARMeshManager.enabled设为false。
  • 简化Shader：检查你的虚拟物体材质是否使用了复杂的Shader。在移动端，尽量使用URP Lit或Unlit Shader，并减少纹理采样和复杂光照计算。
  • 使用性能分析器：在Unity编辑器中，通过Window -> Analysis -> Profiler连接到真机设备，分析CPU和GPU的耗时瓶颈。重点关注AROcclusionManager、ARMeshManager相关函数的耗时，以及渲染线程的负担。

4.4 构建到iOS时出现链接错误或签名问题

• 现象：Xcode构建失败，报错关于ARKit库找不到或证书问题。
  • 确保ARKit Framework被包含：在Unity构建后生成的Xcode工程中，检查Build Phases -> Link Binary With Libraries中是否包含ARKit.framework。Unity通常会自动处理，但有时需要手动添加。
  • 检查签名与描述文件：确保在Xcode的Signing & Capabilities中选择了正确的Team和Provisioning Profile。对于AR应用，通常需要真机调试证书。
  • 更新Unity和ARKit插件：使用过旧的Unity或ARKit插件版本可能导致兼容性问题。升级到推荐的LTS版本和配套的Package版本。

4.5 Android设备上深度功能时好时坏

• 现象：同一款应用，在某些Android设备上深度工作正常，在另一些上不稳定或无效。
  • 这是Android生态的碎片化常态。必须进行运行时能力检测。在应用启动时，或进入AR模式前，检查以下关键能力：

  var occlusionManager = GetComponent<AROcclusionManager>(); if (occlusionManager != null) { bool supportsDepth = occlusionManager.descriptor?.supportsEnvironmentDepthImage ?? false; bool supportsConfidence = occlusionManager.descriptor?.supportsEnvironmentDepthConfidenceImage ?? false; Debug.Log($"设备深度支持: Depth={supportsDepth}, Confidence={supportsConfidence}"); if (!supportsDepth) { // 降级方案：禁用深度相关的高级功能，回退到仅平面检测的AR体验 occlusionManager.enabled = false; // 提示用户设备不支持高级AR功能 } }

  • 提供图形设置选项：让用户可以选择关闭环境网格、降低渲染质量等，以适配性能较弱的设备。

走到这一步，你已经完成了一个具备深度感知能力的AR应用从零到一的完整搭建。回顾这五步：环境配置、场景搭建、数据解析、性能优化、项目落地，它们构成了深度感知AR开发的核心工作流。这套流程不仅适用于文中的测量Demo，更是你开发更复杂应用——无论是需要精准遮挡的AR游戏、基于真实几何的室内设计，还是依赖环境理解的工业维护指导——的基础框架。

深度感知AR的门槛正在快速降低，从几年前昂贵的专业设备到今天消费级手机的内置传感器，技术的平民化带来了无限的创意可能。然而，将可能性转化为稳定、流畅的用户体验，依然需要开发者对底层原理的深刻理解和对性能细节的孜孜以求。我个人的体会是，这个领域没有“银弹”，最好的学习方式就是像我们刚才所做的那样：选定一个明确的小目标，搭建最小可行原型，然后在真机上反复测试、优化、踩坑、爬出来。每一次深度数据的成功获取，每一次虚拟物体被真实遮挡得严丝合缝，都是对开发者最好的奖励。希望这篇指南能成为你探索空间计算世界的一块坚实垫脚石。