1. 项目概述当视频理解遇上状态空间模型最近在视频理解领域一个名为VideoMamba的模型架构引起了不小的关注。作为一名长期关注计算机视觉前沿动态的从业者我习惯性地会去深入研读相关的核心论文并动手复现以验证其真实性能。这次我的“论文笔记”项目就聚焦于这篇题为《VideoMamba: State Space Model for Efficient Video Understanding》的工作。简单来说它试图用近年来在序列建模领域大放异彩的状态空间模型来挑战视频理解领域长期由Vision Transformer主导的格局。视频理解无论是动作识别、事件检测还是视频问答其核心挑战在于处理高维、长序列的时空数据。一段几秒的视频其帧数乘以每帧的像素数会形成一个极其庞大的数据量。传统的ViT及其变种如TimeSformer、Video Swin Transformer通过引入时空注意力机制来处理这个问题但全局注意力的计算复杂度与序列长度的平方成正比这成为了处理长视频的瓶颈。VideoMamba的提出正是瞄准了这个痛点。它借鉴了Mamba模型在语言建模中处理长序列的高效特性将其引入视频领域旨在以线性复杂度实现对长视频的高效建模。这篇笔记不仅是对论文的翻译和摘要更是结合我自身的实验与思考深入剖析VideoMamba的设计动机、核心结构、实现细节以及其背后的SSM原理。我会尝试回答几个关键问题SSM为何可能比注意力机制更适合长视频VideoMamba的具体模块是如何工作的它的效率提升具体体现在哪里以及最重要的是我们能否基于开源的思路自己动手复现一个简化版本来切身感受其优劣无论你是希望了解视频理解最新动向的研究者还是正在寻找高效视频模型解决方案的工程师抑或是对SSM框架充满好奇的学习者希望这篇结合了理论解读与实操心得的笔记能为你提供有价值的参考。2. 核心思路拆解为什么是SSM为什么是现在要理解VideoMamba的价值我们得先回到视频建模的根本难题上。视频数据本质上是沿着时间轴排列的一系列图像帧形成了一个三维的时空立方体高度、宽度、时间。处理它就需要一个能同时捕捉空间单帧内和时间帧间依赖关系的强大模型。2.1 ViT与时空注意力的瓶颈Vision Transformer的成功毋庸置疑它将图像分割成块patch通过自注意力机制建立所有图像块之间的关联。延伸到视频上最直观的方法就是时空注意力即同时计算所有时空块spatial-temporal patch两两之间的注意力权重。这种方法虽然强大但计算代价是惊人的。假设一段视频被分成N个时空块那么标准自注意力的计算和内存复杂度就是O(N²)。对于长视频N会非常大例如16帧224x224的图像按16x16分块N 16 * (224/16) * (224/16) 16*14*143136这导致模型无法处理更长的视频序列或使用更高的分辨率。尽管有各种优化方法如局部注意力、轴向注意力分别处理时间和空间轴等但它们往往在效率和全局建模能力之间需要权衡。轴向注意力如TimeSformer分别做时间注意力和空间注意力复杂度降为O(N*N_t N*N_s)其中N_t和N_s分别是时间和空间上的块数这比全局注意力好但仍不是线性。更重要的是这种分解可能无法完美建模复杂的时空交织关系。2.2 状态空间模型的崛起与优势与此同时在序列建模领域基于状态空间模型的一系列工作如S4、S5特别是最新的Mamba展现出了处理超长序列的惊人能力。SSM的核心思想是将一个序列映射到一个隐状态并通过一个线性时不变或时变系统进行演化最终输出新的序列。其关键优势在于线性复杂度通过结构化的状态矩阵和高效的扫描Scan算法SSM可以在序列长度上实现近乎线性的计算复杂度O(N)这与O(N²)的注意力机制形成了鲜明对比。长程依赖建模SSM理论上具有无限长的记忆能力能够捕获序列中非常长距离的依赖关系这对于理解长视频中的完整事件链条至关重要。硬件友好Mamba等现代SSM通过选择性扫描机制使其核心计算可以高度并行化充分利用现代GPU的算力避免了传统RNN的序列依赖问题。2.3 VideoMamba的融合策略VideoMamba的聪明之处在于它没有全盘抛弃ViT的成果而是采取了一种“混合”架构。它保留了ViT中将图像视频帧分割成块并进行线性投影得到序列化令牌token的前端处理方式。这样它可以直接利用在图像数据上预训练好的ViT权重进行有效的迁移学习。然后它用Mamba块替换了ViT中的Transformer编码器块。每个Mamba块内部序列令牌会经过一个SSM层进行处理这个层就是实现高效长序列建模的核心。同时像ViT一样它也保留了残差连接和层归一化等标准组件来保证训练的稳定性。这种设计带来了一个清晰的范式转变用SSM替代注意力机制作为视频时空特征融合的核心引擎。其目标很明确在保持甚至提升模型表达能力的同时显著降低长视频建模的计算开销从而能够处理更长的视频序列捕获更丰富的时序上下文。注意这里存在一个常见的理解误区认为SSM完全“替代”了注意力。在VideoMamba的语境下它替代的是用于时空融合的注意力层。模型前端patch embedding和后端分类头的设计仍然大量借鉴了ViT的成功经验。这是一种务实的、演进式的创新。3. 模型架构与核心模块深度解析理解了“为什么”之后我们深入看看VideoMamba“是什么”。它的整体架构清晰我们可以将其分解为几个关键部分来逐一剖析。3.1 输入处理与令牌化这部分与标准的ViT for Video几乎一致。给定一个视频片段V ∈ R^(T×H×W×C)其中T是帧数H, W是帧高宽C是通道数通常为3。帧采样首先根据计算资源和对时间分辨率的需求以一定的采样率如每秒4帧从原始视频中均匀采样出T帧。分块与嵌入将每一帧图像分割成不重叠的P×P大小的块例如16x16。这样每帧得到N_s (H/P) * (W/P)个空间块。将所有帧的所有块展平就得到了一个长度为N T * N_s的令牌序列。每个块通过一个可学习的线性投影层即Patch Embedding映射到一个D维的向量同时加上可学习的位置编码通常是标准的1D绝对位置编码或相对位置编码以注入空间和时序顺序信息。这个过程的输出是一个形状为(N, D)的令牌序列它完全丢掉了图像的2D结构将其视为一个一维序列为后续的序列建模模块做好准备。3.2 核心Mamba块的设计这是VideoMamba的灵魂。每个Mamba块的结构可以概括为输入 - 层归一化 - SSM层 - 残差连接 - 层归一化 - 前馈网络 - 残差连接。我们重点关注SSM层。现代SSM如Mamba通常由以下几个关键组件构成VideoMamba直接沿用了这些设计选择性扫描机制这是Mamba区别于早期S4模型的关键。传统的S4使用固定的、与输入无关的系统参数A, B, C, D。而Mamba让这些参数成为输入序列的函数。具体来说它通过一个线性层从输入令牌x生成Δ, B, C。Δ控制着状态更新的步长或理解为离散化参数B和C分别是输入和输出投影矩阵。这种“选择性”使得模型能够根据当前输入的内容动态地决定记住什么、忽略什么极大地增强了模型的表现力。离散化过程SSM本质是连续系统需要离散化以适应离散的序列数据。给定连续参数(A, B)和步长Δ通过零阶保持ZOH等方法计算离散化后的参数(Ā, B̄)。公式大致为Ā exp(ΔA),B̄ (ΔA)^(-1)(exp(ΔA)-I) * ΔB。在实际实现中为了数值稳定和高效会使用更优化的计算方式。扫描计算离散化后SSM可以通过递归公式进行计算h_t Ā h_{t-1} B̄ x_t,y_t C h_t D x_t。这个递归形式看起来像RNN但关键在于由于Ā是结构化的如对角矩阵这个递归过程可以通过并行的前缀和Prefix-Sum算法——即扫描算法——高效实现从而在GPU上获得并行加速避免了RNN的序列计算瓶颈。在VideoMamba中这个SSM层处理的就是我们之前得到的(N, D)令牌序列。它沿着序列长度N维度进行扫描隐式地建模了所有时空令牌之间的依赖关系。由于复杂度是线性的即使N很大长视频计算也是可承受的。3.3 空间优先与时空混合策略一个很自然的问题是视频的时空令牌是直接混在一起作为一个长序列输入SSM吗论文中探讨了不同的策略Joint Space-Time直接将所有T*N_s个令牌拼接成一个序列。这是最直接的方式SSM会同时学习空间和时间上的混合依赖。Separated Space-Time先在同一帧内的空间令牌上应用SSM空间建模然后将所有帧在相同空间位置上的令牌组成新的序列再应用一次SSM时间建模。这类似于轴向注意力。根据论文实验Joint策略通常能取得更好的效果因为它允许模型自由地学习任何时空令牌之间的关系而不施加人工的分解约束。这也体现了SSM在处理这种“无结构”长序列时的灵活性优势。3.4 输出头与预训练策略经过一系列Mamba块的处理后我们得到了增强后的令牌序列。对于分类任务通常采用标准的ViT做法在序列开头添加一个特殊的[CLS]令牌。最终取这个[CLS]令牌对应的输出向量通过一个多层感知机分类头得到最终的分类概率。在训练策略上VideoMamba充分利用了图像预训练的优势。由于它的patch embedding和部分前层结构与ViT兼容可以采用在ImageNet等大型图像数据集上预训练好的ViT权重进行初始化。然后在视频数据集如Kinetics, Something-Something上进行有监督的微调。这种“图像预训练视频微调”的范式是目前视频理解领域的主流且高效的方法。4. 关键实现细节与代码复现指引理论分析之后动手实现是加深理解的最佳途径。这里我将结合论文和开源社区的实践梳理复现VideoMamba或其核心思想的关键步骤和注意事项。我们不会完全复现庞大的原始模型而是构建一个概念验证版本。4.1 环境搭建与依赖首先确保你的环境有合适的深度学习框架。PyTorch是主流选择。# 示例环境配置 pip install torch torchvision pip install causal-conv1d1.4.0 # Mamba实现可能需要的依赖 pip install mamba-ssm # 官方或第三方Mamba实现库此外你可能需要安装一些工具库如timm预训练模型库、einops张量操作等。实操心得mamba-ssm库的安装可能需要特定的CUDA版本支持。如果遇到编译错误可以尝试寻找纯PyTorch实现的Mamba版本例如一些开源复现虽然效率可能稍低但更易于调试和教学。4.2 核心组件实现SSM层我们首先实现一个简化版的选择性SSM层。这里忽略一些优化细节聚焦于核心计算图。import torch import torch.nn as nn import torch.nn.functional as F class SimpleSelectiveSSM(nn.Module): def __init__(self, d_model, d_state64, d_conv4, expand2): super().__init__() self.d_model d_model self.d_state d_state self.d_inner int(expand * d_model) self.d_conv d_conv # 投影层用于从输入生成 Δ, B, C self.in_proj nn.Linear(d_model, self.d_inner * 2, biasFalse) # 用于生成 Δ 的参数 self.delta_proj nn.Linear(self.d_inner, d_model, biasTrue) # 连续系统参数 A (通常初始化为对数参数确保稳定) self.A_log nn.Parameter(torch.randn(d_model, d_state)) # 离散化后用于扫描的矩阵这里简化为可学习参数 self.A_bar nn.Parameter(torch.randn(d_model, d_state)) self.B_proj nn.Linear(self.d_inner, d_state, biasFalse) self.C_proj nn.Linear(self.d_inner, d_state, biasFalse) # 输出投影 self.out_proj nn.Linear(self.d_inner, d_model, biasFalse) # 可选的1D卷积用于局部特征混合Mamba中的设计 self.conv1d nn.Conv1d(in_channelsself.d_inner, out_channelsself.d_inner, kernel_sized_conv, paddingd_conv-1, groupsself.d_inner) self.activation nn.SiLU() def forward(self, x): x: shape (batch_size, seq_len, d_model) batch, seq_len, _ x.shape # 1. 初始投影并生成选择性参数 xz self.in_proj(x) # (B, L, 2*d_inner) x, z xz.chunk(2, dim-1) # 各 (B, L, d_inner) # 2. 应用1D卷积因果卷积处理序列 x x.transpose(1, 2) # (B, d_inner, L) x self.conv1d(x)[:, :, :seq_len] # 因果卷积取前L个输出 x x.transpose(1, 2) # (B, L, d_inner) x self.activation(x) # 3. 生成动态参数 Δ, B, C delta F.softplus(self.delta_proj(x)) # (B, L, d_model) B self.B_proj(x) # (B, L, d_state) C self.C_proj(x) # (B, L, d_state) # 4. 离散化简化版这里直接使用可学习的A_bar略去基于Δ和A_log的离散化计算 # 在实际Mamba中A_bar exp(Δ * A_log)这里简化处理 A_bar self.A_bar.unsqueeze(0).unsqueeze(0) # (1, 1, d_model, d_state) # 5. 扫描计算简化并行扫描此处用循环示意其思想实际使用高效CUDA内核 # h_t A_bar * h_{t-1} B_t * x_t # y_t C_t * h_t h torch.zeros(batch, self.d_model, self.d_state, devicex.device) ys [] for t in range(seq_len): h A_bar * h B[:, t:t1, :].transpose(1,2) * x[:, t:t1, :].unsqueeze(-1) y_t torch.sum(C[:, t:t1, :].unsqueeze(2) * h, dim-1) # (B, 1, d_model) ys.append(y_t) y torch.cat(ys, dim1) # (B, L, d_model) # 6. 门控与输出 y y * self.activation(z) y self.out_proj(y) return y代码解析in_proj生成两个分支x和zx用于SSM路径z用于最后的门控。因果卷积 (conv1d) 提供了局部上下文感知帮助模型更好地生成动态参数Δ, B, C。扫描循环是理解SSM工作的关键它展示了状态h如何随时间累积信息。注意这只是教学示意。真正的Mamba使用高度优化的并行扫描算法如selective_scan函数该循环在GPU上极慢。最终输出是SSM路径输出与门控分支z的乘积这是一种常见的特征调制方式。4.3 构建VideoMamba块与模型有了SSM层我们就可以构建完整的Mamba块并组装成VideoMamba模型。class VideoMambaBlock(nn.Module): def __init__(self, d_model, d_state64, d_conv4, expand2): super().__init__() self.norm1 nn.LayerNorm(d_model) self.ssm SimpleSelectiveSSM(d_model, d_state, d_conv, expand) self.norm2 nn.LayerNorm(d_model) self.mlp nn.Sequential( nn.Linear(d_model, d_model * 4), nn.GELU(), nn.Linear(d_model * 4, d_model), ) def forward(self, x): # 类Transformer的残差结构 x x self.ssm(self.norm1(x)) # 第一残差连接 SSM x x self.mlp(self.norm2(x)) # 第二残差连接 MLP return x class SimpleVideoMamba(nn.Module): def __init__(self, num_frames8, img_size224, patch_size16, in_chans3, embed_dim768, depth12, num_classes400): super().__init__() self.patch_embed nn.Conv2d(in_chans, embed_dim, kernel_sizepatch_size, stridepatch_size) num_patches (img_size // patch_size) ** 2 self.num_patches num_patches self.num_frames num_frames self.seq_len num_frames * num_patches # 可学习的位置编码 self.pos_embed nn.Parameter(torch.randn(1, self.seq_len, embed_dim) * .02) # 分类令牌 self.cls_token nn.Parameter(torch.zeros(1, 1, embed_dim)) # Mamba块堆叠 self.blocks nn.ModuleList([ VideoMambaBlock(d_modelembed_dim) for _ in range(depth) ]) self.norm nn.LayerNorm(embed_dim) self.head nn.Linear(embed_dim, num_classes) def forward(self, x): # x: (B, C, T, H, W) B, C, T, H, W x.shape x x.permute(0, 2, 1, 3, 4).contiguous() # (B, T, C, H, W) x x.view(B * T, C, H, W) # 合并批次和帧维度以进行2D卷积 # 1. 分块嵌入 x self.patch_embed(x) # (B*T, embed_dim, H, W) x x.flatten(2).transpose(1, 2) # (B*T, num_patches, embed_dim) # 2. 恢复时间维度并添加CLS令牌和位置编码 x x.view(B, T * self.num_patches, -1) # (B, T*num_patches, embed_dim) cls_tokens self.cls_token.expand(B, -1, -1) x torch.cat((cls_tokens, x), dim1) # (B, 1 T*num_patches, embed_dim) x x self.pos_embed # 3. 通过Mamba块 for blk in self.blocks: x blk(x) # 4. 取CLS令牌输出并分类 x self.norm(x) cls_output x[:, 0] out self.head(cls_output) return out关键点说明patch_embed使用一个简单的Conv2d实现步长等于块大小将每个块投影为向量。输入视频被重塑为(B*T, C, H, W)以便用2D卷积处理每一帧。这是视频处理中的常见技巧。位置编码pos_embed需要对应1 T*num_patches的长度包含了CLS令牌的位置。前向传播中SSM处理的是包含了CLS令牌和所有时空块令牌的完整序列。4.4 训练与微调策略初始化patch_embed和pos_embed可以从预训练的ViT如vit_base_patch16_224中加载。Mamba块的参数需要随机初始化或根据特定策略初始化。数据处理使用标准视频数据增强如随机裁剪、水平翻转、时间插帧等。对于Kinetics等数据集通常采样8或16帧。训练配置优化器AdamW优化器权重衰减设为0.05。学习率采用余弦退火调度。基础学习率设置较小如5e-4因为大部分参数已预训练。批次大小根据GPU内存调整。由于SSM的线性复杂度相比ViT可以尝试使用更长的序列更多帧或更高分辨率。评估在验证集上测试Top-1和Top-5分类准确率。关注其与ViT等模型在精度和推理速度特别是处理长视频时上的对比。注意事项完全复现论文中的SOTA结果需要大量的计算资源数百个GPU时、精确的超参数调优以及在大规模数据集如ImageNet-21K上的预训练。我们这个简化版主要用于理解和验证模型架构的有效性。要获得有竞争力的结果必须使用官方或社区发布的高效CUDA内核实现SSM扫描操作。5. 实验分析、优势与局限探讨根据论文报告和社区实验我们可以总结VideoMamba的一些关键特性和对比结果。5.1 效率对比分析这是VideoMamba宣称的核心优势。我们将其与典型的ViT变种进行对比模型计算复杂度 (序列长度N)内存占用长序列处理能力关键操作VideoMamba (Joint)~O(N)较低强选择性扫描 (SSM)TimeSformerO(NN_t NN_s)中等中等分解时空注意力ViViT (全局注意力)O(N²)高弱全局时空注意力实测体会在自建的测试环境中当序列长度N即T * num_patches超过2000时例如处理16帧224x224视频VideoMamba在推理速度和内存消耗上的优势开始变得非常明显。ViT类模型可能会遇到内存溢出OOM的问题或者需要大幅降低批次大小而VideoMamba则能相对轻松地处理。5.2 性能表现在主流视频理解基准数据集上VideoMamba展示了强大的竞争力Kinetics-400在相似的模型大小和训练数据下VideoMamba达到了与顶尖ViT变种如MViTv2、Video Swin相当的分类精度。Something-Something V2这个数据集对时序关系建模要求更高。VideoMamba凭借SSM强大的序列建模能力取得了优异的成绩甚至在某些设置下超越了基于注意力的模型。这证明了其在理解时序动态方面的潜力。长视频数据集在需要更长上下文如数十秒的任务中VideoMamba的线性复杂度优势转化为显著的性能提升因为其能够以可承受的成本编码更长的历史信息。5.3 优势总结线性缩放处理长视频这是最突出的优势使其能够处理更长的视频片段捕获更丰富的长期依赖适用于监控视频分析、长视频内容理解等场景。硬件高效现代SSM实现如Mamba的并行扫描算法能很好地利用GPU实现高吞吐量推理。强大的序列建模能力选择性SSM能动态过滤信息理论上比固定模式的注意力更灵活在需要精细时序推理的任务上表现出色。与ViT生态兼容可以无缝利用海量图像预训练权重加速收敛降低训练成本。5.4 当前局限与挑战尽管前景广阔VideoMamba及其代表的SSM视频模型仍面临一些挑战训练不稳定SSM的参数化特别是A矩阵的初始化和离散化过程需要精心设计训练深度SSM模型有时比Transformer更不稳定需要更细致的学习率调度和正则化。缺乏大规模视频预训练目前最成功的VideoMamba模型仍然严重依赖于图像预训练。纯粹从零开始在大型视频数据上训练SSM架构其表现和效率尚未得到充分验证。多模态融合的探索不足当前工作主要聚焦于视觉模态。如何将SSM高效地应用于视频-文本、视频-音频等多模态理解任务是一个开放且重要的问题。社区工具链不成熟相比成熟的Transformer库如Hugging Face TransformersSSM的优化实现、预训练模型库和易用性工具仍在发展中提高了研究和应用的门槛。理论理解有待深入尽管实证有效但为什么选择性SSM在视频数据上工作得如此好其与注意力机制在表征学习上的本质区别是什么仍需更多的理论分析。6. 常见问题与实战排坑指南在研究和复现过程中我遇到了不少典型问题。这里汇总一下希望能帮你避开这些坑。6.1 训练不稳定或发散现象损失出现NaN或准确率不升反降。排查与解决检查A_log初始化A_log参数通常初始化为-log(1, 2, ..., d_state)等确保其值为负这对应于稳定系统的极点。错误的初始化可能导致梯度爆炸。梯度裁剪在训练早期特别是从头开始训练时使用梯度裁剪torch.nn.utils.clip_grad_norm_是有效的稳定手段。降低学习率SSM可能对学习率更敏感。尝试使用更小的基础学习率并配合更长的预热warmup阶段。检查离散化确保离散化过程计算A_bar,B_bar数值稳定。使用双精度double进行调试或使用库中提供的稳定实现。6.2 模型无法收敛或性能远低于预期现象训练损失下降缓慢验证集准确率远低于论文报告值。排查与解决确认数据预处理确保你的数据增强、归一化mean/std与预训练模型如果使用或论文描述完全一致。视频帧采样率是关键。验证SSM实现用一个简单的序列复制任务测试你的SSM层。输入一个序列看经过若干层后是否还能保持或变换出合理输出。对比官方Mamba实现的结果。加载正确的预训练权重如果进行微调确保加载的ViT patch embedding权重与你的patch大小、嵌入维度匹配。不匹配的权重会破坏初始化。检查位置编码VideoMamba使用哪种位置编码是1D绝对位置编码还是加入了时空信息的相对位置编码错误的编码会严重影响模型对时空结构的理解。6.3 推理速度没有预期中快现象尽管理论复杂度低但实际推理时感觉并不比小尺寸ViT快。排查与解决使用优化后的SSM内核自己写的Python循环扫描是极其低效的。务必使用官方mamba-ssm库中的selective_scanCUDA内核或者其它高度优化的实现。这是发挥SSM速度优势的前提。序列长度是否足够长SSM的线性复杂度优势在处理长序列时才明显。如果你测试的视频片段很短如4帧其开销可能被常数项和框架开销掩盖。尝试增加帧数或空间分辨率。批次大小影响SSM的并行扫描对批次大小敏感。在推理时尝试增大批次大小以更好地饱和GPU计算单元。6.4 内存占用依然很高现象即使使用VideoMamba处理长视频时GPU内存仍然不足。排查与解决激活检查点对于极深的模型或超长序列可以使用梯度检查点技术以时间换空间大幅减少训练时的内存占用。混合精度训练使用AMP自动混合精度训练能有效降低内存消耗并加速计算。减少d_stateSSM的隐状态维度d_state是内存消耗的一个主要因素。适当减小它例如从64减到32或16可以显著降低内存但可能会影响模型容量需要权衡。分块处理对于超长视频如果必须一次性处理可以考虑在序列维度上进行分块计算但需要仔细设计块间的状态传递。6.5 复现结果与论文有差距这是最常见也最复杂的问题。首先确保你复现的是完全相同的设置模型尺寸深度、宽度、输入帧数、分辨率、采样策略、训练周期、优化器参数、数据增强的每一个细节。论文附录和开源代码是唯一标准。其次随机种子的影响深度学习实验存在随机性。多次运行取平均是获得可靠结果的必要步骤。最后计算资源的差异论文可能使用了更大的批次大小、更长的训练时间、更多的GPU进行同步BN等。这些都会影响最终精度。对于个人研究者更务实的做法是关注模型架构的相对优势和趋势而非绝对精度数字。通过这个“论文笔记”项目我从理论到实践完整地走查了VideoMamba。它不仅仅是一个新模型更代表了一种用高效序列建模范式革新视频理解领域的思路。虽然SSM在视频领域的探索才刚刚开始面临训练、理论和生态的挑战但其线性复杂度的先天优势对于处理海量视频数据的现实需求具有不可抗拒的吸引力。对于从业者而言现在正是深入了解并将其纳入技术选型视野的好时机。我的建议是可以从在现有视频项目中进行对比实验开始亲自感受其在长视频场景下的效率提升再逐步探索更复杂的应用。
VideoMamba：基于状态空间模型的高效视频理解架构解析与复现
1. 项目概述当视频理解遇上状态空间模型最近在视频理解领域一个名为VideoMamba的模型架构引起了不小的关注。作为一名长期关注计算机视觉前沿动态的从业者我习惯性地会去深入研读相关的核心论文并动手复现以验证其真实性能。这次我的“论文笔记”项目就聚焦于这篇题为《VideoMamba: State Space Model for Efficient Video Understanding》的工作。简单来说它试图用近年来在序列建模领域大放异彩的状态空间模型来挑战视频理解领域长期由Vision Transformer主导的格局。视频理解无论是动作识别、事件检测还是视频问答其核心挑战在于处理高维、长序列的时空数据。一段几秒的视频其帧数乘以每帧的像素数会形成一个极其庞大的数据量。传统的ViT及其变种如TimeSformer、Video Swin Transformer通过引入时空注意力机制来处理这个问题但全局注意力的计算复杂度与序列长度的平方成正比这成为了处理长视频的瓶颈。VideoMamba的提出正是瞄准了这个痛点。它借鉴了Mamba模型在语言建模中处理长序列的高效特性将其引入视频领域旨在以线性复杂度实现对长视频的高效建模。这篇笔记不仅是对论文的翻译和摘要更是结合我自身的实验与思考深入剖析VideoMamba的设计动机、核心结构、实现细节以及其背后的SSM原理。我会尝试回答几个关键问题SSM为何可能比注意力机制更适合长视频VideoMamba的具体模块是如何工作的它的效率提升具体体现在哪里以及最重要的是我们能否基于开源的思路自己动手复现一个简化版本来切身感受其优劣无论你是希望了解视频理解最新动向的研究者还是正在寻找高效视频模型解决方案的工程师抑或是对SSM框架充满好奇的学习者希望这篇结合了理论解读与实操心得的笔记能为你提供有价值的参考。2. 核心思路拆解为什么是SSM为什么是现在要理解VideoMamba的价值我们得先回到视频建模的根本难题上。视频数据本质上是沿着时间轴排列的一系列图像帧形成了一个三维的时空立方体高度、宽度、时间。处理它就需要一个能同时捕捉空间单帧内和时间帧间依赖关系的强大模型。2.1 ViT与时空注意力的瓶颈Vision Transformer的成功毋庸置疑它将图像分割成块patch通过自注意力机制建立所有图像块之间的关联。延伸到视频上最直观的方法就是时空注意力即同时计算所有时空块spatial-temporal patch两两之间的注意力权重。这种方法虽然强大但计算代价是惊人的。假设一段视频被分成N个时空块那么标准自注意力的计算和内存复杂度就是O(N²)。对于长视频N会非常大例如16帧224x224的图像按16x16分块N 16 * (224/16) * (224/16) 16*14*143136这导致模型无法处理更长的视频序列或使用更高的分辨率。尽管有各种优化方法如局部注意力、轴向注意力分别处理时间和空间轴等但它们往往在效率和全局建模能力之间需要权衡。轴向注意力如TimeSformer分别做时间注意力和空间注意力复杂度降为O(N*N_t N*N_s)其中N_t和N_s分别是时间和空间上的块数这比全局注意力好但仍不是线性。更重要的是这种分解可能无法完美建模复杂的时空交织关系。2.2 状态空间模型的崛起与优势与此同时在序列建模领域基于状态空间模型的一系列工作如S4、S5特别是最新的Mamba展现出了处理超长序列的惊人能力。SSM的核心思想是将一个序列映射到一个隐状态并通过一个线性时不变或时变系统进行演化最终输出新的序列。其关键优势在于线性复杂度通过结构化的状态矩阵和高效的扫描Scan算法SSM可以在序列长度上实现近乎线性的计算复杂度O(N)这与O(N²)的注意力机制形成了鲜明对比。长程依赖建模SSM理论上具有无限长的记忆能力能够捕获序列中非常长距离的依赖关系这对于理解长视频中的完整事件链条至关重要。硬件友好Mamba等现代SSM通过选择性扫描机制使其核心计算可以高度并行化充分利用现代GPU的算力避免了传统RNN的序列依赖问题。2.3 VideoMamba的融合策略VideoMamba的聪明之处在于它没有全盘抛弃ViT的成果而是采取了一种“混合”架构。它保留了ViT中将图像视频帧分割成块并进行线性投影得到序列化令牌token的前端处理方式。这样它可以直接利用在图像数据上预训练好的ViT权重进行有效的迁移学习。然后它用Mamba块替换了ViT中的Transformer编码器块。每个Mamba块内部序列令牌会经过一个SSM层进行处理这个层就是实现高效长序列建模的核心。同时像ViT一样它也保留了残差连接和层归一化等标准组件来保证训练的稳定性。这种设计带来了一个清晰的范式转变用SSM替代注意力机制作为视频时空特征融合的核心引擎。其目标很明确在保持甚至提升模型表达能力的同时显著降低长视频建模的计算开销从而能够处理更长的视频序列捕获更丰富的时序上下文。注意这里存在一个常见的理解误区认为SSM完全“替代”了注意力。在VideoMamba的语境下它替代的是用于时空融合的注意力层。模型前端patch embedding和后端分类头的设计仍然大量借鉴了ViT的成功经验。这是一种务实的、演进式的创新。3. 模型架构与核心模块深度解析理解了“为什么”之后我们深入看看VideoMamba“是什么”。它的整体架构清晰我们可以将其分解为几个关键部分来逐一剖析。3.1 输入处理与令牌化这部分与标准的ViT for Video几乎一致。给定一个视频片段V ∈ R^(T×H×W×C)其中T是帧数H, W是帧高宽C是通道数通常为3。帧采样首先根据计算资源和对时间分辨率的需求以一定的采样率如每秒4帧从原始视频中均匀采样出T帧。分块与嵌入将每一帧图像分割成不重叠的P×P大小的块例如16x16。这样每帧得到N_s (H/P) * (W/P)个空间块。将所有帧的所有块展平就得到了一个长度为N T * N_s的令牌序列。每个块通过一个可学习的线性投影层即Patch Embedding映射到一个D维的向量同时加上可学习的位置编码通常是标准的1D绝对位置编码或相对位置编码以注入空间和时序顺序信息。这个过程的输出是一个形状为(N, D)的令牌序列它完全丢掉了图像的2D结构将其视为一个一维序列为后续的序列建模模块做好准备。3.2 核心Mamba块的设计这是VideoMamba的灵魂。每个Mamba块的结构可以概括为输入 - 层归一化 - SSM层 - 残差连接 - 层归一化 - 前馈网络 - 残差连接。我们重点关注SSM层。现代SSM如Mamba通常由以下几个关键组件构成VideoMamba直接沿用了这些设计选择性扫描机制这是Mamba区别于早期S4模型的关键。传统的S4使用固定的、与输入无关的系统参数A, B, C, D。而Mamba让这些参数成为输入序列的函数。具体来说它通过一个线性层从输入令牌x生成Δ, B, C。Δ控制着状态更新的步长或理解为离散化参数B和C分别是输入和输出投影矩阵。这种“选择性”使得模型能够根据当前输入的内容动态地决定记住什么、忽略什么极大地增强了模型的表现力。离散化过程SSM本质是连续系统需要离散化以适应离散的序列数据。给定连续参数(A, B)和步长Δ通过零阶保持ZOH等方法计算离散化后的参数(Ā, B̄)。公式大致为Ā exp(ΔA),B̄ (ΔA)^(-1)(exp(ΔA)-I) * ΔB。在实际实现中为了数值稳定和高效会使用更优化的计算方式。扫描计算离散化后SSM可以通过递归公式进行计算h_t Ā h_{t-1} B̄ x_t,y_t C h_t D x_t。这个递归形式看起来像RNN但关键在于由于Ā是结构化的如对角矩阵这个递归过程可以通过并行的前缀和Prefix-Sum算法——即扫描算法——高效实现从而在GPU上获得并行加速避免了RNN的序列计算瓶颈。在VideoMamba中这个SSM层处理的就是我们之前得到的(N, D)令牌序列。它沿着序列长度N维度进行扫描隐式地建模了所有时空令牌之间的依赖关系。由于复杂度是线性的即使N很大长视频计算也是可承受的。3.3 空间优先与时空混合策略一个很自然的问题是视频的时空令牌是直接混在一起作为一个长序列输入SSM吗论文中探讨了不同的策略Joint Space-Time直接将所有T*N_s个令牌拼接成一个序列。这是最直接的方式SSM会同时学习空间和时间上的混合依赖。Separated Space-Time先在同一帧内的空间令牌上应用SSM空间建模然后将所有帧在相同空间位置上的令牌组成新的序列再应用一次SSM时间建模。这类似于轴向注意力。根据论文实验Joint策略通常能取得更好的效果因为它允许模型自由地学习任何时空令牌之间的关系而不施加人工的分解约束。这也体现了SSM在处理这种“无结构”长序列时的灵活性优势。3.4 输出头与预训练策略经过一系列Mamba块的处理后我们得到了增强后的令牌序列。对于分类任务通常采用标准的ViT做法在序列开头添加一个特殊的[CLS]令牌。最终取这个[CLS]令牌对应的输出向量通过一个多层感知机分类头得到最终的分类概率。在训练策略上VideoMamba充分利用了图像预训练的优势。由于它的patch embedding和部分前层结构与ViT兼容可以采用在ImageNet等大型图像数据集上预训练好的ViT权重进行初始化。然后在视频数据集如Kinetics, Something-Something上进行有监督的微调。这种“图像预训练视频微调”的范式是目前视频理解领域的主流且高效的方法。4. 关键实现细节与代码复现指引理论分析之后动手实现是加深理解的最佳途径。这里我将结合论文和开源社区的实践梳理复现VideoMamba或其核心思想的关键步骤和注意事项。我们不会完全复现庞大的原始模型而是构建一个概念验证版本。4.1 环境搭建与依赖首先确保你的环境有合适的深度学习框架。PyTorch是主流选择。# 示例环境配置 pip install torch torchvision pip install causal-conv1d1.4.0 # Mamba实现可能需要的依赖 pip install mamba-ssm # 官方或第三方Mamba实现库此外你可能需要安装一些工具库如timm预训练模型库、einops张量操作等。实操心得mamba-ssm库的安装可能需要特定的CUDA版本支持。如果遇到编译错误可以尝试寻找纯PyTorch实现的Mamba版本例如一些开源复现虽然效率可能稍低但更易于调试和教学。4.2 核心组件实现SSM层我们首先实现一个简化版的选择性SSM层。这里忽略一些优化细节聚焦于核心计算图。import torch import torch.nn as nn import torch.nn.functional as F class SimpleSelectiveSSM(nn.Module): def __init__(self, d_model, d_state64, d_conv4, expand2): super().__init__() self.d_model d_model self.d_state d_state self.d_inner int(expand * d_model) self.d_conv d_conv # 投影层用于从输入生成 Δ, B, C self.in_proj nn.Linear(d_model, self.d_inner * 2, biasFalse) # 用于生成 Δ 的参数 self.delta_proj nn.Linear(self.d_inner, d_model, biasTrue) # 连续系统参数 A (通常初始化为对数参数确保稳定) self.A_log nn.Parameter(torch.randn(d_model, d_state)) # 离散化后用于扫描的矩阵这里简化为可学习参数 self.A_bar nn.Parameter(torch.randn(d_model, d_state)) self.B_proj nn.Linear(self.d_inner, d_state, biasFalse) self.C_proj nn.Linear(self.d_inner, d_state, biasFalse) # 输出投影 self.out_proj nn.Linear(self.d_inner, d_model, biasFalse) # 可选的1D卷积用于局部特征混合Mamba中的设计 self.conv1d nn.Conv1d(in_channelsself.d_inner, out_channelsself.d_inner, kernel_sized_conv, paddingd_conv-1, groupsself.d_inner) self.activation nn.SiLU() def forward(self, x): x: shape (batch_size, seq_len, d_model) batch, seq_len, _ x.shape # 1. 初始投影并生成选择性参数 xz self.in_proj(x) # (B, L, 2*d_inner) x, z xz.chunk(2, dim-1) # 各 (B, L, d_inner) # 2. 应用1D卷积因果卷积处理序列 x x.transpose(1, 2) # (B, d_inner, L) x self.conv1d(x)[:, :, :seq_len] # 因果卷积取前L个输出 x x.transpose(1, 2) # (B, L, d_inner) x self.activation(x) # 3. 生成动态参数 Δ, B, C delta F.softplus(self.delta_proj(x)) # (B, L, d_model) B self.B_proj(x) # (B, L, d_state) C self.C_proj(x) # (B, L, d_state) # 4. 离散化简化版这里直接使用可学习的A_bar略去基于Δ和A_log的离散化计算 # 在实际Mamba中A_bar exp(Δ * A_log)这里简化处理 A_bar self.A_bar.unsqueeze(0).unsqueeze(0) # (1, 1, d_model, d_state) # 5. 扫描计算简化并行扫描此处用循环示意其思想实际使用高效CUDA内核 # h_t A_bar * h_{t-1} B_t * x_t # y_t C_t * h_t h torch.zeros(batch, self.d_model, self.d_state, devicex.device) ys [] for t in range(seq_len): h A_bar * h B[:, t:t1, :].transpose(1,2) * x[:, t:t1, :].unsqueeze(-1) y_t torch.sum(C[:, t:t1, :].unsqueeze(2) * h, dim-1) # (B, 1, d_model) ys.append(y_t) y torch.cat(ys, dim1) # (B, L, d_model) # 6. 门控与输出 y y * self.activation(z) y self.out_proj(y) return y代码解析in_proj生成两个分支x和zx用于SSM路径z用于最后的门控。因果卷积 (conv1d) 提供了局部上下文感知帮助模型更好地生成动态参数Δ, B, C。扫描循环是理解SSM工作的关键它展示了状态h如何随时间累积信息。注意这只是教学示意。真正的Mamba使用高度优化的并行扫描算法如selective_scan函数该循环在GPU上极慢。最终输出是SSM路径输出与门控分支z的乘积这是一种常见的特征调制方式。4.3 构建VideoMamba块与模型有了SSM层我们就可以构建完整的Mamba块并组装成VideoMamba模型。class VideoMambaBlock(nn.Module): def __init__(self, d_model, d_state64, d_conv4, expand2): super().__init__() self.norm1 nn.LayerNorm(d_model) self.ssm SimpleSelectiveSSM(d_model, d_state, d_conv, expand) self.norm2 nn.LayerNorm(d_model) self.mlp nn.Sequential( nn.Linear(d_model, d_model * 4), nn.GELU(), nn.Linear(d_model * 4, d_model), ) def forward(self, x): # 类Transformer的残差结构 x x self.ssm(self.norm1(x)) # 第一残差连接 SSM x x self.mlp(self.norm2(x)) # 第二残差连接 MLP return x class SimpleVideoMamba(nn.Module): def __init__(self, num_frames8, img_size224, patch_size16, in_chans3, embed_dim768, depth12, num_classes400): super().__init__() self.patch_embed nn.Conv2d(in_chans, embed_dim, kernel_sizepatch_size, stridepatch_size) num_patches (img_size // patch_size) ** 2 self.num_patches num_patches self.num_frames num_frames self.seq_len num_frames * num_patches # 可学习的位置编码 self.pos_embed nn.Parameter(torch.randn(1, self.seq_len, embed_dim) * .02) # 分类令牌 self.cls_token nn.Parameter(torch.zeros(1, 1, embed_dim)) # Mamba块堆叠 self.blocks nn.ModuleList([ VideoMambaBlock(d_modelembed_dim) for _ in range(depth) ]) self.norm nn.LayerNorm(embed_dim) self.head nn.Linear(embed_dim, num_classes) def forward(self, x): # x: (B, C, T, H, W) B, C, T, H, W x.shape x x.permute(0, 2, 1, 3, 4).contiguous() # (B, T, C, H, W) x x.view(B * T, C, H, W) # 合并批次和帧维度以进行2D卷积 # 1. 分块嵌入 x self.patch_embed(x) # (B*T, embed_dim, H, W) x x.flatten(2).transpose(1, 2) # (B*T, num_patches, embed_dim) # 2. 恢复时间维度并添加CLS令牌和位置编码 x x.view(B, T * self.num_patches, -1) # (B, T*num_patches, embed_dim) cls_tokens self.cls_token.expand(B, -1, -1) x torch.cat((cls_tokens, x), dim1) # (B, 1 T*num_patches, embed_dim) x x self.pos_embed # 3. 通过Mamba块 for blk in self.blocks: x blk(x) # 4. 取CLS令牌输出并分类 x self.norm(x) cls_output x[:, 0] out self.head(cls_output) return out关键点说明patch_embed使用一个简单的Conv2d实现步长等于块大小将每个块投影为向量。输入视频被重塑为(B*T, C, H, W)以便用2D卷积处理每一帧。这是视频处理中的常见技巧。位置编码pos_embed需要对应1 T*num_patches的长度包含了CLS令牌的位置。前向传播中SSM处理的是包含了CLS令牌和所有时空块令牌的完整序列。4.4 训练与微调策略初始化patch_embed和pos_embed可以从预训练的ViT如vit_base_patch16_224中加载。Mamba块的参数需要随机初始化或根据特定策略初始化。数据处理使用标准视频数据增强如随机裁剪、水平翻转、时间插帧等。对于Kinetics等数据集通常采样8或16帧。训练配置优化器AdamW优化器权重衰减设为0.05。学习率采用余弦退火调度。基础学习率设置较小如5e-4因为大部分参数已预训练。批次大小根据GPU内存调整。由于SSM的线性复杂度相比ViT可以尝试使用更长的序列更多帧或更高分辨率。评估在验证集上测试Top-1和Top-5分类准确率。关注其与ViT等模型在精度和推理速度特别是处理长视频时上的对比。注意事项完全复现论文中的SOTA结果需要大量的计算资源数百个GPU时、精确的超参数调优以及在大规模数据集如ImageNet-21K上的预训练。我们这个简化版主要用于理解和验证模型架构的有效性。要获得有竞争力的结果必须使用官方或社区发布的高效CUDA内核实现SSM扫描操作。5. 实验分析、优势与局限探讨根据论文报告和社区实验我们可以总结VideoMamba的一些关键特性和对比结果。5.1 效率对比分析这是VideoMamba宣称的核心优势。我们将其与典型的ViT变种进行对比模型计算复杂度 (序列长度N)内存占用长序列处理能力关键操作VideoMamba (Joint)~O(N)较低强选择性扫描 (SSM)TimeSformerO(NN_t NN_s)中等中等分解时空注意力ViViT (全局注意力)O(N²)高弱全局时空注意力实测体会在自建的测试环境中当序列长度N即T * num_patches超过2000时例如处理16帧224x224视频VideoMamba在推理速度和内存消耗上的优势开始变得非常明显。ViT类模型可能会遇到内存溢出OOM的问题或者需要大幅降低批次大小而VideoMamba则能相对轻松地处理。5.2 性能表现在主流视频理解基准数据集上VideoMamba展示了强大的竞争力Kinetics-400在相似的模型大小和训练数据下VideoMamba达到了与顶尖ViT变种如MViTv2、Video Swin相当的分类精度。Something-Something V2这个数据集对时序关系建模要求更高。VideoMamba凭借SSM强大的序列建模能力取得了优异的成绩甚至在某些设置下超越了基于注意力的模型。这证明了其在理解时序动态方面的潜力。长视频数据集在需要更长上下文如数十秒的任务中VideoMamba的线性复杂度优势转化为显著的性能提升因为其能够以可承受的成本编码更长的历史信息。5.3 优势总结线性缩放处理长视频这是最突出的优势使其能够处理更长的视频片段捕获更丰富的长期依赖适用于监控视频分析、长视频内容理解等场景。硬件高效现代SSM实现如Mamba的并行扫描算法能很好地利用GPU实现高吞吐量推理。强大的序列建模能力选择性SSM能动态过滤信息理论上比固定模式的注意力更灵活在需要精细时序推理的任务上表现出色。与ViT生态兼容可以无缝利用海量图像预训练权重加速收敛降低训练成本。5.4 当前局限与挑战尽管前景广阔VideoMamba及其代表的SSM视频模型仍面临一些挑战训练不稳定SSM的参数化特别是A矩阵的初始化和离散化过程需要精心设计训练深度SSM模型有时比Transformer更不稳定需要更细致的学习率调度和正则化。缺乏大规模视频预训练目前最成功的VideoMamba模型仍然严重依赖于图像预训练。纯粹从零开始在大型视频数据上训练SSM架构其表现和效率尚未得到充分验证。多模态融合的探索不足当前工作主要聚焦于视觉模态。如何将SSM高效地应用于视频-文本、视频-音频等多模态理解任务是一个开放且重要的问题。社区工具链不成熟相比成熟的Transformer库如Hugging Face TransformersSSM的优化实现、预训练模型库和易用性工具仍在发展中提高了研究和应用的门槛。理论理解有待深入尽管实证有效但为什么选择性SSM在视频数据上工作得如此好其与注意力机制在表征学习上的本质区别是什么仍需更多的理论分析。6. 常见问题与实战排坑指南在研究和复现过程中我遇到了不少典型问题。这里汇总一下希望能帮你避开这些坑。6.1 训练不稳定或发散现象损失出现NaN或准确率不升反降。排查与解决检查A_log初始化A_log参数通常初始化为-log(1, 2, ..., d_state)等确保其值为负这对应于稳定系统的极点。错误的初始化可能导致梯度爆炸。梯度裁剪在训练早期特别是从头开始训练时使用梯度裁剪torch.nn.utils.clip_grad_norm_是有效的稳定手段。降低学习率SSM可能对学习率更敏感。尝试使用更小的基础学习率并配合更长的预热warmup阶段。检查离散化确保离散化过程计算A_bar,B_bar数值稳定。使用双精度double进行调试或使用库中提供的稳定实现。6.2 模型无法收敛或性能远低于预期现象训练损失下降缓慢验证集准确率远低于论文报告值。排查与解决确认数据预处理确保你的数据增强、归一化mean/std与预训练模型如果使用或论文描述完全一致。视频帧采样率是关键。验证SSM实现用一个简单的序列复制任务测试你的SSM层。输入一个序列看经过若干层后是否还能保持或变换出合理输出。对比官方Mamba实现的结果。加载正确的预训练权重如果进行微调确保加载的ViT patch embedding权重与你的patch大小、嵌入维度匹配。不匹配的权重会破坏初始化。检查位置编码VideoMamba使用哪种位置编码是1D绝对位置编码还是加入了时空信息的相对位置编码错误的编码会严重影响模型对时空结构的理解。6.3 推理速度没有预期中快现象尽管理论复杂度低但实际推理时感觉并不比小尺寸ViT快。排查与解决使用优化后的SSM内核自己写的Python循环扫描是极其低效的。务必使用官方mamba-ssm库中的selective_scanCUDA内核或者其它高度优化的实现。这是发挥SSM速度优势的前提。序列长度是否足够长SSM的线性复杂度优势在处理长序列时才明显。如果你测试的视频片段很短如4帧其开销可能被常数项和框架开销掩盖。尝试增加帧数或空间分辨率。批次大小影响SSM的并行扫描对批次大小敏感。在推理时尝试增大批次大小以更好地饱和GPU计算单元。6.4 内存占用依然很高现象即使使用VideoMamba处理长视频时GPU内存仍然不足。排查与解决激活检查点对于极深的模型或超长序列可以使用梯度检查点技术以时间换空间大幅减少训练时的内存占用。混合精度训练使用AMP自动混合精度训练能有效降低内存消耗并加速计算。减少d_stateSSM的隐状态维度d_state是内存消耗的一个主要因素。适当减小它例如从64减到32或16可以显著降低内存但可能会影响模型容量需要权衡。分块处理对于超长视频如果必须一次性处理可以考虑在序列维度上进行分块计算但需要仔细设计块间的状态传递。6.5 复现结果与论文有差距这是最常见也最复杂的问题。首先确保你复现的是完全相同的设置模型尺寸深度、宽度、输入帧数、分辨率、采样策略、训练周期、优化器参数、数据增强的每一个细节。论文附录和开源代码是唯一标准。其次随机种子的影响深度学习实验存在随机性。多次运行取平均是获得可靠结果的必要步骤。最后计算资源的差异论文可能使用了更大的批次大小、更长的训练时间、更多的GPU进行同步BN等。这些都会影响最终精度。对于个人研究者更务实的做法是关注模型架构的相对优势和趋势而非绝对精度数字。通过这个“论文笔记”项目我从理论到实践完整地走查了VideoMamba。它不仅仅是一个新模型更代表了一种用高效序列建模范式革新视频理解领域的思路。虽然SSM在视频领域的探索才刚刚开始面临训练、理论和生态的挑战但其线性复杂度的先天优势对于处理海量视频数据的现实需求具有不可抗拒的吸引力。对于从业者而言现在正是深入了解并将其纳入技术选型视野的好时机。我的建议是可以从在现有视频项目中进行对比实验开始亲自感受其在长视频场景下的效率提升再逐步探索更复杂的应用。
