1. 流形优化与深度学习优化的现状与挑战

深度学习优化算法是训练神经网络的核心技术，当前主流优化器如AdamW和Muon各有优缺点。AdamW通过对角曲率估计实现参数自适应学习率，但忽略了参数矩阵的谱信息和子空间结构特性；Muon则采用全局谱归一化，虽然能均匀探索损失函数的所有谱方向，但丢失了梯度中编码的曲率信息。

传统流形优化方法在深度学习领域长期被忽视，主要原因在于：

1. 计算成本高：传统方法如Stiefel流形需要昂贵的矩阵分解（如SVD、QR等）
2. 表达限制：流形约束可能限制模型探索损失函数的能力
3. 结构假设：需要预先知道参数或目标的流形结构，这在LLM训练中难以满足

关键问题：如何在保持流形优化几何优势的同时，克服其在大规模模型优化中的性能瓶颈？

2. Mano优化器的核心设计原理

2.1 流形优化的革新思路

Mano的核心创新在于"欧几里得下降+流形约束"的混合策略：

1. 参数θt不直接约束在流形上，保持欧几里得空间的表达自由度
2. 仅将动量投影到参数切空间，保留曲率信息
3. 通过旋转斜流形(Oblique)约束更新方向

数学表达上，Mano的更新规则为：

gt = ∇f(θt) # 计算梯度 ˆθt = NM(θt) # 流形归一化 vt = projTˆθtM(gt) # 切空间投影 ˆvt = NM(vt) # 流形归一化 θt+1 = θt - ηtˆvt # 参数更新

2.2 斜流形的选择与旋转机制

在常见矩阵流形中，Mano选择斜流形(OB(n,m))因其：

1. 计算效率高：仅需元素级操作，无需矩阵乘法
2. 几何性质优：实验测得Qwen3-0.6B在斜流形上的测地距离比球面流形短15%，比Stiefel流形短42%

旋转机制是Mano的关键创新：

• 奇数步：列归一化
• 偶数步：行归一化
• 效果等价于交替执行Sinkhorn-Knopp迭代，形成动态双随机流形

2.3 计算复杂度分析

对于m×n参数矩阵：

• 两次归一化：各3mn FLOPs
• 切空间投影：最多5mn FLOPs
• 总FLOPs：≤11mn

相比Muon的Newton-Schulz迭代（每步O(n³)），Mano的线性复杂度在大模型场景优势显著。实测LLaMA-70B的MLP层：

• Muon：184.33ms
• Mano：4.35ms（加速42倍）

3. Mano的完整算法实现

3.1 算法伪代码

# 输入：参数θt∈R^{m×n}, 动量Mt, 学习率ηt # 超参数：动量系数μ, 权重衰减λ 初始化 M0 = 0, t = 0 for each step do: gt = ∇f(θt) # 计算梯度 Mt = μMt-1 + gt # 动量更新 k = t mod 2 # 确定旋转维度 # 流形归一化 ˆθt = θt ⊘ ∥θt∥2,k # 按k维归一化 vt = Mt - ˆθt⊙⟨Mt,ˆθt⟩k # 切空间投影 ˆvt = vt ⊘ ∥vt∥2,k # 动量归一化 # 参数更新 θt+1 = θt - ηt(0.2√nk ˆvt + λθt) # 含权重衰减 end for

3.2 实现细节优化

1. 更新RMS控制：保持与AdamW相同的0.2-0.4范围，确保公平比较
2. 输入输出层处理：对embedding和head层仍使用AdamW，因其稀疏特性
3. 混合精度训练：全程使用BFloat16，梯度裁剪阈值1.0
4. 学习率调度：余弦衰减，最小学习率为最大值的10%

4. 实验验证与性能分析

4.1 基准测试结果

在LLaMA和Qwen3系列模型上的测试困惑度(perplexity)对比：

关键发现：

1. 后期收敛优势：Mano在训练后期超越Muon，如LLaMA-1.3B在8000步后 perplexity 降低速度快37%
2. 计算效率：LLaMA-350M在Pile数据集上，wall-clock时间收敛速度比Muon快1.75倍

4.2 学习动态分析

梯度特性对比（LLaMA-350M/Pile）：

• 梯度方差：Mano比Muon低42%
• 信噪比(SNR)：Mano平均6.8 vs Muon 4.3

谱分布特征：

1. AdamW：保留原始梯度谱但幅度不均
2. Muon：谱白化导致顺序信息丢失
3. Mano：保持谱顺序的同时提升弱方向幅度

4.3 消融实验

1. 静态斜流形 vs 旋转：
   • LLaMA-1.3B上测试perplexity从9.25提升到8.99
2. 动量重投影：
   • 对大型模型（>1B参数）效果显著
3. Nesterov加速：
   • 小模型可能产生负面影响，大模型收益约2%

5. 实际应用建议

5.1 适用场景

1. 大规模LLM预训练（参数量>100M）
2. 计算资源受限场景
3. 需要快速探索损失函数空间的场景

5.2 参数调优指南

1. 基础学习率：3e-4（与AdamW相同范围）
2. 动量系数μ：0.9-0.95
3. 权重衰减λ：0.1
4. 批量大小：至少512（需梯度累积）

5.3 常见问题排查

1. 训练初期收敛慢：
   • 检查旋转机制是否正常交替
   • 适当提高初始学习率10-20%
2. 梯度爆炸：
   • 确保梯度裁剪阈值设为1.0
   • 检查混合精度实现
3. 内存不足：
   • 确认没有意外保留二阶矩估计

6. 理论贡献与未来方向

6.1 理论保证

在简化设定（无动量、静态斜流形）下，Mano满足：

min E[∥∇f(θt)∥] ≤ O(Lm^{3/2}/γ√T)

其中L为平滑常数，m为参数维度，γ为切向分量。

6.2 局限性与改进空间

1. 当前理论分析未涵盖动量动态
2. 超参数敏感性需要进一步研究
3. 在视觉模型等非LLM领域的适用性待验证

在实际使用LLaMA-7B模型进行预训练时，Mano相比Muon可节省约18%的GPU小时数，这主要归功于其线性的计算复杂度增长特性。一个实用的经验法则是：当模型参数量超过1B时，Mano的计算优势会变得尤为明显。