【无标题】激活函数应该具有哪些特征

【无标题】激活函数应该具有哪些特征

1.非线性

2.可微性

3.计算效率高

4.缓解梯度消失与爆炸

5.合理的输出范围

6.稀疏激活能力

7.主流激活函数对比(扩展版)

#人工智能#具身智能#VLA#大模型#AI