一、 简介 (9.1节)自组织映射是神经网络无教师学习部分的重要章节。与第8章的主分量分析PCA关注数据的方差最大方向不同SOM关注的是数据的拓扑结构和空间分布。本章将竞争学习应用于构造计算映射即一种从高维输入空间到低维通常是二维神经元网格的拓扑有序映射。SOM的核心在于模拟大脑皮层中“近邻者相互激励远邻者相互抑制”的侧抑制现象从而实现特征的空间自组织。通俗理解如果把数据比作一群在三维空间中散布的星星PCA是找出一条穿过星星中心、方向最“拉长”的轴来描述它们。而SOM更像是一张“弹性渔网”被扔进星星群里。随着学习这张网会自动变形、拉伸试图去“包裹”住这些星星。最终星星在三维空间中的邻居关系会被很好地保存在这张二维渔网的网格结构中。这就是拓扑保持输入空间相近的点在SOM网格上也相近。二、 两个基本的特征映射模型 (9.2节)在深入SOM算法前先了解其生物学灵感和两种基础模型。Willshaw-von der Malsburg模型最早的生物特征映射模型基于Mexican Hat墨西哥帽侧抑制机制。近邻兴奋、远邻抑制、更远弱兴奋。这保证了只有局部区域的神经元能“赢得”竞争形成局部的活动泡。Kohonen模型SOM简化了复杂的侧抑制结构采用竞争学习邻域合作的策略。它不计算复杂的侧向连接权值而是通过一个邻域函数直接定义获胜者周围的影响范围这使得算法更简洁、更适合工程应用。三、 自组织映射SOM算法 (9.3 9.4节)这是本章的核心。SOM算法通过三个核心过程实现自组织竞争、合作、适应。 核心公式通俗讲解SOM如何自组织1. 竞争过程寻找胜者对于输入向量 x每个神经元 j 有一个权值向量 wj。计算输入与各权值向量的相似度通常用欧几里德距离距离最小的神经元获胜i(x)argminj∥x−wj∥通俗讲解这就像拍卖会每个神经元都根据自己的“库存”权值与“需求”输入的匹配程度出价。最匹配的那个神经元赢得当前输入的“拥有权”成为获胜神经元。2. 合作过程定义邻域获胜神经元不仅自己兴奋还会激发周围的神经元。兴奋强度随距离衰减由邻域函数hj,i(x) 决定hj,i(x)exp(−2σ2dj,i(x)2)其中 dj,i(x) 是神经元 j 与获胜神经元 i(x) 在网格上的拓扑距离σ 是邻域半径。通俗讲解获胜神经元就像投入水中的石子激起涟漪。距离中心越近波纹越高兴奋越强越远则越弱。σ 控制了“涟漪”能传多远。σ随时间收缩意味着初期大家“一起学”粗调后期只有获胜者“自己学”精调。3. 适应过程权值更新对获胜者及其邻域内的神经元将权值向输入向量“拉近”Δwjη⋅hj,i(x)⋅(x−wj)其中 η 是学习率。通俗讲解这是SOM的“引力法则”。输入向量 x 像一块磁铁把获胜者及其邻居的权值向量吸向自己。吸力大小取决于距离邻域函数。通过不断吸入新的数据点SOM网络那张“渔网”逐渐散开覆盖了数据的分布区域。四、 特征映射的性质 (9.5节)训练好的SOM具有两个至关重要的性质拓扑排序网格上相邻的神经元其权值向量在输入空间中也是相邻的。这意味着SOM将高维数据的流形结构展开到了低维网格上。密度匹配SOM网格上神经元的分布密度近似反映了输入数据在该区域的概率密度。数据密集的地方会有更多的神经元去“抢占”地盘。通俗讲解拓扑排序如果输入数据呈月牙形训练好的SOM网格也会弯曲成月牙形而不会是一团乱麻。密度匹配如果数据点在某处特别扎堆SOM就会分配更多的神经元网格节点去那里站岗以保证该区域的分辨率更高。五、 学习向量量化 (9.7节)SOM是无监督的但很多时候我们也有标签信息。学习向量量化LVQ是SOM的有监督延伸用于分类任务。核心思想利用SOM发现的聚类结构通过有监督的微调使决策边界更精确。LVQ1算法规则找出距离输入 x 最近的神经元原型向量wi。如果 wi 的类别标签与 x相同则将 wi 向 x 靠近 Δwiη(x−wi)如果类别不同则将 wi 推离 x Δwi−η(x−wi)通俗讲解LVQ就像是给SOM的“管理员”配备了带标签的检查表。如果某个神经元站错了队伍类别与输入不符管理员就把它往相反方向踹一脚如果站对了队伍就奖励它让它往队伍中心靠得更紧。这样SOM原本模糊的决策边界就被“修剪”得非常精确。六、 分层向量量化 (9.9节)将SOM/LVQ的结构扩展为树状结构即分层向量量化。结构根节点是一个SOM每个叶节点再连接一个子SOM。工作方式先由顶层SOM做粗分类确定输入属于哪个大类再将输入送入对应的子SOM做细分类。优势极大提高了搜索效率适用于大规模码本或数据集。通俗讲解就像医院的分诊系统。先去导诊台顶层SOM确定是内科还是外科再去具体的科室子SOM找专科医生。这比在一个包含所有医生的巨大列表里逐一比较要快得多。七、 上下文映射 (9.10节)进一步探讨SOM如何处理具有上下文依赖的数据如语言、序列。思想在权值更新时不仅考虑当前输入还考虑前序输入或上下文的影响。这为后来处理序列数据的神经网络如RNN提供了早期思路。八、 小结与讨论 (9.11节)SOM的核心价值可视化将高维数据投影到2D平面保留了拓扑结构是人类观察高维数据的“望远镜”。向量量化用少量原型向量表示大量数据实现数据压缩。生物合理性模拟了大脑皮层的自组织特性是计算神经科学的经典模型。局限训练结果受初始化和参数η,σ选择影响大。难以确定最优网格大小。理论收敛性分析不如PCA那样清晰。️ 第九章知识全景脑图codemindmap root((神经网络原理br/第九章 自组织映射)) 简介(9.1) 无教师学习 构造计算映射 保留拓扑结构 生物学根源(侧抑制) 两个基本模型(9.2) Willshaw-von der Malsburg Mexican Hat侧抑制 Kohonen模型(SOM) 竞争邻域合作 工程化简化 SOM算法(9.3-9.4) 竞争过程 寻找获胜神经元 合作过程 邻域函数(高斯型) 半径σ随时间收缩 适应过程 权值向输入靠近 Δw ηh(x-w) 两个阶段 排序阶段(粗调) 收敛阶段(精调) 特征映射性质(9.5) 拓扑排序(相邻→相邻) 密度匹配(数据密→神经元多) 计算机仿真(9.6) 动物步态模式 语义映射 学习向量量化 LVQ(9.7) 有监督的SOM扩展 分类任务 LVQ1算法 同类靠近异类推离 精修决策边界 分层向量量化(9.9) 树状SOM结构 先粗后细的分类 提高搜索效率 上下文映射(9.10) 考虑上下文依赖 序列数据处理 小结(9.11) 价值(可视化、VQ、生物模型) 局限(参数敏感、理论分析难) /code 第九章核心公式通俗讲解1. 获胜神经元判定i(x)argminj∥x−wj∥讲解这是“胜者为王”的规则。谁离输入数据点最近谁就赢。这定义了竞争学习的核心确保网络具有局部性只对当前输入最敏感的神经元做出反应。2. 邻域函数hj,i(x)exp(−2σ2dj,i(x)2)讲解这是SOM的“灵魂公式”。它定义了获胜者周围哪些神经元能跟着“沾光”。d 是网格上的距离σ 是邻域宽度。σ大许多神经元一起移动网络在做大尺度的结构调整排列。σ小只有获胜者自己微调网络在做精细调整。训练过程中σ必须从大到小衰减这是SOM能形成有序映射的关键。3. 权值更新规则Δwjη⋅hj,i(x)⋅(x−wj)讲解这个公式体现了“趋同”学习。对于获胜者h1和近邻h较大权值向量 wj 会被拉向输入向量 x。(x−wj) 是拉力的方向η 是步长h 是力度衰减系数。通过这个公式SOM逐步用权值向量去逼近数据的概率密度分布。4. LVQ1分类更新规则Δwi{η(x−wi)−η(x−wi)同类异类讲解这是给无监督的SOM加上“奖惩机制”。如果是同类权值向量向输入移动奖励如果是异类权值向量远离输入惩罚。这就像是在SOM画好的草图上用橡皮擦和铅笔精细地勾勒出类别之间的分界线。 第九章学习要点本章是无监督学习从理论PCA走向拓扑结构建模的关键。重点掌握SOM的三过程机制竞争、合作、适应以及邻域函数 h 的关键作用理解为何σ必须随时间收缩。特征映射的两大性质拓扑排序和密度匹配这是SOM区别于K-means等简单聚类算法的核心。LVQ如何在SOM无监督聚类的基础上利用标签信息进行有监督的决策边界优化。思考SOM与第8章PCA的异同PCA是线性降维保方差SOM是非线性降维保拓扑。通过SOM我们看到了简单的局部规则竞争与邻域合作如何涌现出全局的有序结构这是复杂系统科学在神经网络中的绝妙体现。
