自组织特征映射神经网络(SOFM)

1981年芬兰 Helsink 大学的 T·Kohonen 教授提出一种自组织特征映射网 (Self-Organizing Feature Map , SOFM ), 又称 Kohonen 网 。 Kohonen 认为 ,一个神经网络接受外界输入模式时, 将会分为不同的对应区域, 各区域对输入模式具有不同的响应特征,而且这个过程是自动完成的。 自组织特征映射正是根据这一看法提出来的 ,其特点与人脑的自组织特性相类似。

一、SOFM网生物学基础

生物学研究表明,在人脑感觉通道上,神经元的组织原理是有序排列的,输入模式接近,,对应的兴奋神经元也相近。大脑皮层中神经元这种相应特点不是先天形成的,而是后天的学习自组织形成的。

对于某一图形或某一频率的特定兴奋过程是自组织特征映射网中竞争机制的生物学基础。神经元的有序排列以及对外界信息的连续映像在自组织特征映射网中也有反映,当外界输入不同的样本时,网络中哪个位置的神经元兴奋在训练开始时时随机的。但自组织训练后会在竞争层形成神经元的有序排列,功能相近的神经元非常靠近,功能不同的神经元离的较远。这一特点与人脑神经元的组织原理十分相似。

二、SOFM网的拓扑结构与权值调整域1. 拓扑结构

SOFM网共有两层,输入层个神经元通过权向量将外界信息汇集到输出层的个神经元。输入层的神经元数与样本维数相等。输出层为竞争网络中的竞争层。神经元的排列有多种形式,如一维线阵、二维平面阵和三维栅格阵,常见的是一维和二维。一维是最简单的,结构特点如下图所示,每个竞争层的神经元之间都有侧向连接。输出按照二维平面组织是SOFM网最典型的组织方式,更具有大脑皮层形象,输出层每个神经元同它周围的其他神经元侧向连接,排列成棋盘状平面,结构如下图右所示:

2. 权值调整域

SOFM网采用的学习算法称为Kohonen算法,是在胜者为王算法基础上加以改进而成的,其主要的区别在于调整权向量与侧抑制的方式不同。在胜者为王学习规则中,只有竞争获胜神经元才能调整权向量,其他任何神经元都无权调整权向量,因此它对周围所有神经元的抑制是“封杀”式的。而SOFM网的获胜神经元对其学习算法中不仅获胜神经元本身要调整权向量,它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用下图所示的三种函数表示,其中(b)中的函数曲线是由(a)中的两个正态曲线组合而成的。

b-d中的3中函数沿中心轴旋转后可形成形状似帽子的空间曲面,按顺序分别为墨西哥帽函数、大礼帽函数和厨师帽函数。墨西哥帽函数是Kohonen提出的,它表明获胜神经元有最大的权值调整量,邻近的神经元有稍小的调整量,离获胜神经元距离越大,权的调整量越小,直到某一距离R时,权值调整量为0,。当距离再远一些时,权值调整量略负,更远时又回到0。墨西哥帽函数表现出的特点与生物系统的十分相似,但计算上的复杂性影响了网络训练的收敛性。因此,在SOFM网络中常使用与墨西哥函数类似的简化函数,如大礼帽函数和进一步简化后的厨师帽函数。

以获胜神经元为中心设定一个邻域半径,该半径圈定的范围称为优胜邻域。在SOFM网学习网络算法中,优胜邻域内所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始定得很大,但其大小随着训练次数的增加不断收缩,最终收缩到半径为零。

三、自组织特征映射网的运行原理与学习算法1. 运行原理

SOFM网的运行分训练和工作两个阶段。在训练阶段,对网络随机输入训练集中的样本,对某个特定的输入模式,输出层会有某个神经元产生最大响应而获胜,而在训练开始阶段,输出层哪个位置的神经元将对那类输入模式产生最大响应是不确定的。当输入模式的类别改变时,二维平面的获胜神经元也会改变。获胜神经元周围的神经元因侧向相互兴奋作用产生较大响应,于是获胜神经元以及其优胜邻域内的所有神经元所连接的权向量均向输入向量的方向作程度不同的调整,调整力度依邻域内各神经元距获胜神经元的远近而逐渐衰减。网络通过自组织方式,用大量训练样本调整网络的权值,最后使输出层各神经元成为特定模式类敏感的神经细胞,对应的内星权向量成为各输入模式类的中心向量。并且当两个模式类的特征接近时,代表这两类的神经元在位置也接近。从而在输出层形成能够反映样本模式类分布情况的有序特征图。

SOFM网训练结束后,输出层各神经元与各输入模式类的特定关系就完全确定了,因此可用作模式分类器。当输入一个模式时,网络输出层代表该模式类的特定神经元将产生最大响应,从而将该输入自动归类。应当指出的是,当向网络输入的模式不属于网络训练时见过的任何模式类时,SOFM网只能将它归入最接近的模式类。

2. 学习算法

Kohonen算法

(1)初始化

对输出层各权向量赋值小随机数,并进行归一化处理。建立初始优胜邻域;学习率赋值初始值。

(2) 接受输入

从训练集中随机选取一个输入模式并进行归一化处理。

(3) 寻找获胜神经元

计算输入模式与内星权向量的点积,从中选出点积最大的获胜神经元;

(4) 定义优胜邻域

以获胜神经元为中心确定t时刻的权值调整域,一般初始邻域N较大,训练过程中N随着训练时间逐渐收缩。示意图如下所示:

(5) 调整权值

对优胜邻域内所有神经元调整权值。如下图:

式中,η(t,N)是训练时间t和邻域内第j个神经元与获胜神经元j*之间的拓扑距离N的函数,该函数一般有以下规律:

相信人生有挫折没有失败,相信生命的质量来自决不妥协的信念。

自组织特征映射神经网络(SOFM)

相关文章:

你感兴趣的文章:

标签云: