第十一章 人工神经网络建模(Artificial Neuron Nets) 一、引例 问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80); (l.28，1.84)；(1.40，2.04)．问它们应分别属于哪一个种类？ 思路：作一直线将两类飞蠓分开 分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04)属于 Apf类． ?缺陷：根据什么原则确定分类直线？ 再如，如下的情形已经不能用分类直线的办法： 二、神经元与神经网络 大脑可视作为1000多亿神经元组成的神经网络 神经元的解剖图 神经元的信息传递和处理是一种电化学活动．树突由于电化学作用接受外界的刺激；通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元．从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程 三、人工神经网络(Artificial Neuron Nets, 简称ANN) 神经元的数学模型 其中x＝(x1，…xm)T 输入向量，y为输出，wi是权系数；输入与输出具有如下关系： 例如，若记 取激发函数为符号函数 则 S型激发函数： 或 注：若将阈值看作是一个权系数，-1是一个固定的输入，另有m-1个正常的输入，则(1)式也可表示为： (1)‘ 2、神经网络的数学模型 众多神经元之间组合形成神经网络，例如下图的含有中间层(隐层)的B-P网络 3、量变引起质变------神经网络的作用 (1)蚂蚁群 (2)网络说话 人们把一本教科书用网络把它读出来(当然需要通过光电，电声的信号转换)；开始网络说的话像婴儿学语那样发出“巴、巴、巴”的声响；但经过B－P算法长时间的训练竟能正确读出英语课本中 90％的词汇． 从此用神经网络来识别语言和图象形成一个新的热潮． 4、人工神经网络的基本特点 (1)可处理非线性 (4)对数据的可容性大．在神经网络中可以同时使用量化数据和质量数据(如好、中、差、及格、不及格等)． 四、反向传播算法(B-P算法) Back propagation algorithm 图6 简单网络 假设有P个训练样本，即有P个输入输出对 (Ip, Tp),p=1,…,P, 其中 网络输出向量为 (理论上的) 记 ipm= -1 , wim= (第i个神经元的阈值) (5) 图7 多层前馈网络 假设： (l)输入层不计在层数之内，它有N0个神经元．设网络共有L层；输出层为第L层；第 k层有Nk个神经元． (3)设层与层间的神经元都有信息交换(否则，可设它们之间的权重为零)；但同一层的神经元之间无信息传输． 在上述假定下网络的输入输出关系可以表示为： (9) (10) 其中 BP算法 Step1 五．应用之例：蚊子的分类 翼长 触角长 类别 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af 翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af 输入数据有15个，即 , p=1,…,15; j=1, 2; 对应15个输出。 建模：(输入层，中间层，输出层，每层的元素应取多少个？) 建立神经网络 规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。 设两个权重系数矩阵为： 其中 其中， 为阈值， 为激励函数 取激励函数为 则 令p=0 取 (3)计算 j=1,2,3 (6) p=p+1，转(2) 即网络模型的解为： 则每个训练循环中按梯度下降时；其权重迭代公式为 表示第-1层第个元对第层第个元输入的第次迭代时的权重 (12) (11) 选定学习的数据,p=1,…,P, 随机确定初始权矩阵W(0) Step2 用(10)式反向修正,直到用完所有学习数据. 用学习数据计算网络输出 Step3 已知的两类蚊子的
