一.带有随机隐藏节点的单隐层前馈神经网络
1.相关条件： N个不同样本(
xi,ti
),
xi
=
[xi1,xi2,xi3,........,xin]T
,
ti
=
[ti1,ti2,ti3,........,tim]T
第i个隐藏节点和输入节点间的权重向量：
wi=[wi1,wi2,........win]T
第i个隐藏节点的阀值：
bi=[bi1,bi2,........bin]T
第i个隐藏节点和输出节点间的权重向量：
βi=[βi1,βi2,........βin]T
激活函数：g(x)
2.方程改写：
SLFNs ：
∑N‘i=1βig(wi?xj+bi)
=
tj
, 简写成：H
β
=
T
其中
3.简易模型：
4.两个相关定理(可以自行证明)： 定理 1： 给定一个具有N个隐藏节点以及在任何区间都无限可导的激活函数的标准SLFN。对N个任意不同样本，，SLFN在随机产生的情况下，形成的隐藏层输出矩阵H是可逆的，且 定理 2. 对于任意小的，及在任何区间都无限可导的激活函数，对N个任意不同样本，，总存在个隐节点的SLFN，使得在随机产生的情况下。
二.SLFNs的最小范数的最小二乘(LS) 由定理1，2可知：只要激活函数无限可导，输入权重和隐藏层阀值可以随机分配, (即：可认为
wi,βi
已知)，因此训练SLFNs等价于找到H
β
=
T
的一个最小二乘解
β?
其中根据相容方程组：
β?=H+T
(
H+
是H的广义逆)
三.ELM算法
给定训练样本集合N个不同样本(
xi,ti
)，激活函数g(x)和隐藏单元个数
N?
任意指定输入权值和阈值
wi,bi(i=1,....N?)
； 计算隐藏层输出矩阵H；
计算输出权重
β
:
β?=H+T
其中
T=[t1,t2,.......tN]T
|