为什么要引入激活函数

马克- to-win：马克 java社区：防盗版实名手机尾号： 73203。
马克-to-win @ 马克java社区：防盗版实名手机尾号：73203。根据上面的学习，我们已经知道，当我们接到客户的需求，让我们做识别，判断或者预测时，我们需要最终交付给客户我们的神经网络模型。其实我们千辛万苦训练出来的神经网络模型，就是从输入到输出的一个神秘未知函数映射。在大多数情况下，我们并不知道这个真正的函数是什么，我们只是尽量去拟合它。马克-to-win @ 马克java社区：前面给出的例子，只是起到引入和说明的作用，所以只用了一些线性组合（说明见下）。所以无法实现对复杂函数的逼近。如何使我们的神经网络随意逼近复杂函数呢？人工智能科学家们给出了答案，就像高等数学当中，我们用泰勒级数逼近各种复杂函数一样，引入非线性激活函数可以让我们的神经网络随意逼近复杂函数。




（补充）线性定义：（来自百度百科）
定义一个包含k个实数变量的集合,x1,x2,....xk,且假设已知一个k个实数权重集合w1,w2,.....wk。我们定义:
s=w1*x1+w2*x2+........wk*xk,s变量是对变量x的加权线性”混合”。因此，将s定义为变量的线性组合。