问题引入
在人工神经网络中，神经元节点的激活函数定义了对神经元输出的映射，简单来说，神经元的输出（例如，全连接网络中就是输入向量与权重向量的内积再加上偏置项）经过激活函数处理后再作为输出。我们也知道在神经网络中有许多的激活函数，那么每个激活函数的优缺点是什么呢？接下来慢慢说起来。
问题解答
这里介绍下大家熟悉的sigmoid函数，sigmoid函数的表达式如下：
下图展示了sigmoid函数以及它的导数。
Sigmoid函数是深度学习领域开始时使用频率最高的activation function。它是便于求导的平滑函数，其导数为
优点：
1.便于求导的平滑函数；
2.能压缩数据，保证数据幅度不会有问题；
3.适合用于前向传播。
缺点：
1.容易出现梯度消失（gradient vanishing）
2.Sigmoid 的输出不是 0 均值（zero-centered）
3.幂运算相对耗时
参考
https://blog.csdn.net/Dby_freedom/article/details/88946229
https://zhuanlan.zhihu.com/p/65472471
https://baijiahao.baidu.com/s?id=1653421414340022957&wfr=spider&for=pc
喜欢就关注一下啦~~~
数据库
文章转载自 百面机器学习，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
