激活函数

sigmoid

公式：
图像：
notion image
将正数集映射到0-1范围内

ReLU（Rectified Linear Unit）

计算方式

Swish

其中为 sigmoid

GLU（Gated Linear Unit）

SwiGLU（Swish-Gated Linear Unit）

上一篇
Dropout
下一篇
Deep Learning
Loading...
文章列表

加载中