3.1 多层感知机

1 多层感知机

1.1 隐藏层

• 仿射变换中的线性是一个很强的假设。可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。我们可以把前L−1层看作表示，把最后一层看作线性预测器。这种架构通常称为多层感知机（multilayer perceptron），通常缩写为MLP

1.1.1 从线性到非线性

• $X\in R^{n\times d}$ ， $W^{(1)}\in R^{d\times h}$ ， $H\in R^{n\times h}$ ， $W^{(2)}\in R^{h\times q}$ ， $O\in R^{n\times q}$
• $X$ 是输入， $W^{(1)}$ 是第一层权重， $H$ 是第一层输出， $W^{(2)}$ 是第二层权重， $O$ 是输出

$$H=X{W}^{(1)}+b^{(1)}$$ $$O=H{W}^{(2)}+b^{(2)}$$

• 仅添加隐藏层并不能扩展表达能力：

$$O=(X{W}^{(1)}+b^{(1)})W^{(2)}+b^{(2)}=X{W}^{(1)}{W}^{(2)}+b^{(1)}{W}^{(2)}+b^{(2)}=XW+b$$

• 还需要激活函数
• 通过使用更深（而不是更广）的网络，我们可以更容易地逼近许多函数。

1.2 激活函数

1.2.1 ReLU函数

• 修正线性单元（linear unit）提供了一个简单的非线性变换： $$ReLU(x)=max(x,0)$$
• 使用ReLU的原因是，它求导表现得特别好：要么让参数消失，要么让参数通过。这使得优化表现得更好，并且ReLU减轻了困扰以往神经网络的梯度消失问题
• ReLU函数有许多变体，包括参数化ReLU（Parameterized ReLU，pReLU）函数。该变体为ReLU添加了一个线性项，因此即使参数是负的，某些信息仍然可以通过： $$pReLU(x)=max(0,x)+\alpha min(0,x)$$

import os
os.environ['KMP_DUPLICATE_LIB_OK']='True'
import torch
from d2l import torch as d2l

#relu函数
x=torch.arange(-8.0,8.0,0.1,requires_grad=True)
y=torch.relu(x)

#relu函数的导数
y.backward(torch.ones_like(x),retain_graph=True)

#画图
d2l.plot(x.detach(),[y.detach(),x.grad],'x','y',figsize=(5,2.5),legend=['relu','grad'])

1.2.2 Sigmoid函数

• sigmoid通常称为挤压函数（squashing function）：它将范围（‐inf, inf）中的任意输入压缩到区间（0, 1）中的某个值： $$sigmoid(x)=\frac{1}{1+e^{-x}}$$
• 导数： $$sigmoi{d}^{\prime }(x)=sigmoid(x)(1-sigmoid(x))$$

#sigmoid函数
y = torch.sigmoid(x)

#sigmoid函数的导数
x.grad.data.zero_()
y.backward(torch.ones_like(x),retain_graph=True)

#画图
d2l.plot(x.detach(),[y.detach(),x.grad],'x','y',figsize=(5,2.5),legend=['sigmoid','grad'])

1.2.3 tanh函数

• 函数的形状类似于sigmoid函数，不同的是tanh函数关于坐标系原点中心对称。

$$tanh(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$$

• 导数： $$tan{h}^{\prime }(x)=1-tan{h}^2(x)$$

#tanh函数
y=torch.tanh(x)

#tanh函数的导数
x.grad.data.zero_()
y.backward(torch.ones_like(x),retain_graph=True)

#画图
d2l.plot(x.detach(),[y.detach(),x.grad],'x','y',figsize=(5,2.5),legend=['tanh','grad'])

赏

谢谢你请我吃糖果