神经网络

神经网络基础¶

输入输出层的节点数固定，中间层可自由指定。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。

神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，输出可类比为神经元的轴突，计算则可类比为细胞核。

RGB颜色模型中，单个矩阵就扩展成了有序排列的三个矩阵，也可以用三维张量去理解。

其中的每一个矩阵又叫这个图片的一个 channel（通道），宽, 高, 深来描述。

为了实现 平移不变性，卷积神经网络（CNN）等可以捕捉到图像中的局部特征而不受其位置的影响。

卷积操作就是用一个可移动的小窗口来提取图像中的特征，这个小窗口包含了一组特定的权重，通过与图像的不同位置进行卷积操作，网络能够学习并捕捉到不同特征的信息。

a. 步长stride：每次滑动的位置步长。

b. 卷积核的个数：决定输出的depth厚度。同时代表卷积核的个数。

c. 填充值zero-padding：在外围边缘补充若干圈0，为了总长能被步长整除。

1、输入层

输入层接收原始图像数据。图像通常由三个颜色通道（红、绿、蓝）组成，形成一个二维矩阵，表示像素的强度值。

2、卷积和激活

卷积层将输入图像与卷积核进行 卷积操作。然后，通过应用激活函数（如ReLU）来引入非线性。这一步使网络能够学习复杂的特征。

3、池化层

池化层通过 减小特征图的大小 来减少计算复杂性。它通过选择池化窗口内的最大值或平均值来实现。这有助于提取最重要的特征。

4、多层堆叠

CNN通常由多个卷积和池化层的堆叠组成，以逐渐提取更高级别的特征。深层次的特征可以表示更复杂的模式。

5、全连接和输出

最后，全连接层将提取的特征映射转化为网络的最终输出。这可以是一个 **分类标签、回归值**或其他任务的结果。

循环神经网络（RNN） 是一种用于处理序列数据的神经网络，它具有时间递归的结构，可以将前一个时间步的输出作为当前时间步的输入。

RNN会记忆之前的信息，并利用之前的信息影响后面节点的输出。

网络结构上：

RNN隐藏层之间的节点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。

RNN可以看做同一个神经网络结构（输入层-隐藏层-输出层）在时间序列上被复制多次的结果。

总结：

卷积神经网络在不同的 空间位置 共享参数，循环神经网络是在不同的 时间位置 共享参数。

RNN的问题：

无法很好的处理很长的序列数据。随着间隔不断增大，RNN会彻底丧失学习到连接远信息的能力。

RNN与其他网络唯一的区别：

在于它每个时刻都有一个输出！（故总损失=所有时刻/部分时刻上的损失函数总和）

不会导致长时间前的有效信息被忽略，只有一部分信息需要长期记忆，让神经网络学会遗忘特定的信息。

遗忘门：

当遇到句号时，遗忘门会意识到句子中的上下文发生了改变，并忽略当前神经元中存储的状态信息。让循环神经网络“遗忘”之前没有用到的信息。

“门”结构：

就是一个使用Sigmod神经网络和一个按位做乘法的运算。