深度学习

注意力机制最早是在视觉图像领域提出，但真正得到广大关注是从Google mind团队发表的论文开始，使用attention机制在RNN模型上来进行图像分类。随后，Bahdanau等人使用attention机制在机器翻译任务上将翻译和对齐同时进行，注意力机制开始应用到自然语言处理领域。0 注意力机制的主要学习内容1）注意力机制的基本理论2）注意力机制的运用1 基本理论         注意力机制模型的构建是受到人类视觉的启发，当在看一样物体时，其实并不是一次性就把该物体的各个方面都看到，大多是根据自身需求，对该物体各个位置的注意力分布是不一样的。在CNN和RNN中，提取出的特征都是赋予相同的权重，因此重要特征没有得到重视，而Attention这种思想可以对特征进行加权处理，加强重要特征对分类的作用，具体结构如下图1所示。图1 attention机制结构2 注意力机制的总结与应用         Attention的出现就是为了两个目的：1. 减小处理高维输入数据的计算负担，通过结构化的选取输入的子集，降低数据维度。2. “去伪存真”

循环神经网络（RNN）是一种特殊的网络结构，特殊在于同一隐藏层的节点之间是有连接的。还有个最大的特点是在于将时间序列思想引入到神经网络构建中，通过时间关系不断加强数据间的影响关系。结合过去的经验记忆和现正在学习的知识，融合贯通得到现在的认知。也就是说RNN模型不仅考虑到当前的输入，还赋予网络对过去的记忆，并且隐藏层的输入不仅包括当前时刻的输入，还需要加入上一时刻隐藏层的输出。0 循环神经网络的主要学习内容1）循环神经网络的基本结构2）循环神经网络的改进结构3）循环神经网络的应用1循环神经网络的基本结构         RNN可有多个隐藏层，隐藏层可不断的循环和递归信息。例如，在双层循环神经网络中，数据进入第一隐藏层得到的输出以一定的权重进入第二隐藏层，然后最后一层的输出反过来通过损失函数，反向调整各层的连接权重，利用梯度下降方法寻找最优化参数。        RNN网络结构大致是由输入层、隐藏层、输出层构成。如图1.1所示：图1.1 RNN网络结构

卷积神经网络是源于人工神经网络的深度学习方法，在深度学习中是极具代表性的网络结构。CNN相较于传统的算法避免了繁琐的前期处理(人工提取训练样本特征等)，可以直接作用于原始的训练样本上(如图片、语音、文本等)。0 卷积神经网络的主要学习内容1）卷积神经网络的基本结构2）卷积神经网络的特点3）卷积神经网络参数更新4）卷积神经网络的应用1 卷积神经网络的基本结构        卷积神经网络的基本结构包含输入层、卷积层、池化层、全连接层和输出层。卷积层和池化层都能实现将特征映射降维，即特征提取。为了提取较多的特征，我们将会自行设置卷积层中卷积核的个数，因此，特征映射的数量往往会比较多。卷积得到的特征进入池化降维，然后展开并排列成为一个向量，这就是自动提取的特征向量，再进入分类器。分类器通常由一个全连接前馈神经网络构成，特征向量作为该分类器的输入，输出为分类器以最大概率判定该特征样本的类别。卷积神经网络的结构，