Convolutional Neural Networks (CNNs / ConvNets)
前面做了如此漫长的铺垫，现在终于来到了课程的重点。Convolutional Neural Networks， 简称CNN，与之前介绍的一般的神经网络类似，CNN同样是由可以学习的权值与偏移量构成，每一个神经元接收一些输入，做点积运算加上偏移量，然后选择性的通过一些非线性函数，整个网络最终还是表示成一个可导的loss function，网络的起始端是输入图像，网络的终端是每一类的预测值，通过一个full connected层，最后这些预测值会表示成SVM或者Softmax的loss function，在一般神经网络里用到的技巧在CNN中都同样适用。
那么，CNN与普通的神经网络相比，又有哪些变化呢？CNN的网络结构可以直接处理图像，换句话说CNN的输入就是直接假设为图像，这一点有助于我们设计出具备某些特性的网络结构，同时前向传递函数可以更加高效地实现，并且将网络的参数大大减少。
Architecture Overview
前面介绍的普通的神经网络，我们知道该网络接收一个输入，通过一系列的隐含层进行变换，每个隐含层都是由一些神经元组成，每一个神经元都会和前一层的所有神经元连接，这种连接方式称为 full connected，每一层的神经元的激励函数都是相互独立，没有任何共享。最后一个full connected层称为输出层，在分类问题中，它表示每一类的score。
一般来说，普通的神经网络不能很好地扩展到处理图像，特别是高维图像，因为神经元的连接是full connected的方式，导致一般的神经网络处理大图像的时候将会引入海量的参数，而这样很容易造成overfitting。
而CNN，利用了输入是图像这一事实，他们用一种更加明智的方法来设计网络结构，具体说来，不像普通的神经网络，CNN中的每一层的神经元被排列成一个三维模型：拥有width，height以及depth。这里的depth指的是CNN每一层的纵深，并非指整个CNN结构的纵深。比如，对于CIFAR-10数据库来说，输入是一个三维的volume，3210的volume，因为最后一层表示每一类的score，CNN通过这种结构，将一个输入的图像最后转化成一个表示每一类score的向量，下图给出了两种神经网络的示意图：
上图左边是一般的神经网络，这个网络有两个隐含层，右边是CNN，将每一层的神经元排列成一个三维的volume，可以将3D的输入volume转化为3D的输出volume.
Layers used to build ConvNets
上一节已经提到，CNN的每一层都将某种输入通过某些可导函数转化为另一种输出，一般来说，我们主要利用三种类型的layer去构建一个CNN，这三种类型的layer分别是convolutional layer, pooling layer 以及full connected layer，这三种类型的layer通过组合叠加从而组成一个完整的CNN网络。我们先来看一个简单的例子，以CIFAR-10数据库为例，我们要设计一个CNN网络对CIFRA-10进行分类，那么一个可能的简单结构是：[INPUT-CONV-RELU-POOL-FC]，其中：
INPUT：[323] 表示输入层，是图像的像素值，这种情况下表示图像是宽为32个像素，高为32个像素，并且有R,G,B三个通道。 CONV： 是卷积层，计算输入层的局部神经元与连接到CONV层神经元的连接系数的点积，如果假设depth是12的话，那么可能的输出就是[3212]。 POOL： 这一层主要执行降采样的功能，可能的输出为[1612]。 FC： 这一层计算最终的每一类的score，输出为[110]。与普通的神经网络一样，这一层的神经元与上一层的所有神经元都会连接。
所以，利用这种结构，CNN通过一层一层的传递作用，将原始的图像最后映射到每一类的score。我们可以看到，有些层有参数，有些层没有参数。特别地，CONV/FC层不仅仅只是通过激励函数做转化，而且参数（权值，偏移量）也起到非常重要的作用，另一方面，POOL/RELU 层只是固定的函数在起作用，并没有涉及到参数，CONV/FC层的参数将通过梯度下降的方法训练得到，使得训练样本的预测值与目标值吻合。 下图给出了一个典型的CNN结构。
总之，CNN可以总结如下： 1)：一个CNN结构是由一系列的执行不同转化功能的layers组成的，将输入的原始图像映射到最后的score。 2)：整个网络结构，只有少数几类不同功能的layer (CONV/FC/RELU/POOL 是目前比较流行的几种)。 3)：每一层都接收一个3-D的数据体，最后也会输出一个3-D的数据体。 4)：有些层有参数(CONV/FC)，有些层没有(RELU/POOL)。 5)：有些层还可能有hyperparameters(CONV/POOL/FC)，有些层则没有(RELU)。
接下来，我们要描述每一类layer的作用，以及相关的参数。
Convolutional Layer
Conv layer是CNN网络的核心部件，它的输出可以看成是一个3-D的数据体，CONV 层包含一系列可学的filters，这些filter的尺寸都很小，但是可以扩展到input的整个depth，前向传递的时候，filter在输入图像上滑动，产生一个2-D的关于filter的激励映射，filter只会和局部的一些像素（神经元）做点积，所以每一个输出的神经元可以看成是对输入层的局部神经元的激励，我们希望这些filter通过训练，可以提取某些有用的局部信息。我们接下来探讨到更加详细的细节。
当输入是高维的变量，比如图像等，如果采用full connected的连接是不切实际的，相反，我们会采用局部连接的方式，那么每一个局部区域我们称为receptive field，这种局部连接是针对输入层的宽，高这两个维度来说，但是对于第三个维度depth来说，依然是要完全连接，所以我们处理局部空间在宽，高维度与depth这个维度是不一样的。宽，高维度上，我们采取局部连接，但是对于depth维度，我们采用全连方式。
比如，如果一个输入图像的尺寸是[323=75个权值。
再比如，假设现在有一个输入的数据体是1620=180。
这两个例子都说明了，在宽，高维度我们采用局部连接的方式，而在depth维度，我们会全部连接。下面给出了一个简单的示意图：
初初尝试着拥抱的人，一派新鲜幸福都来不及沉浸，
