Basic Models

Sequence to sequence（序列）模型在机器翻译和语音识别方面都有着广泛的应用，针对该机器翻译问题，可以使用“编码网络（encoder network）”+“解码网络（decoder network）”两个RNN模型组合的形式来解决。 encoder network将输入语句编码为一个特征向量，传递给decoder network，完成翻译。

文字和图像有什么共同之处？乍一看，很少。 但是都可以表示成矩阵Matrix。图像的基本单位(cell)是像素(pixel)。

Face recognition

• 人脸验证（face verification） 输入一张人脸图片，验证输出与模板是否为同一人，即一对一问题
• 人脸识别（face recognition） 输入一张人脸图片，验证输出是否为K个模板中的某一个，即一对多问题 face recognition 更难一些。假设verification错误率是1%， recognition中输出分别与K个模板都进行比较，则相应的错误率就会增加，约K%。模板个数越多，错误率越大一些。

Recurrent Neural Networks 循环神经网络

Object Localization

目标定位和目标检测（包含多目标检测）

卷积神经网络，随着层数的增加，捕捉的区域更大，特征更加复杂，从边缘到纹理再到具体物体。

正交化方法（Orthogonalization）

Hyperparameters Tuning

常见超参数

• $\alpha$：学习因子
• $\beta$：动量梯度下降因子
• $\beta_1,\beta_2,\varepsilon$：Adam算法参数
• layers：神经网络层数
• hidden units：各隐藏层神经元个数
• active function：激活函数
• learning rate decay：学习因子下降参数
• mini-batch size：批量训练样本包含的样本个数

Mini-batch gradient descent

Batch Gradient Descent

结构

L-layer NN，则包含了L-1个隐藏层，最后的L层是输出层