卷积神经网络，随着层数的增加，捕捉的区域更大，特征更加复杂，从边缘到纹理再到具体物体。

正交化方法（Orthogonalization）

Hyperparameters Tuning

常见超参数

• $\alpha$：学习因子
• $\beta$：动量梯度下降因子
• $\beta_1,\beta_2,\varepsilon$：Adam算法参数
• layers：神经网络层数
• hidden units：各隐藏层神经元个数
• active function：激活函数
• learning rate decay：学习因子下降参数
• mini-batch size：批量训练样本包含的样本个数

Mini-batch gradient descent

Batch Gradient Descent

结构

L-layer NN，则包含了L-1个隐藏层，最后的L层是输出层

Train/Dev/Test sets

区分一维数组和 行变量 列变量

一维数组 行为 不总与行变量or列变量一直，造成不必要的bug。总是使用nx1维矩阵（基本上是列向量）， 或者1xn维矩阵（基本上是行向量），这样你可以减少很多assert语句来节省核矩阵和数组的维数的时间。 另外，为了确保你的矩阵或向量所需要的维数时，不要羞于reshape操作。

结构