“神经网络”小结

• 神经网络的基本单位是层（Layer）、它是一个非常强大的多分类模型
• 神经网络的每一层（$L_{i}$）都会有一个激活函数$\phi_{i}$、它是模型的非线性扭曲力
• 神经网络通过权值矩阵$w^{\left( i \right)}$和偏置量$b^{\left( i \right)}$来连接相邻两层$L_{i}$、$L_{i + 1}$，其中$w^{\left( i \right)}$能将结果从原来的维度空间线性映射到新的维度空间、$b^{\left( i \right)}$则能打破对称性
• 神经网络通过前向传导算法获取各层的激活值、通过输出层的激活值$v^{\left( m \right)}$和损失函数$L^{*}\left( x \right) = L\left( y,v^{\left( m \right)} \right)$来做决策并获得损失、通过反向传播算法算出各个 Layer 的局部梯度$\delta^{\left( i \right)}$并用各种优化器更新参数
• 合理利用一些特殊的层结构能使模型表现提升
• 当任务规模较大时、就需要考虑内存等诸多和算法无关的问题了