深度学习拾遗

dropout指的是每次更新参数的时候，随机抽取p比例的神经元不参与计算，也不更新权重。

一般来说，dropout在relu之后，即先激活，后dropout随即丢弃。

loss计算的是一个batch的均值。全体数据的 Loss 只有在验证（Evaluation）的时候，我们才会把所有 Batch 的 Loss 累加起来算一个总平均，用来评估模型好坏，但不用于更新参数。

pytorch语法拾遗