PyTorch 8.权值初始化与损失函数  权值初始化 损失函数   权值初始化  举个例子，若随机变X与Y相互独立，且其均值为0，方差为1则有：  D ( X Y ) = D ( X ) D ( Y ) + D ( X ) E ( Y ) 2 + D ( Y ) E ( X ) 2 = D ( X ) D ( Y ) D(XY)=D(X)D(Y)+D(X)E(Y)^2+D(Y)E(X)^2=D(X)D(Y) D(XY)=D(X)D(Y)+D(X)E(Y)2+D(Y)E(X)2=D(X)D(Y) 那么有：  H 11 = ∑ i = 0 n X i ∗ W 1 i H_{11}=\sum^n_...

PyTorch 9. 优化器  优化器   优化器 pytorch优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签 基本属性： defaults: 优化器超参数 state: 参数的缓存，如momentum的缓存 param_groups: 管理的参数组 _step_count:记录更新次数，学习率调整中使用 操作： zero_grad():清空所管理参数的梯度 step():执行一步更新 add_param_group():添加参数组 state_dict()：获取优化器当前状态信息字典 load_state_dict()：加载状态信息字典  nn.optim.SGD 主要...

PyTorch 10. 学习率  scheduler StepLR MultiStepLR ExponentialLR CosineAnnealingLR ReduceLRonPlateau   scheduler scheduler:必须关联一个优化器去调整其学习率 class _LRScheduler(object): def __init__(self, optimizer, last_epoch=-1): pass def get_lr(self): return [base_lr * self.gamma ** (self.last_epoch//self.step_size) fo...

PyTorch 11.正则化  正则化   正则化 正则化即表示减少数据方差的策略  误差可分解为：偏差，方差与噪声之和。即 误差=偏差+方差+噪声 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。 噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界。 nn.Dropout 减轻神经元对某个特征的过度依赖，减少过拟合。 随机：dropout probability 失活：weight=0 注意：测试时，所有权重应乘以1-drop_prob Batch No...

PyTorch 12. hook的用法  hook register_hook register_forward_hook register_backward_hook   hook  由于pytorch会自动舍弃图计算的中间结果，所以想要这些数值就需要使用钩子函数。钩子函数包括Variable的钩子和nn.Module钩子，用法相似。 在使用hook函数时，不应该修改它的输入，但是它可以返回一个替代当前梯度的新梯度，即，使用该函数会返回一个梯度值  register_hook 针对Tensor变量的hook函数 import torch grad_list = [] def print_gr...

PyTorch 13. 嵌套函数和闭包（狗头）  嵌套函数 闭包   嵌套函数 python允许在函数里定义函数，而且现有的作用域和变量生存周期依旧不变。 def A(): name='mysql' def A_children(): #outer函数内部定义的函数 print name return A_children() #返回该内部函数 A()  理解： 在A的嵌套函数中，python解释器需要找一个叫name的本地变量，查找失败后会继续在上层的作用域（即，外部函数中）寻找。 对于A函数中最后一句，返回子函数调用的结果，需要知道一点是，子函数仅仅是一个遵循python变量解析规则的变量...

PyTorch 14. module类  module类   module类的定义： torch.nn.Module类的多种实现 children和modules之间的差异性    module类 pytorch中其实一般没有特别明显的Layer和Module的区别，不管是自定义层、自定义块、自定义模型，都是通过继承Module类完成的，其实Sequential类也是继承Module类。 module类的定义： class Module(object): def __init__(self): def forward(self, *input): def add_module(self,nam...

PyTorch 15.深度学习中常见的python操作  Pickle模块 Python调试器pdb   单步执行模式 单刀直入  argparse   type 可选参数 参数简写 混合定位参数和可选参数 默认值default    Pickle模块 说明：Python中的pickle模块实现了基本的数据序列与反序列化，序列化对象可以在磁盘上保存对象，并在需要的时候读取出来。任何对象都可以执行序列化操作。 dump()方法 pickle.dump(obj, file, [,protocol])  参数定义： obj:序列化对象，将对象obj保存到文件file中去 file:file表示保存到...

GPU并发  多GPU运算的分发并行机制   torch.nn.DataParallel  使用torch.distributed加速并行训练：   使用方式 初始化 Dataloader 模型的初始化 同步BN 多机多卡DDP（DistributedDataParallel）  使用apex加速（混合精度训练，并行训练，同步BN）：   apex的使用   Amp:Automatic Mixed Precision Distributed Training Synchronized Batch Normalization Checkpointing     多GPU运算的分发并行机制 tor...

PyTorch 18. torch.backends.cudnn  写在开头 准则 背景知识   cuDNN 卷积运算 torch.backends.cudnn.benchmark 放置位置    写在开头 torch.backends.cudnn.benchmark=True  当该参数设为True时，网络会在初始时寻找最适合当前网络操作的卷积计算方法，能够提高网络的训练效率；但是当输入图像尺寸不断发生变化时，采用该参数会减慢网络训练速度。 准则 如果网络的输入数据维度或类型上变化不大（也就是对输入数据初始化时同一数据尺寸），设置该参数能够增加运行效率； 如果网络的输入数据在每次iterat...

PyTorch 19. PyTorch中相似操作的区别与联系  view() 和 reshape()   总结  expand()和repeat()   expand() repeat()  乘法操作   二维矩阵乘法 torch.mm() 三维带batch的矩阵乘法torch.bmm() 多维矩阵乘法 torch.matmul() 矩阵逐元素（Element-wise）乘法torch.mul() 两个运算符@和*  register_parameter()和parameter()   view() 和 reshape() 写在开头： 有一篇大佬的总结非常到位：博客 总结  view() 在操...

PyTorch技巧（持续更新）  查看模型每层输出详情 梯度裁剪（Gradient Clipping） 扩展单张图片的维度   view()实现 np.newaxis实现 unsqueeze()实现  独热编码 防止验证模型时爆显存   监控工具 显存占用  冻结某些层的参数 对不同层使用不同学习率 retain_graph使用   查看模型每层输出详情 from torchsummary import summary summary(your_model, input_size=(channels, H, W))  input_size是根据自己的网络模型的输入尺寸进行设置 梯度裁剪（Gra...

PyTorch常用代码段合集  导入包和版本查询 可复现性 显卡设置 张量处理   张量的数据类型 张量基本信息 命名张量 数据类型转换   torch.Tensor与np.ndarray转换 Torch.tensor与PIL.Image转换  从只包含一个元素的张量中提取值 张量形变 打乱顺序 复制张量 得到非零元素 判断两个张量相等 张量扩展  多卡同步BN（Batch normalization）   将已有网络的所有BN层改为同步BN层  计算模型整体参数量 导入另一个模型的相同部分到新的模型 其他注意事项    参考： https://zhuanlan.zhihu.com/p/104...

**torch.where（conditions,x,y）**可以传递梯度 **tensor.where(conditions)**不能传递梯度，是非差分函数