speechbrain.utils.optimizers 模块

实现了避免优化某些参数的函数

作者

  • Titouan Parcollet 2023

摘要

函数

rm_vector_weight_decay

将向量放入不含权重衰减的参数组中

参考

speechbrain.utils.optimizers.rm_vector_weight_decay(modules)[源代码]

将向量放入不含权重衰减的参数组中

接受一个模块列表，并将其参数分成两个参数组，可以传递给 PyTorch Optimizer 类。向量参数的 weight_decay 将被覆盖为零。这对于偏差和范数特别有用，我们期望它们偏离零。其他作为参数的向量也可能不应该被推向零。

参数:

modules (torch.ModuleList, torch.Module) – 要操作的 Torch 模块

返回:

Pytorch Optimizer 规范格式的参数组。

返回类型:

list