学习率调整策略

https://zhuanlan.zhihu.com/p/524650878

10 ReduceLROnPlateau
当指标停止改进时降低学习率。 一旦学习停滞，模型通常会受益于将学习率降低 2-10 倍。 该调度程序读取一个指标数量，如果“patience”的 epoch 数量没有改善，则学习率会降低。

torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', 
    factor=0.1, patience=10, threshold=0.0001, 
    threshold_mode='rel', cooldown=0, min_lr=0, 
    eps=1e-08, verbose=False)

Args:
 optimizer (Optimizer):优化器
 mode (str):'min'模式检测metric是否不再减小，'max'模式检测metric是否不再增大；Default: 'min'.
 factor (float): r 学习率每次降低多少. new_lr = lr * factor. Default: 0.1.
 patience (int): 容忍网络的性能不提升的次数，高于这个次数就降低学习率. Default: 10.
 threshold (float): 测量新最佳值的阈值，仅关注重大变化. Default: 1e-4.
 threshold_mode (str): 有rel和abs两种阈值计算模式.
     rel规则:
         dynamic_threshold = best * ( 1 + threshold ) in 'max' mode;
         best * ( 1 - threshold ) in `min` mode.
        abs规则:
         dynamic_threshold = best + threshold in `max` mode ;
         best - threshold in `min` mode. 
 cooldown (int): 减少lr后恢复正常操作之前要等待的时期数. Default: 0.
 min_lr (float or list): 学习率的下限. Default: 0.
 eps (float): 适用于lr的最小衰减。 如果新旧lr之间的差异小于eps，则忽略更新。. Default: 1e-8.
 verbose (bool): If `True`, prints a message to stdout for each update. Default: `False`.