【AI小疑问】Keras学习率调整（包括显示和调整）、h5转pb文件提示 Unknown metric function:lr（转载）

在h5转pb的时候发现有一个未知的方法不能被转换，后来想到代码中有个lr方法 用的时候也没寻思干啥用的，后来发现是现实学习率用的，然后重新训练转换成pb再试一下。

报错信息：

 

':' + function_name)
ValueError: Unknown metric function:lr

原贴地址：http://www.zhugaofei.com/index.php/archives/240/

一、打印(显示)学习率

打印(显示)需要在model.compile这里修改metrics参数值，具体代码如下：

def get_lr_metric(optimizer):  # printing the value of the learning rate
    def lr(y_true, y_pred):
        return optimizer.lr
    return lr

optimizer = Adam(lr=1e-4)  
lr_metric = get_lr_metric(optimizer)

model.compile(optimizer = optimizer, loss = 'MSE',  metrics = ['acc', lr_metric])

Python

二、调整学习率

Keras提供两种学习率适应方法，调整学习率需要在model.fit或者model.fit_generator中的callbacks回调函数中实现。

1.LearningRateScheduler

keras.callbacks.LearningRateScheduler(schedule)

该回调函数是学习率调度器. 

参数 

• schedule：函数，该函数以epoch号为参数（从0算起的整数），返回一个新学习率（浮点数）

import keras.backend as K
from keras.callbacks import LearningRateScheduler
 
def scheduler(epoch):
    # 每隔100个epoch，学习率减小为原来的1/10
    if epoch % 100 == 0 and epoch != 0:
        lr = K.get_value(model.optimizer.lr)
        K.set_value(model.optimizer.lr, lr * 0.1)
        print("lr changed to {}".format(lr * 0.1))
    return K.get_value(model.optimizer.lr)
 
reduce_lr = LearningRateScheduler(scheduler)
model.fit(train_x, train_y, batch_size=32, epochs=300, callbacks=[reduce_lr])

Python

2.ReduceLROnPlateau

keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)

当评价指标不在提升时，减少学习率 当学习停滞时，减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况，如果在patience个epoch中看不到模型性能提升，则减少学习率 

参数 

• monitor：被监测的量
• factor：每次减少学习率的因子，学习率将以lr = lr*factor的形式被减少
• patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
• mode：‘auto’，‘min’，‘max’之一，在min模式下，如果检测值触发学习率减少。在max模式下，当检测值不再上升则触发学习率减少。
• epsilon：阈值，用来确定是否进入检测值的“平原区”
• cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作

from keras.callbacks import ReduceLROnPlateau
reduce_lr = ReduceLROnPlateau(monitor='val_loss', patience=10, mode='auto')
model.fit(train_x, train_y, batch_size=32, epochs=300, validation_split=0.1, callbacks=[reduce_lr])