对莫烦第一个强化学习实例分析
对莫烦第一个强化学习实例分析
1 源码
链接如下所示：
小例子
2 分析
2.1 变量
N_STATES = 6 # the length of the 1 dimensional world
ACTIONS = ['left', 'right'] # available actions
EPSILON = 0.9 # greedy police
ALPHA = 0.1 # learning rate
GAMMA = 0.9 # discount factor
MAX_EPISODES = 13 # maximum episodes
FRESH_TIME = 0.3 # fresh time for one move
N_STATES:代表有多少个state，如下图所示，在这个小例子中，它代表的是冒险者(图中的O)所能到达的位置，一共有6个。
ACTIONS:冒险者所能采取的动作，即向左(left)或向右(right)。
EPSILON:贪婪度，实际上这是一个用来控制随机探索概率的。什么意思？就是说在每次选择动作之前，都会获得一个随机的概率(这个概率大于0小于1)，然后程序会用它和EPSILON进行一个比较，当这个概率小于EPSILON时，采用当前state下值最大的动作(也就是我们学习到的值)，否则，随机选择一个动作。
ALPHA:学习率，个人理解是确定将每次学到的值保留多少的变量，比如说这一次学到了100，但我的学习率为0.1，那么就只保留100*0.1=10
GAMMA:奖励递减值，这个值会导致离terminal越远，获得的值越小。
MAX_EPISODES:最大训练轮次。
2.2 创建一个q表
def build_q_table(n_states, actions):
table = pd.DataFrame(
np.zeros((n_states, len(actions))), # q_table initial values
columns=actions, # actions's name
)
#print(table) # show table
return table
上面的代码主要是用pandas库来创建一个q表，q表示q_learning算法里面会用到的一个表格，它主要用来存储state-action对应值(在每个state下每个action对应的值，它代表的是状态state下采取动作action所能获得收益的预期)
上述代码创建的表格格式如下:
它的行数为state数，列数为action数，q表的大小就是action数量*state数量。在现实的一些应用中，q表可能会非常非常巨大，所以大部分强化学习其实不会用q_learning算法。
2.3 选择动作
def choose_action(state, q_table):
# This is how to choose an action
state_actions = q_table.iloc[state, :]
if (np.random.uniform() > EPSILON) or ((state_actions == 0).all()): # act non-greedy or state-action have no value
action_name = np.random.choice(ACTIONS)
else: # act greedy
action_name = state_actions.idxmax() # replace argmax to idxmax as argmax means a different function in newer version of pandas
return action_name
这个函数的输入为state，q_table，输出则为action_name。
下面再来细看代码，首先是第一行
state_actions = q_table.iloc[state, :]
这一段代码的意思是取出当前q_table中的第state行，然后赋值给state_actions。
在下面的一个if...else判断句，显然就是根据随机生成的一个位于0与1之间的数，来判断是选择q_table中值较大的那个动作，还是随机选择一个动作。
2.4 获取环境反馈值
def get_env_feedback(S, A):
# This is how agent will interact with the environment
if A == 'right': # move right
if S == N_STATES - 2: # terminate
S_ = 'terminal'
R = 1
else:
S_ = S + 1
R = 0
else: # move left
R = 0
if S == 0:
S_ = S # reach the wall
else:
S_ = S - 1
return S_, R
输入值为S(state)和A(action)，输出值则为S_(下个state)和R(reward)，这里的下个其实理解成第n+1个比较好。
这段代码不用细讲，其实就是只有判断S到达了terminal，R才有不为0的返回值。
2.5 强化学习主循环
def rl():
# main part of RL loop
q_table = build_q_table(N_STATES, ACTIONS)
for episode in range(MAX_EPISODES):
step_counter = 0
S = 0
is_terminated = False
#update_env(S, episode, step_counter)
while not is_terminated:
A = choose_action(S, q_table)
S_, R = get_env_feedback(S, A) # take action & get next state and reward
q_predict = q_table.loc[S, A]
if S_ != 'terminal':
q_target = R + GAMMA * q_table.iloc[S_, :].max() # next state is not terminal
else:
q_target = R # next state is terminal
is_terminated = True # terminate this episode
q_table.loc[S, A] += ALPHA * (q_target - q_predict) # update
S = S_ # move to next state
#update_env(S, episode, step_counter+1)
step_counter += 1
return q_table
直接看代码
q_table = build_q_table(N_STATES, ACTIONS)
这一段就是建立一个N_STATES行，ACTION列，初始值全为0的表格，如图2所示。
for episode in range(MAX_EPISODES):
step_counter = 0
S = 0
is_terminated = False
这一段代表要训练多少轮次，并且每一轮次需要初始化的变量(注意，是每一轮次都要初始化，比如说轮次为13，那么S=0就要初始化13次)
step_counter:每一轮次探索者到达终点需要的步数
S:探索者初始位置，S=0时探索者位于一维世界最左边
is_terminated:用来判断是否到达终点的布尔值，为真时代表当前state位于终点
while not is_terminated:
A = choose_action(S, q_table)
S_, R = get_env_feedback(S, A) # take action & get next state and reward
上述代表代表了每个轮次中，探索者是怎么行动，程序又是怎样更新q_table表格的。
第一行，第二行不用多说，主要就是获取A，S_，R这三个值。
q_predict = q_table.loc[S, A]
q_predict是q_table中的第S行，第A列的值
if S_ != 'terminal':
q_target = R + GAMMA * q_table.iloc[S_, :].max() # next state is not terminal
else:
q_target = R # next state is terminal
is_terminated = True # terminate this episode
如果S_不是terminal，q_target则为q_table中第S_行的最大值乘上奖励递减值GAMMA再加上奖励值R；否则，q_target赋值为R，并且将is_terminated设为真值。
根据q_target的更新规则，不难发现距离terminal越远，q值便越小。
PS:q_target为实际q值，q_predict为预测q值。不管是q_predict还是q_target，两者都会不断更新。
下图是训练结束后的q_table
越是靠近terminal，q值就越大。
