强化学习算法：soft actor-critic （SAC）—— SAC中的alpha_losse是什么？

官方实现地址：

https://openi.pcl.ac.cn/devilmaycry812839668/softlearning

在SAC算法的官方实现中有一个论文中没有介绍的部分，这就是SAC中的alpha_losse，在SAC论文中alpha是以超参数的形式存在的，但是在论文作者发布的具体实现的代码中关于这个alpha却给出了一种计算方法，该方法可以进行自适应的计算并使用loss function的方法来优化alpha，具体代码实现：

def heuristic_target_entropy(action_space):
    if is_continuous_space(action_space):
        heuristic_target_entropy = -np.prod(action_space.shape)
    elif is_discrete_space(action_space):
        raise NotImplementedError(
            "TODO(hartikainen): implement for discrete spaces.")
    else:
        raise NotImplementedError((type(action_space), action_space))

    return heuristic_target_entropy

    @tf.function(experimental_relax_shapes=True)
    def _update_alpha(self, batch):
        if not isinstance(self._target_entropy, Number):
            return 0.0

        observations = batch['observations']

        actions, log_pis = self._policy.actions_and_log_probs(observations)

        with tf.GradientTape() as tape:
            alpha_losses = -1.0 * (
                self._alpha * tf.stop_gradient(log_pis + self._target_entropy))
            # NOTE(hartikainen): It's important that we take the average here,
            # otherwise we end up effectively having `batch_size` times too
            # large learning rate.
            alpha_loss = tf.nn.compute_average_loss(alpha_losses)

        alpha_gradients = tape.gradient(alpha_loss, [self._log_alpha])
        self._alpha_optimizer.apply_gradients(zip(
            alpha_gradients, [self._log_alpha]))

        return alpha_losses

使用ChatGPT进行回答：（经过后期人为验证，这个回答是OK的）