边缘计算笔记

边缘计算笔记

论文：边缘计算资源调度:历史、架构、建模与方法分析

2020年,边缘计算平台和框架是研究的热点,Jiang等人[19] 提出的混合移动边缘计算平台(Hybrid Mobile Edge Computing, H-MEC),将地面基站、地面车辆以及无人机等作为边缘计算服务器.---找到这篇文献。

文献：Deep-Learning-Based Joint Resource Scheduling Algorithms for Hybrid MEC Networks

边缘计算调度框架

分为为中心云层、边缘云层和设备层

中心云层:拥有丰富的计算资源与存储资源,具有强大的计算能力,可处理计算量大的任务,缺点是中心云计算服务器离用户设备和边缘云设备的物理距离较远,通信延迟较高,现有的通信技术很难达到实时的要求.

边缘云层:离用户设备较近,对时延要求较高的计算任务一般调度到边缘云层执行,该层服务器灵活性强,但单个服务器的计算能力有限.

设备层:大部分的计算任务从设备层产生,具有一定的计算能力,但相对中心云层和边缘云层而言计算能力偏弱,在满足时延要求的情况下能处理少量的计算任务,包含用户的移动设备、车辆、工业制造设备等,其它层为设备层提供服务.

传统的边缘计算架构,边缘计算服务器位置固定,但是近年来学者们提出将无人机和移动车辆等作为边缘计算服务器[19, 32, 47-49] ,如图3所示,将边缘计算服务器放置到移动设备,然后将移动车辆与无人机等移动设备设置为边缘计算服务器节点.在这种框架中,移动设备位置可根据需要而更新.相比传统的边缘计算模型灵活性更高、适应性更强,但也存在一些缺点,以当前的技术来看,电池的续航能力和设备通信能力是主要限制

CPU 周期数 (CPU Cycles)

CPU 周期数是指处理器执行一项任务或指令所需的基本时钟周期数。每个时钟周期是处理器完成一项基本操作（例如执行一个指令的一部分、读取或写入数据等）所需的最小时间单位。一个任务可能包含多个指令，而每个指令需要若干个时钟周期来完成，因此整个任务的 CPU 周期数是所有指令所需周期数的总和。

举个例子，如果一个任务需要执行3条指令，而每条指令需要4个时钟周期，那么这个任务的总 CPU 周期数就是 3×4=123×4=12 个周期。

设备的时钟频率 (Clock Frequency)

设备的时钟频率是指处理器时钟信号的频率，通常以赫兹 (Hz) 为单位，表示每秒钟处理器能够完成的时钟周期数。例如，一个时钟频率为 2 GHz (千兆赫兹) 的处理器，每秒钟可以完成 20 亿个时钟周期。

时钟频率决定了处理器执行指令的速度。较高的时钟频率意味着处理器在相同时间内可以执行更多的指令，因此计算速度更快。

香农公式

这个公式是描述任务从用户设备被调度到边缘计算服务器时的传输速率。它基于香农公式，用于计算通信信道的最大传输速率。具体公式如下：
$$
[ V_{\text{tran}} = B \log_2 \left(1 + \frac{P^{u_i, e_j} S^{u_i, e_j}}{\sigma + \sum_{u_i \in U, \tau_k \ne i} P^{u_i, e_j} S^{u_i, e_j}} \right) ]
$$
我们逐一解释公式中的各个符号：

• $$

  • ( V_{\text{tran}} )：传输速率。
    $$
• • $$
    ( B )：信道带宽，表示通信信道的频带宽度。
    $$

• $$

  • ( P^{u_i, e_j} )：用户设备 (u_i) 与边缘服务器 (e_j) 之间的传输功率。
    $$

  $$

  • ( S^{u_i, e_j} )：用户设备 (u_i) 与无线接入点（Access Point, AP）之间的信道增益。
    $$

• $$
  ( \sigma )：噪声功率。
  $$

• $$
  ( \sum_{u_i \in U, \tau_k \ne i} P^{u_i, e_j} S^{u_i, e_j} )：除当前用户设备外，其他用户设备与边缘服务器之间的干扰功率总和。
  $$

信道增益
$$
(S^{u_i, e_j})
$$
的表达式如下：

$$
[ S^{u_i, e_j} = \beta^{u_i, e_j} (\text{dis}^{u_i, e_j})^{-\eta} ]
$$

• 

结合以上解释，公式整体表达的意思是：传输速率 ) 由信道带宽 (B) 以及信噪比（包括信号功率和干扰功率）决定。公式基于香农定理，描述了在给定信道条件下，能够实现的最大理论数据传输速率。

---

$P^{u_i, e_j}$ 是用户设备 $u_i$与边缘云服务器 $e_j $之间的传输功率，$\sigma$ 是噪声。任务$ \tau_k$ 的数据大小表示为 $D_{\tau_k}$，任务 $\tau_k $的传输时延为：

$$
T^{\text{tran}}{\tau_k} = \frac{D{\tau_k}}{V_{\text{tran}}}
$$

排队时延 $T^{\text{que}}_{\tau_k}$ 是当前任务等待设备处理其它任务的时间，与处理数据大小、计算机处理速度有关。任务 $ \tau_k$ 的排队时延与当前服务器上正在处理（或排队）的任务数量有关，假设当前任务之前还有 (s) 个任务正在处理或排队，则任务 $ \tau_k$ 的排队时延表示为：

$$
T^{\text{que}}{\tau_k} = \sum^s T^{p}_{\tau_i}, \quad \text{其中 } \tau_s \in \Gamma, \tau_i \in \Gamma
$$

服务器$e_j $处理计算任务 $ \tau_k$ 所需要的时钟周期数为 $C^{e_j}_{\tau_k}$，$e_j $的 CPU 频率表示为$ f^{e_j}$，那么任务 $\tau_k$ 的处理时间为：

$$
T^{\text{proc}}_{\tau_k} = \frac{C^{{e_j}_{\tau_k}}{f}{e_j}}
$$

基于上述公式，则优化目标为最小化任务卸载与资源调度的总时间 $T^{\text{all}}_{\tau_k}$：

$$
T^{\text{all}}{\tau_k} = S^{\text{UE}} T^{\text{UE}}{\tau_k} + S^{\text{EC}} \left( T^{\text{tran}}{\tau_k} + T^{\text{que}} + T^{\text{proc}}_{\tau_k} \right)
$$

强化学习

强化学习(Reinforce Learning, RL)用于描述智能体在环境交互过程中通过学习策略达成回报最大化或实现特定目标的问题,强化学习的计算调度过程可以看作一个马尔可夫决策过程.

强化学习不要求预先给定数据,而是通过接收环境对动作的奖励(反馈)获得学习信息并更新模型参数如图5所示,强化学习应用在资源调度中,可获取当前边缘设备与其它边缘设备的状态信息,包括设备的处理能力、网络带宽、设备的功率和能耗、数据大小、网速、队列状态等;在车联网和移动边缘计算中应考虑设备的移动性等信息,通过执行某一个动作判断状态-动作对是获得奖励值还是惩罚值,更新状态信息,最终获得满意的调度策略.为

了最小化所有物联网设备的平均延迟和功耗,Lei等人[80]提出窄带物联网(Narrowband-IoT, NB-IoT)边缘计算系统中的半分布式联合计算卸载和多用户调度算法,提出均匀化下(Continuous-Time Markov Decision Process, CTMDP)的强化学习算法.Hu 等人[79]考虑到动态MEC环境下无线用户设备的迁移导致的信道条件的时变问题,提出的一种基于RL的计算卸载和能量传输方法(RLCOET)算法,改进了RL算法的探索和经验抽样策略,寻找接近最优的计卸载策略.

深度强化学习

深度强化学习结合深度学习的感知预测能力和强化学习的决策能力,使用神经网络拟合价值和策略,使智能体能够高效处理复杂环境中调度信息.对于简单的边缘计算资源调度问题,传统的强化学习方法(如Q-Learning)可能已经足够.而对于复杂的、高度动态的资源调度问题,可能需要更先进的深度强化学习方法.深度强化学习算法可以分为基于价值(Value-Based)和基于策略(Policy-Based)两大类.基于价值的算法关注于学习最优值函数,通过值函数来推导出最优策略,更适用于离散动作空间;基于策略的算法直接学习最优策略,更适用于处理连续动作空间和高维状态空间;此外,混合这两种方法也能取得良好效果.

任务卸载

任务卸载的过程可以分为任务划分、任务分配和任务协同。(1)任务划分[66]是指将大型的计算任务划分成多个小任务。这些小任务可以在边缘设备或边缘节点上独立地执行,从而降低了任务执行的复杂性和成本。(2)任务分配是指根据任务的特性和边缘设备的可用资源将任务分配给不同的边缘设备或边缘节点。这种方法可以充分利用边缘设备的资源,并提高任务的执行效率。(3)任务协同是指不同边缘设备或边缘节点之间协同完成任务。这种方法可以充分利用分布在不同位置的边缘设备的资源,提高任务的执行效率。任务卸载是边缘计算中一种有效的任务处理方式[67],可以提高任务执行的效率和数据隐私保护,图2.4展示了边缘计算中的任务卸载决策,任务卸载包括完全卸载和部分卸载,通过建立合理的卸载决策可以达到降低时延和能耗的目的。