无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法（2）——模型构建

无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法（2）——模型构建

参考文献：

[1] Wang Y , Fang W , Ding Y , et al. Computation offloading optimization for UAV-assisted mobile edge computing: a deep deterministic policy gradient approach[J]. Wireless Networks, 2021:1-16.doi：https://doi.org/10.1007/s11276-021-02632-z

2 系统模型

我们考虑了一种无人机辅助的MEC系统，该系统由UE和配备纳米MEC服务器的无人机组成。整个系统运行在离散时间内，时隙长度相等。对所有终端提供通信和计算服务，但一次只能对一个终端。由于计算能力的限制，终端必须通过无线网络将部分计算任务转移到无人机的MEC服务器上。

2.1 通信模型

无人机以时间划分方式向所有终端提供计算服务，将整个通信周期 T 划分为 I 个时隙。我们假设 UEs 在该区域内以低速随机移动。在每个时间段，无人机在固定位置悬停，然后与其中一个终端建立通信。终端将部分计算任务卸载到服务器上后，剩余的计算任务将在本地执行。在三维笛卡尔坐标系下，无人机保持在固定高度 H 飞行，无人机的起始坐标 \(q(i)=[x(i), y(i)]^T \in R^{(2 \times 1)}\) 和结束坐标\(q(i+1)=[x(i+1), y(i+1)]^T \in R^{(2 \times 1)}\) 在时隙 \(i \in \{1,2, \cdots,I\}\) 。UE坐标 \(k \in \{1,2, \cdots,K\}\) 是 \(p_k(i)=[x_k(i), y_k(i)]^T \in R^{(2 \times 1)}\) 。无人机与UE k之间的视距链路的信道增益可以表示为:

\[g_k(i) = \alpha_0 d_k^{-2}(i) = \frac{\alpha_0}{||q(i+1)-p_k(i)||^2+H^2} \]

式中，\(\alpha_0\) 为参考距离 \(d=1m\) 处的信道增益，\(d_k(i)\) 为无人机与 k 之间的欧氏距离。由于障碍物的遮挡，无线传输速率可表示为:

\[r_k(i) = B log_2(1+\frac{P_{up}g_k(i)}{\sigma^2+f_k(i)P_{NLOS}}) \]

B 表示通信带宽, \(P_{up}\) 表示终端在上传链路的传输功率,\(\sigma^2\) 表示噪声功率,\(P_{NLOS}\) 表示传输损耗, \(f_k(i)\) 表示在时刻 i , UAV 与UE k之间是否有阻塞的指示器(即0表示无堵塞，1表示堵塞)。

2.2 计算模型

在我们的MEC系统中，在每个时隙中对终端的任务使用了部分卸载策略。设 \(R_k(i) \in [0,1]\) 表示卸载到服务器的任务的比例， \((1-R_k(i))\) 表示在终端本地执行的剩余任务。那么，UE k在第 i 个时隙的本地执行延迟可以表示为:

\[t_{local,k}(i) = \frac{(1-R_k(i))D_k(i)s}{f_{UE}} \]

其中， \(D_k(i)\)为UE k的计算任务大小， s 为 UE 处理每个单位字节所需的CPU周期， \(f_{UE}\) 为 UE 的计算能力。在第一个时间段，无人机从位置 q(i) 飞行到新的悬停位置

\[\mathbf{q}(i+1)=\left[x(i)+v(i) t_{fly} \cos \beta(i), y(i)+v(i) t_{fly} \sin \beta(i)\right]^{T} \]

其中，速度为 \(v(i) \in [0,v_{max}]\) 以及角度 \(\beta(i) \in [0, 2\pi]\) 。本次飞行所消耗的能量可以表示为:

\[E_{fly}(i) = \phi||v(i)||^2 \]

其中 \(\phi=0.5 M_{UAV} t_{fly}\) ， M 与无人机的有效载荷相关，\(t_{fly}\) 为固定飞行时间。在MEC系统中，服务器提供的计算结果的大小通常非常小，可以忽略不计。因此，这里不考虑下行链路的传输延迟。MEC服务器的处理延迟可分为两部分。一部分是传输时延，可以表示为:

\[t_{t r, k}(i)=\frac{R_{k}(i) D_{k}(i)}{r_{k}(i)} \]

另一部分是在MEC服务器上计算产生的延迟，可以表示为:

\[t_{U A V, k}(i)=\frac{R_{k}(i) D_{k}(i) s}{f_{U A V}} \]

其中 \(f_{U A V}\) 为服务器CPU计算频率。相应的，在 i 时间段将计算任务卸载给服务器所消耗的能量也可以分为两部分，一部分用于传输，一部分用于计算。在MEC服务器上进行计算时，其功耗可表示为:

\[P_{U A V, k}(i)=\kappa f_{U A V}^{3} \]

则MEC服务器在第 i 时刻的能耗为:

\[E_{U A V, k}(i)=P_{U A V, k}(i) t_{U A V, k}(i)=\kappa f_{U A V}^{2} R_{k}(i) D_{k}(i) s \]

2.3 问题公式化

在此基础上，提出了无人机辅助MEC系统的优化问题。为了确保有限的计算资源的有效利用，我们的目标是通过联合优化用户调度、无人机机动性和系统中的资源分配，使所有终端的最大处理延迟最小化。具体而言，优化问题可以表示为:

\[\min _{\left\{\alpha_{k}(i), \mathbf{q}(i+1), R_{k}(i)\right\}} \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) \max \left\{t_{l o c a l, k}(i), t_{U A V, k}(i)+t_{t r, k}(i)\right\} \\ \text { s.t. } \alpha_{k}(i) \in\{0,1\}, \forall i \in\{1,2, \ldots, I\}, k \in\{1,2, \ldots, K\}, \\ \sum_{k=1}^{K} \alpha_{k}(i)=1, \forall i, \\ 0 \leq R_{k}(i) \leq 1, \forall i, k, \\ \mathbf{q}(i) \in\{(x(i), y(i)) \mid x(i) \in[0, L], y \in[0, W]\}, \forall i, \\ \mathbf{p}(i) \in\left\{\left(x_{k}(i), y_{k}(i)\right) \mid x_{k}(i) \in[0, L], y_{k} \in[0, W]\right\}, \forall i, k, \\ f_{k}(i) \in\{0,1\}, \forall i, k , \\ \sum_{i=1}^{I}\left(E_{f l y, k}(i)+E_{U A V, k}(i)\right) \leq E_{b}, \forall k , \\ \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) D_{k}(i)=D \]

其中，等式 (9b)和等式 (9c)保证在第 i 个时间段只有一个用户被调度到计算中。等式 (9d)为计算任务卸载率的取值范围。约束(9e)和(9f)表示UE和UAV只能在给定区域内移动。约束(9g)表示无人机与终端之间的无线信道在 i 时隙被堵塞。约束(9h)保证无人机在所有时隙飞行和计算的能耗不超过最大电池容量。约束(9i)指定整个时间段内需要完成的所有计算任务。