LUMEN框架下使用Redis队列执行数据库任务

在LUMEN的基础上开发了一个WEB API脚手架。出于安全审计和性能统计的目的，使用了一个前置中间件，当请求进来时/响应发送后，对请求/响应数据进行安全处理然后放入Redis队列，再由队列处理程序将其入库。

但自队列守护进程启动后，由于其它客户端并未持续调用WEB API，8小时后，MySql自动 aborted 了队列守护进程持有的PDO连接，导致此后的请求发生 server has gone away 错误。

经过一番研究，修正代码后，解决了这一不是BUG的BUG。

这是全网唯一正确的解法。

环境：Windows，PHP 7， Redis，LUMEN 8

代码如下：

请求日志表模型类

use Illuminate\Database\Eloquent\Relations\Pivot;

class RequestLogModel extends Pivot
{

    protected $connection = 'dbName';

    protected $table = 'logs_table';

    protected $primaryKey = 'primary_key';

    public $incrementing = true;

    public $timestamps = false;

    protected $hidden = [...];

    protected $fillable = [...];

    protected $guarded = [...];

    public $attributes = [...];

    protected $casts = [...];

    protected $observables = [...];

    public function __construct(array $attributes = []) {
        parent::__construct($attributes);
    }

    // 该方法用于定时查询数据库，以维持连接。
    public static function ping() {
        return self::query()->limit(1)->select('col')->get('col')->count();
    }

    // 日志入库
    public static function saveLog($content) {
        return self::query()->insert($content);
    }

}

 

响应日志表模型类（与请求日志表模型类结构完全相同，此处略）

 

请求日志作业类

use App\Jobs\Job;
use Illuminate\Support\Facades\Log;

class RequestLogJob extends Job
{

    /**
     * @var array
     */
    protected $logs;

    public function __construct($logs) {
        $this->logs = $logs;
        $this->delay(3);
    }

    public function handle() {
        RequestLogModel::saveLog($this->logs);
    }

    public function failed() {}

}

 

响应日志作业类（与请求日志作业类结构完全相同，此处略）

 

数据库连接保活作业类

use App\Jobs\Job;

class KeepConnectionJob extends Job
{

    public function __construct() {
        $this->delay(1);
    }

    public function handle() {
        // 调用请求日志表模型类的 ping 方法
        RequestLogModel::ping();
        // Log::debug('心跳发送成功.');
    }

    public function failed() {}

}

 

自定义控制台命令类

use Illuminate\Console\Command;

class KeepConnectionCommand extends Command
{

    protected $signature = 'ping_db';

    protected $description = '数据库连接保活.';

    public function __construct() {
        parent::__construct();
    }

    // 保活处理
    public function handle() {
        /*
         * 将 KeepConnectionJob 作业推入日志队列，
         * 实现与日志队列共享同一个连接并定时使用该连接向数据库发送心跳。
         */
        dispatch(new KeepConnectionJob());
    }

}

 

注册自定义的控制台命令(在 app\Console\Kernel.php 中加入命令)

class Kernel extends ConsoleKernel
{

    protected $commands = [
        KeepConnectionCommand::class, // 自定义的控制台命令类
    ];
    
       // 命令调度
    protected function schedule(Schedule $schedule) {
        // 每分钟执行一次 ping_db 命令。
        $schedule->command('ping_db')->everyMinute();
    }
}

 

日志处理中间件类

use Illuminate\Http\Request;
use Symfony\Component\HttpFoundation\Response;

class LogMiddleware
{

    /**
     * 记录请求
     * @param Request $request
     * @param Closure $next
     * @return mixed
     */
    public function handle(Request $request, \Closure $next) {
        // Goalkeeper::secureRequest 是一个自定义的对数据进行安全处理的方法
        if($request = Goalkeeper::secureRequest($request)) {
            // 向日志队列推入一个新作业
            dispatch(new RequestLogJob($request));
            return $next($request, );
        }
        return ...
    }

    /**
     * 记录响应
     * @param Request $request
     * @param Response $response
     */
    public function terminate($request, $response) {
        // 向日志队列推入一个新作业
        dispatch(
            new ResponseLogJob($response)
        );
    }

}

 

在 bootstrap\app.php 中将日志中间件注册为全局

<?php
...

// 注册全局中间件(对所有请求)
$app->middleware(
    [LogMiddleware::class],
);

return $app;

 

最关键的地方来了

在项目根目录下创建一个 ping.bat 文件，文件内容如下：

e:
cd 你的项目目录
你的PHP安装路径\php.exe artisan schedule:run

 

然后，在系统计划任务中创建一个任务，间隔 x 分钟执行一次 ping.bat，实现数据库连接保活。

 

最后，打开 cmd.exe，执行下列命令启动你的日志队列：

e:
cd 你的项目目录

你的PHP安装路径\php.exe artisan queue:work --daemon

 

原理解析：

        一、 "php.exe artisan queue:work --daemon" 命令启动了一个独立的PHP进程，此处把它叫做 "PHP客户端"。该客户端运行中会建立与MySql的连接。当该客户端长时间不向数据库发送操作请求时，数据库会切断与该客户端的连接（这意味着无论该客户端持有多少连接，这些连接都将变得无效）。要维护这个客户端与数据库的连接，保活逻辑必须在该客户端中执行。即：要对哪个客户端的连接实施保活，则保活逻辑必须在该客户端内执行。

       二、LogMiddleware 中间件的 handle 方法和 terminate 方法负责将请求数据和响应数据注入 RequestLogJob 和 ResponseLogJob 的新实例，然后调用 LUMEN 框架的助手方法 dispatch 将作业推入日志队列(队列配置请自行查阅LUMEN文档)。

KeepConnectionCommand 类负责将 KeepConnectionJob 作业推入日志队列。上述客户端则负责监听日志队列并处理队列数据(调用 RequestLogJob 和 ResponseLogJob 中的方法保存日志，调用 KeepConnectionJob 中的方法 ping 数据库)。

        三、保活逻辑的工作流：系统计划任务 >> ping.bat >> LUMEN框架的控制台命令调度器 >> app\Console\Kernel->schedule() >> KeepConnectionCommand >> ping_db >> KeepConnectionJob >> RequestLogModel::ping() >> sql query statement...