PHP百万级数据导出方案（生成器直接输出单个CSV）

准备：
1、了解生成器yield
我上篇文章PHP百万级数据导出方案（多csv文件压缩） 说了几个坑，大家可以先去回顾一下。然后我们可以看一下前辈的对生成器介绍的文章： PHP性能优化利器：生成器 yield理解，来理解一下生成器防止内存溢出的原理。

2、解决数据查询内存溢出
了解完生成器yield原理之后，我们还需要解决一个问题，我们常用的mysql查询函数是mysqli_query(connection,query,resultmode);，通常都是直接填写第一第二个参数就直接查询，但该函数默认的是对全部结果集进行缓存，这会导致数据过多的时候，内存也会溢出。因此，我们需要设置第三个参数为MYSQLI_USE_RESULT来逐行读取结果集。那或许您有疑问为什么不直接 遍历该mysqli_query()方法返回的结果来当每一行数据写到CSV中，而还要用yield来存储一次每行数据再写到CSV中呢？其实这是因为mysqli_query()返回的结果是mysqli_result Object形式，而fputcsv()这个方法要求第二个参数为数组。所以yield的作用就是中转站，但是他是一行行运输数据，而不是读多行来运输数据。

代码：

<?php

/*
 * 该方法是把数据库读出的数据进行CSV文件输出，能接受百万级别的数据输出，因为用生成器，不用担心内存溢出。
 * @param string $sql 需要导出的数据SQL
 * @param string $mark 生成文件的名字前缀
 *
 */
function putCsv($sql, $mark)
{
    set_time_limit(0);
    header('Content-Type: application/vnd.ms-excel;charset=utf-8');
    header('Content-Disposition: attachment;filename="' . $mark . '"');
    header('Cache-Control: max-age=0');

    $file_num = 0;  //文件名计数器
    $fileNameArr = array();
    $fp = fopen($mark .'_'.$file_num .'.csv', 'w'); //生成临时文件
    $fileNameArr[] = $mark .'_'.$file_num .'.csv';
    fwrite($fp, chr(0xEF).chr(0xBB).chr(0xBF));//转码,防止乱码
   foreach (query($sql) as $a) {
       fputcsv($fp, $a);
    }
    fclose($fp);  //每生成一个文件关闭
}


//生成器来缓存mysql查询结果，返回类型为数组
function query($sql){
    $con = mysqli_connect("localhost", "root", "root");
    if (!$con) {
        die('Could not connect: ' . mysqli_error());
    }
    mysqli_select_db($con, "dbmigs_smz");
    mysqli_query($con,'set names utf8');
    $n = 0;
//    print_r(mysqli_query($con, $sql,MYSQLI_USE_RESULT) ); mysqli_result Object 返回
    //该处用MYSQLI_USE_RESULT 就是不缓存结果集中，也是为了避免内存溢出，相当于mysql_unbuffered_query
    foreach (mysqli_query($con, $sql,MYSQLI_USE_RESULT) as $row ){  //
        yield $row;
        echo $n++  . "<br>";  //输出行数
    }
    $con->close();
}

//$sql = 'SELECT id,ArticleClassify,ArticleTitle FROM `test_yield`  where id < 1200000';
$sql = 'SELECT id,ArticleClassify,ArticleTitle FROM `test_yield`  where id < 20';
$mark = 'test';
putCsv($sql,$mark,1,2);

?>

　　

$name = '用户汇总' . date('YmdHis', time());
            $fp = fopen(Env::get('root_path') . 'static/excel/' . $name .'.csv', 'w'); //生成临时文件
            fwrite($fp, chr(0xEF).chr(0xBB).chr(0xBF));//转码,防止乱码
            fputcsv($fp, $head);
            foreach (query($list) as $v)
            {

                $data = [
                    $v['account'],
                    $v['real_name'],
                    $v['user_ww'],
                    $v['mobile'],
                    $v['email'],
                    $v['wx'],
                    $v['credit'],
                    dateFormat($v['ww_create_time'], 's'),
                    convert_money_to_yuan($v['balance']),
                    dateFormat($v['create_time'], 's'),
                    $v['order_month_num'],
                    $v['bfname'],
                    $v['is_family'] == 1 ? '是' : '否',
                    $v['name'],
                    $v['prove_group']
                ];



                fputcsv($fp, $data);
            }
            fclose($fp);  //每生成一个文件关闭