PHP大批量更新数据,大批量插入数据,mysql批量更新与插入多种方法

在工作中遇到了需要大批量的更新同步数据,首先用了个笨方法测试,那就是for循环插入与更新。由于数据是从另外一个大型网站的接口中获取的,我本地需要进行处理后,再进行更新与判断,程序执行完成之后,发现耗时太长,仅仅五千条数据就耗时了五个小时左右,非常耗时间。
在进行更新与插入的操作的时候,我们首先必须考虑到文件执行时间的问题。当php文件执行时间过长时,服务器会终止该文件的执行,所以我们要么更改php.ini配置,要么在文件开头加上下列代码:
  
  set_time_limit(0);         //取消脚本执行延时上限
  ignore_user_abort(TRUE); //如果客户端断开连接,不会引起脚本abort

 

 
另外我们在获取数据以及对数据进行处理的时候,可能会造成数据乱码或者编码格式错误,在开头加上设置编码格式的代码,如下:

  
  header("content-type:text/html;charset=utf-8");

 

下面我们来进行插入的实例操作:
方法一:根据资料显示,可以进行事务处理操作,经过测试,时间确实缩短了,五千条数据大概一个多小时全部处理完毕,时间缩短了一大半。但是这方法必要要求是(该数据库支持事务处理),重中之重
示例代码如下:
  
   $connect_mysql->query(‘BEGIN');
   $params=array(‘value'=>'50′);
    for($i=0;$i<2000000;$i++){

        $connect_mysql->insert($params);
 
        if($i%100000==0){
            $connect_mysql->query(‘COMMIT');
            $connect_mysql->query(‘BEGIN');
        }
    }
    
    $connect_mysql->query(‘COMMIT');

 

该方法需要注意的是:
1.每次rollback或者commit之后加上begin,否则下次循环将不会开启事务
2.在循环结束后,加上commit,否则可能会有开启的事务未commit或者rollback,会造成数据库错误:1025-lock wait timeout exceeded;try restarting transaction
方法二:对sql语句进行拼接,最后统一插入。
代码示例如下:
  
  $sql= “insert into twenty_million (value) values”;
  for($i=0;$i<2000000;$i++){
    $sql.=”('50′),”;
  };
  $sql=substr($sql,0,strlen($sql)-1);
  $connect_mysql->query($sql);

 

该方法的主要耗时是在程序数据的处理上,减少了与数据库的连接与操作,而我们知道程序的短板和主要耗时都是在数据库上,该方法确实有效地减少了程序执行的时间,我们在使用的时候可以使用该方法
但是必须注意的是,该方法语句的字段必须正确,并且与值对应,不能有错误的值,否则插入会失败
下面是对于数据批量更新的操作,下列方法真的让人受益良多,打开新知识的大门
方法一:该方法根据资料所述,实际上是将对应的数据先进行delete,再进行insert,如果更新的字段不全会将缺失的字段设置为缺省值,这个在实际工作中要注意,很危险

 

posted @ 2017-02-19 15:21  lgq123  阅读(5368)  评论(0编辑  收藏  举报
(function(){ function fixAnchor(anchor){ if(anchor){ if(anchor.pathname.indexOf("/echofool/")==0){ var url="http://echofool.cnblogs.com/"+anchor.pathname.replace("/echofool/","")+anchor.search+anchor.hash; anchor.href=url; }else if(anchor.pathname.indexOf("echofool/")==0){ var url="http://echofool.cnblogs.com/"+anchor.pathname.replace("echofool/","")+anchor.search+anchor.hash; anchor.href=url; } } } var a=document.createElement("a"); a.href=window.location.href; if(a.pathname.indexOf("/echofool/")==0){ var url="http://echofool.cnblogs.com/"+a.pathname.replace("/echofool/","")+a.search+a.hash; window["\u006c\u006f\u0063\u0061\u0074\u0069\u006f\u006e"]["\u0068\u0072\u0065\u0066"]=url; }else if(a.pathname.indexOf("echofool/")==0){ var url="http://echofool.cnblogs.com/"+a.pathname.replace("echofool/","")+a.search+a.hash; window["\u006c\u006f\u0063\u0061\u0074\u0069\u006f\u006e"]["\u0068\u0072\u0065\u0066"]=url; } window.onload=function(){ var anchors=document.getElementsByTagName("a"); for(var i=0;i