编程

看山是山 看水是水

导航

随笔分类 -  PHP

Linux C程序操作Mysql 调用PHP采集淘宝商品
摘要:还是继续这个项目。在上一篇Linux下利用Shell使PHP并发采集淘宝产品中,采用shell将对PHP的调用推到后台执行,模拟多线程。此方法有一致命缺点,只能人工预判每个程序执行时间。如果判断时间少于执行时间,则会生成大量进程,如果判断时间多于执行时间,则会浪费时间资源。所以,在此我们采用C程序来... 阅读全文

posted @ 2014-04-28 13:45 风飘无痕 阅读(844) 评论(0) 推荐(0)

Linux下利用Shell使PHP并发采集淘宝产品
摘要:上次项目中用到>此方法有一个缺点,就是执行效率问题.一个商品采集平均需要0.8秒.那10000个商品采集完需要2个半小时.首先想到的解决办法是并发.但是PHP不支持并发(这里是指通过PHP命令执行PHP文件,如果通过apache或nginx等做服务器是可以并发的,是并发访问,不能在程序中实现并发).通过Shell把对php命令推到后台执行,以达到并发的效果.整体思路: 1.在Shell中连接数据库,取出需要更新的产品 2.Shell中对数据进行循环,把商品id,price,url传递给PHP执行,将执行过程推到后台 3.每循环20条使程序暂停5秒,达到控制并发数的目的 4.php得到i. 阅读全文

posted @ 2014-03-21 14:44 风飘无痕 阅读(1494) 评论(0) 推荐(0)