php爬取知乎用户信息

组件:querylist(爬数据的工具,composer下载)
//获取关注者信息
//file_get_contents();
//分页获取详细信息
require_once "vender/autoload.php";
use QL\QueryList;
//循环爬取|多线程爬取|守护进程|队列等 模拟分页
for($i=1;$i<$n,$i++){
  $ql=Querylist::get($url,['page'=>$i]);
}

$ql->getHtml();//获取页面内容
$rules=[
  //'name'=>['a.UserLink-link','text','',function($content){
    // var_dump($content);
  //}],
  'name'=>['a.UserLink-link','text'}],
  'url'=>['a.UserLink-link','href'}],
];

//过程:设置html--》设置采集规则--》执行采集--》获取采集结果数据
$user_list=QueryList::html($ql->getHtml())->rules($rules)->query()->getData()->all());
foreach($user_list as $k=>$v){
  if(!empty($v['name'])){
    //如果不为空 获取用户信息
    $user_info=Querylist::get($url2);
    $user_detail=$user_info->find('div#data')->attrs('data-state')->all();//获取id名称为data的div里面的内容
    json_decode($user_detail['0'],true);
  }
}

posted @ 2018-11-12 16:47  井梅0709  阅读(349)  评论(0编辑  收藏  举报