php爬取知乎用户信息
组件:querylist(爬数据的工具,composer下载)
//获取关注者信息
//file_get_contents();
//分页获取详细信息
require_once "vender/autoload.php";
use QL\QueryList;
//循环爬取|多线程爬取|守护进程|队列等 模拟分页
for($i=1;$i<$n,$i++){
$ql=Querylist::get($url,['page'=>$i]);
}
$ql->getHtml();//获取页面内容
$rules=[
//'name'=>['a.UserLink-link','text','',function($content){
// var_dump($content);
//}],
'name'=>['a.UserLink-link','text'}],
'url'=>['a.UserLink-link','href'}],
];
//过程:设置html--》设置采集规则--》执行采集--》获取采集结果数据
$user_list=QueryList::html($ql->getHtml())->rules($rules)->query()->getData()->all());
foreach($user_list as $k=>$v){
if(!empty($v['name'])){
//如果不为空 获取用户信息
$user_info=Querylist::get($url2);
$user_detail=$user_info->find('div#data')->attrs('data-state')->all();//获取id名称为data的div里面的内容
json_decode($user_detail['0'],true);
}
}