Webmagci功能--获取链接

获取连接

一个站点的页面是很多的,一开始不可能全部列举出来,于是如何发现后续的链接,是一个爬虫不可缺少的一部分

获取链接(例子):

page.addTargetRequests(page.getHtml().css("div#news_div").links().regix(".*9$").all());
//验证是否真正拿到下一个页面的数据
page.putField("div",page.getHtml().css("div.mt h1").all())

 

posted @ 2020-06-16 17:30  IT特工  阅读(183)  评论(0编辑  收藏  举报