关于使用webmagic如何得到标签内部的内容的小例子

今天在获取一个网页的具体内容时遇到了一些小麻烦，

源代码：

package com.ms.test;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class TestWebmagic implements PageProcessor{

    Site site = Site.me();
    @Override
    public Site getSite() {
        // TODO Auto-generated method stub
        return site;
    }

    @Override
    public void process(Page page) {
        // TODO Auto-generated method stub
        page.putField("test", page.getHtml().xpath("//div[@class=p-2]/div[@class=o-border-bottom2]/div[@class=my-2]/strong"));
    }

    public static void main(String[] args) {
        Spider.create(new TestWebmagic())
        .addUrl("http://www.beijing.gov.cn/hudong/hdjl/com.web.consult.consultDetail.flow?originalId=AH20011700001")
        .run();
    }
}

我获取到的结果是这个样子的：

 

 但是我想要的一定是不带标签的内容，所以呢我就去百度了一下，发现没有很好的例子，但是在一个评论中找到了答案，那就是在后面加一个“/text（）”函数。

我们 都知道在jsoup中，很容易就能得到标签内的内容，因为他有“text（）”这个函数，所以我看到例子的时候我就知道了。

更新后的代码:

package com.ms.test;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class TestWebmagic implements PageProcessor{

    Site site = Site.me();
    @Override
    public Site getSite() {
        // TODO Auto-generated method stub
        return site;
    }

    @Override
    public void process(Page page) {
        // TODO Auto-generated method stub
        page.putField("test", page.getHtml().xpath("//div[@class=p-2]/div[@class=o-border-bottom2]/div[@class=my-2]/strong/text()"));
        
    }

    public static void main(String[] args) {
        Spider.create(new TestWebmagic())
        .addUrl("http://www.beijing.gov.cn/hudong/hdjl/com.web.consult.consultDetail.flow?originalId=AH20011700001")
        .run();
    }
}

结果如下：

 

 想起来我以前也遇到过一个类似的问题，就是这样的，未更改前，得到的结果是这样的：

 

更改后得到的结果是这样的：

 

 什么都没有输出，这个。。。

还是用我自己的办法吧。

 

 

/***********************************************续***********************************************/

2020-02-15    21:34:43

关于获取标签内部内容的补充，在上述方法中，加一个“/text（）”确实可以输出标签内部的内容，但是如果想把结果赋值给String并且也是不带标签的话，toString（）；一下就可以了。