Java中使用jsoup爬取网页数据简单示例

 1 package com.jsoup;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class FirstJsoup {
    
    private static Document doc;

    public static void main(String[] args) {
        try {
            //获取网站链接
            doc = Jsoup.connect("https://www.cnblogs.com/").get();
        } catch (IOException e) {
            e.printStackTrace();
        }
        // 调用Blogs类
        Blogs();
    }

    public static void Blogs() {
        //选择网页中的元素
        Elements tests = doc.select("div#post_list>div.post_item");
        //使用for循环遍历网页中的数据
        for (Element test : tests) {
            //爬取页面中的文章标题
            String txt = test.select("div.post_item_body>h3>a.titlelnk").text();
            System.out.println("标题：" + txt);
            //爬取页面中的文章链接
            String href = test.select("div.post_item_body>h3>a.titlelnk").attr("href");
            System.out.println("链接：" + href);
            //爬取页面中的作者
            String author = test.select("div.post_item_foot > a.lightblue").text();
            System.out.println("作者：" + author);
            //对爬取的数据进行分割
            System.out.println("---------------------------");
        }
    }
}
运行结果