jsoup 使用总结4--高级用法之 script js 脚本

jsoup 使用总结4--高级用法之 script js 脚本

大部分时候，我们使用jsoup解析网页的时候，都是直接找到某一类元素，或者按某种selector查询；具体使用方法可以参考jsoup官网文档
那么你有没有实际操作过，查找script js 脚本呢，因为很多时候页面的内容是根据js动态生成的，或者数据是动态变更；那么这个时候，我们只是获取html页面中script js脚本之间的内容。

部分html代码：

真相
今日头条
各地新闻
行业报告
政府政策
疾病防护
科普

....

java代码：

Document doc = Jsoup.connect("www.example.com").timeout(0).get();
Elements links = doc.select("div.example_row").select("a");
for(Element link : links)
{
String linkHref = link.attr("href");
String linkText = link.text();
...
}
Element link = doc.select("a").first();
Element link_2 = doc.select("a").last();

上面的方式就可以帮我们查找到js 中的数据。

还有一种我在实际工作中遇到的情况, js 很复杂，并不像上面的那么一下子就可以catch到：
html代码：

那么针对这种情况jsoup如何破解呢，享受在jsoup的便捷中，思考，搜索，仍然误解；
发现这种问题jsoup还真解决不了。
那就换正则表达式试试。这里推荐一个在线正则工具 regexr
换了正则，然后不停的try，终于ok了：
java 代码：

Document doc = Jsoup.connect("www.example.com").timeout(0).get();
Elements scripts = doc.select("script");
for(Element script : scripts)
{
if(script.html().contains("var option_1 =")) //注意这里一定是html(), 而不是text()
{
String str = data.html().replace("\n", ""); //这里是为了解决 无法多行匹配的问题
String pattern = "var option_1 = \{(.*?)\};"; //()必须加，

Pattern r = Pattern.compile(pattern,Pattern.MULTILINE);// Pattern.MULTILINE 好像没有什么用，所以才使用上面的replace
Matcher m = r.matcher(str);
if(m.find())
{
String option_1 = m.group();
option_h24 = option_h24.replace("var option_1 = ", "");
JSONObject json = new JSONObject(option_1);
...
｝
}
...
}

希望能解决你手边的问题。

另外推荐阅读jsoup的官网文档，我80%的问题都在官网找到了方法。