摘要: jsoup的使用 jsoup介绍 jsoup是一款Java的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,css以及类似于Jquery的操作方法来取出和操作数据。 主要功能 直接请求URL 一开始直接使用jsonp的connect方法调用上节 阅读全文
posted @ 2019-04-20 01:39 芒果绿 阅读(495) 评论(0) 推荐(0) 编辑
摘要: 正则表达式 HTTP状态码 阅读全文
posted @ 2019-04-20 01:38 芒果绿 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 尝试直接请求URL获取资源 豆瓣电影 https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&page_limit=20&page_start=0 浏览器打开该地址: 发现是这样的 在这里我们需要用j 阅读全文
posted @ 2019-04-20 01:38 芒果绿 阅读(359) 评论(0) 推荐(0) 编辑
摘要: 刚开始接触java爬虫,在这里是搜索网上做一些理论知识的总结 主要参考文章:gitchat 的java 网络爬虫基础入门,好像要付费,也不贵,感觉内容对新手很友好。 一、爬虫介绍 网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网下载网页,是搜索引擎的重要组成部分。 传统爬虫: 获得URL -》 阅读全文
posted @ 2019-04-20 01:37 芒果绿 阅读(1359) 评论(0) 推荐(0) 编辑