随笔分类 -  网页内容抓取

使用HtmlUnit登录百度
摘要：环境java 1.7HtmlUnit 2.18eclipse 4.4.2maven 配置： net.sourceforge.htmlunit htmlunit 2.18 java代码public void loginBa... 阅读全文
posted @ 2015-09-22 14:20 唐凯 阅读(1639) 评论(0) 推荐(0)
使用jsoup进行网页内容抓取
摘要：对网页内容的抓取比较的感兴趣，于是就简单的学习了一下，如果不使用任何的框架去抓取网页的内容，感觉有点难度，我就简单点来吧，这里所使用的jsoup框架，抓取网页的内容与使用jquery选择网页的内容差不多，上手很快。下面就简单的介绍一下吧！首先是获取网络资源的方法： /** * 获取网络中的超链接 * * @param urlStr * 传入网络地址 * @return 返回网页中的所有的超链接信息 */ public String getInternet(String urlStr, String encodi... 阅读全文
posted @ 2014-01-08 15:04 唐凯 阅读(756) 评论(0) 推荐(0)