随笔分类 -  爬虫

爬虫的学习
解析了grid2008的代码
摘要：1 import java.io.IOException; 2 import java.util.ArrayList; 3 import java.util.HashMap; 4 import java.util.List; 5 import java.util.Map; 6 7 import org.jsoup.Connection; 8 import org.jsoup.Connection.Method; 9 import org.jsoup.Connection.Response; 10 import org.jsoup.Jsoup; 11 import org.... 阅读全文
posted @ 2013-11-29 17:26 蓦然回首的包子 阅读(299) 评论(0) 推荐(0)
解析百度的链接
摘要：import java.io.IOException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;/** * * 解析百度网址的代码，获得链接 */public class testbaidu { public static void main(String[] args) throws IOException { //Validate.isTrue(args.length == ... 阅读全文
posted @ 2013-11-29 17:25 蓦然回首的包子 阅读(1362) 评论(0) 推荐(0)
模拟百度点击
摘要：import java.io.IOException;import java.net.MalformedURLException;import com.gargoylesoftware.htmlunit.BrowserVersion;import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;import com.gargoylesoftware.htmlunit.WebClient;import com.gargoylesoftware.htmlunit.html.HtmlForm;import com.gargoy 阅读全文
posted @ 2013-11-29 17:24 蓦然回首的包子 阅读(670) 评论(0) 推荐(0)
jsoup解析知网
摘要：1 import java.io.IOException; 2 import java.util.ArrayList; 3 import java.util.List; 4 5 import org.jsoup.Connection; 6 import org.jsoup.Connection.Method; 7 import org.jsoup.Jsoup; 8 import org.jsoup.nodes.Document; 9 import org.jsoup.nodes.Element;10 import org.jsoup.select.Elements;11 12 public.. 阅读全文
posted @ 2013-11-29 17:23 蓦然回首的包子 阅读(315) 评论(0) 推荐(0)
split
摘要：1 import java.io.IOException; 2 3 import org.jsoup.Jsoup; 4 import org.jsoup.nodes.Document; 5 6 /** 7 * 解析知网文章的页面内容的代码 8 * 9 */10 public class Kns50onepage {11 public static void main(String[] args) throws IOException { 12 13 String url="http://www.cfed.cnki.net/kn... 阅读全文
posted @ 2013-11-28 23:10 蓦然回首的包子 阅读(314) 评论(0) 推荐(0)
Jsoup
只有注册用户登录后才能阅读该文。
posted @ 2013-11-28 16:10 蓦然回首的包子 阅读(8) 评论(0) 推荐(0)