爬虫模拟登陆博客园，爬取信息，发送"闪存"消息等操作(微博、BBS同理)
朋友们，好久不见了。最近忙着其他事情，一直没有到博客园转转。你们还好吗？
分享最近项目里面的一小段代码吧。
描述：由于某种需要，需要抓取某些特定网站上的信息，其中有一些网站是需要登录后才能抓取信息的。这就牵扯到如何模拟登陆，登陆后又应该进行哪些处理可以爬取其他页面的信息。
一般来说，需要登录的网站都没有禁用cookie，（如果对cookie和http协议不了解，请自行百度），一般模拟登陆都是利用这一特性进行的。
主要过程如图所示：
本人项目中代码也是大概这么一个过程，我利用了开源工具httpClient 。因为该工具对HTTP协议进行了很好的封装和管理，当然也实现了http中所有的协议，比如get,post等等。
/*
* 测试代码
*/
public static void main(String[] args) throws ClientProtocolException, IOException {
// TODO Auto-generated method stub
String message="Hello,World!";
DefaultHttpClient client=getHttpClient();
if(sendMessage(client, message))
System.out.println("发送成功");
else
System.out.println("发送失败");
}
/***
* 得到一个登陆后添加了cookie的连接。
*
* @author http://www.cnblogs.com/xiaoyi115/
* */
public static DefaultHttpClient getHttpClient() throws ClientProtocolException, IOException{
DefaultHttpClient client=new DefaultHttpClient();
List<NameValuePair> nvps=getNameValuePairs();
String uri="http://passport.cnblogs.com/login.aspx";
List<Cookie> cookies=getCookies( nvps, uri);
for (Cookie cookie : cookies) {
client.getCookieStore().addCookie(cookie);
}
return client;
}
/***
* 显示发送的消息是否成功
* @param client 一个连接
* @param message 需要发送的消息
* @return 返回发送是否成功
* @author http://www.cnblogs.com/xiaoyi115/
* */
public static boolean sendMessage(DefaultHttpClient client,String message) throws ParseException, IOException{
HttpPost post=new HttpPost("http://home.cnblogs.com/ajax/ing/Publish");
post.addHeader("Accept", "application/json, text/javascript, */*; q=0.01");
post.addHeader("Accept-Encoding", "gzip,deflate,sdch");
post.addHeader("Accept-Language", "zh-CN,zh;q=0.8,en;q=0.6");
post.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36");
post.addHeader("Content-Type", "application/json; charset=UTF-8");
post.addHeader("Origin", "http://passport.cnblogs.com");
post.addHeader("Referer", "http://passport.cnblogs.com/login.aspx?ReturnUrl=http%3A%2F%2Fwww.cnblogs.com%2F");
String xjson="{'content':'"+message+"','publicFlag':1}";
StringEntity entity=new StringEntity(xjson,"utf-8");
post.setEntity(entity);
HttpResponse respons=client.execute(post);
if(respons.getStatusLine().getStatusCode()==200&(EntityUtils.toString(respons.getEntity()).contains(message)))
return true;
else
return false;
//System.out.println(respons.getStatusLine().getStatusCode());
//System.out.println(EntityUtils.toString(respons.getEntity()));
}
/***
* 登陆时需要post的对象
*
* @return 返回对象集合
*
* @author http://www.cnblogs.com/xiaoyi115/
* */
public static List<NameValuePair> getNameValuePairs(){
ArrayList<NameValuePair> nvps=new ArrayList<NameValuePair>();
nvps.add(new BasicNameValuePair("__VIEWSTATE", "/wEPDwUKMTk0MDM4Nzg5MGQYAQUeX19Db250cm9sc1JlcXVpcmVQb3N0QmFja0tleV9fFgEFC2Noa1JlbWVtYmVy36jcXkF+JKEwq4mk1eC4ETqcaTA="));
nvps.add(new BasicNameValuePair("__EVENTVALIDATION", "/wEdAAW9J9gK2KAJMjMp9r0ov6f2hI6Xi65hwcQ8/QoQCF8JIahXufbhIqPmwKf992GTkd0wq1PKp6+/1yNGng6H71Uxop4oRunf14dz2Zt2+QKDEEdfo2FEmOcxajQv/HKJB0yp2y8y"));
nvps.add(new BasicNameValuePair("tbUserName", "潇一115"));
nvps.add(new BasicNameValuePair("tbPassword", "*******"));
nvps.add(new BasicNameValuePair("btnLogin", "登 录"));
nvps.add(new BasicNameValuePair("txtReturnUrl", "http://www.cnblogs.com/"));
return nvps;
}
/***
* 得到登陆后的cookie
* @return 返回cookies
*
* @author http://www.cnblogs.com/xiaoyi115/
* */
public static List<Cookie> getCookies( List<NameValuePair> nvp,String uri) throws ClientProtocolException, IOException{
DefaultHttpClient client=new DefaultHttpClient();
HttpPost post=new HttpPost(uri);
post.addHeader("Accept-Encoding", "gzip,deflate,sdch");
post.addHeader("Accept-Language", "zh-CN,zh;q=0.8,en;q=0.6");
post.addHeader("Content-Type", "application/x-www-form-urlencoded");
post.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36");
post.addHeader("Origin", "http://passport.cnblogs.com");
post.addHeader("Referer", "http://passport.cnblogs.com/login.aspx?ReturnUrl=http%3A%2F%2Fwww.cnblogs.com%2F");
post.setEntity(new UrlEncodedFormEntity(nvp,HTTP.UTF_8));
client.execute(post);
List<Cookie> cookies=client.getCookieStore().getCookies();
return cookies;
}
另外，对于爬虫来说，对网页的分析也是一件非常重要的事情。推荐开源工具htmlparser.
新浪微博的登陆会比博客园的登陆稍微难一些。新浪微博会有一步预登陆，获取到一些信息，利用这些信息再进行登陆。
当然，项目中的爬虫远比这个要复杂。需要多线程，既然用到了多线程，就要对线程进行管理、通信，牵扯多个线程如何配合的问题。另外爬取策略也需要考虑，一般爬取在大的方面会有深度优先和广度优先。当然，不是简单的深度或广度，一般需要进行优化，和停止策略。对于同一个站点，不能过于频繁的爬取，这样很容易被禁IP。
爬虫需要了解的东西还很多。就扯这么多吧。
版权所有，欢迎转载，但是转载请注明出处：潇一
