远程post之利器--HttpWatch

最近在做“信息采集”,简单说就是:远程post一个地址,然后获得返回的html,再使用正则过滤出你想要的信息。
 但是对于象.net中GridView自带的分页没有任何类似page=2的参数,该如何post,以获得某页的html?
 如下面这个地址:
http://61.240.36.105/colorring/ringshop.jsp

你如何点那个分页按钮,上面的地址始终不变,他到底post那些参数到服务器,然后再返回具体页的数据?凭空猜想和查看他的html源码都很困难得到。

下面咱们的利器就横空出世:HttpWatch
下载地址:http://download.zol.com.cn/detail/16/156174.shtml
先看介绍:
         强大的网页数据分析工具。集成在Internet Explorer浏览器中。只需要选择相应的网站,软件就可以对网站与IE之间的需求回复的通讯情况进行分析并在同一界面显示其相应日志记录。每一个HTTP记录都可以详细的分析其 Cookies、消息头、字符查询等信息。支持HTTPS及分析报告输出为XML、CSV等格式。

(使用方法在下载包里有,非常简单哦)
下面就开始获得http://61.240.36.105/colorring/ringshop.jsp的分页post到服务器的具体参数:
具体参数如图:
 

这下参数就全赤裸裸的出来啦,现在你只需post这个地址就可以:

 string appendStr = @"http://61.240.36.105/colorring/ringshop.jsp?$FORMNAME=colorring_ringlist&$parameters=colorring_ringlist!" + num + "!225!20!4489!" + ((num - 1)* 20+ "!" + (((num - 1)* 20+ 20);


其中这个num是个页数。

以下是登录cnblogs的时候具体post到服务器的参数:(图不是很清晰,凑活看吧,现在美女也不多阿)
 


这个只是个开头,如果有的网站需要登录和验证码,你还得花心思,今天就到这啦。。。
希望能对各位朋友有所帮助!

 

                                                               个人根据地: http://www.taheta.org

 

posted @ 2006-12-09 16:35 overred 阅读(6091) 评论(15)  编辑 收藏 网摘

  回复  引用  查看    
#1楼2006-12-09 17:13 | AlphaWu      
  回复  引用  查看    
#2楼[楼主]2006-12-09 17:16 | overred      
@AlphaWu
谢谢
是一个东西,但是我们用得功能不同哦
^+^

  回复  引用  查看    
#3楼2006-12-09 18:21 | deerchao      
好奇地问一句,asp.net web forms这么复杂的页面也能用这种办法采集么?
  回复  引用    
#4楼2006-12-09 19:52 | hehe [匿名][未注册用户]
形成、\好
干系不组
你 知道改进你可以咯

  回复  引用    
#5楼2006-12-09 21:09 | overred[匿名][未注册用户]
@deerchao
可以的

@hehe [匿名]
不懂。。

  回复  引用    
#6楼2006-12-09 22:46 | tsbob[匿名][未注册用户]
firefox下面的插件firebug最新版带有这样的功能
  回复  引用  查看    
#7楼2006-12-09 23:36 | deerchao      
overred:
我也做过这种东西,楼主这篇贴子没提到的东西我猜应该是cookie.我做的东西对asp,php之类的东西比较好用,但没有试过aspx行不行.
因为我总觉得aspx页面里要来回传的东西有很多东西不是固定的(根据时间,用户身份等等条件改变),这次发的是这个字符串,下次发的是另一个,所以要想处理这种情况,就得用代码动态分析页面,而不能简单地人工判断一次就了事.
我想知道我的这种想法是不是正确的.

  回复  引用  查看    
#8楼2006-12-10 10:53 | AlphaWu      
我也做了一些采集方面的事情,有机会咱们交流一下:)
  回复  引用    
#9楼2006-12-10 14:35 | overred[匿名][未注册用户]
@tsbob[匿名]
谢谢

@deerchao
你说的很正确
像csdn的登陆等就是你说的这样
所以你还得自己附加cookie等额外信息过去才能正确得到信息

@AlphaWu

加我的msn吧

  回复  引用  查看    
#10楼2006-12-10 20:43 | 高海东      
这个不错 支持 期待更多介绍
  回复  引用    
#11楼2006-12-22 13:48 | Jeff[匿名][未注册用户]
“采集”这个词用的不错,呵呵!
  回复  引用    
#12楼2006-12-26 09:27 | cmic[未注册用户]
我用的是ie HttpHeaders1.6,也功能实现了类似的功能。
  回复  引用  查看    
#13楼[楼主]2007-06-13 09:49 | overred      
@cmic
殊途同归

  回复  引用    
#14楼2007-09-13 13:55 | 搬家[未注册用户]
学习一下.
  回复  引用  查看    
#15楼2008-05-03 00:25 | 留恋星空      
mark



发表评论

昵称: [登录] [注册]

主页:

邮箱:(仅博主可见)

评论内容:

  登录  注册

[使用Ctrl+Enter键快速提交评论]

0 587299




相关文章:

相关链接: