批量采集世纪佳缘会员图片及winhttp异步采集效率

原始出处:http://www.cnblogs.com/Charltsing/p/winhttpasyn.html

 

最近老有人问能不能绕过世纪佳缘的会员验证来采集图片,我测试了一下,发现是可以的。

同时也测试了winhttp异步采集的效率。(在vba里面使用winhttp开发速度快)

经过测试,在网站不忙的情况下,检索一万个会员大约只需要三分钟或者更少的时间。

 

下面简单说一下如何使用winhttp做并发采集:

1、在类模块里面建立winhttp的各种事件,用于处理error和response数据。建立一个bool变量指示该实例是否空闲。

2、在标准模块中,根据uid自动生成url,并建立一个索引变量,用于指示已经发送的网站URL的序号。

3、在标准模块中创建winhttp实例数组,用于并发。数量推荐不要超过1000,具体和网络及电脑配置有关。

4、在do while循环中监测winhttp实例数组,如果有空闲的即设置url启动request。

具体winhttp类模块中的事件写法,请自行百度。

 

技术交流请联系qq:564955427

 

附一个简单的winhttp类,vba使用

Dim WithEvents winhttp As WinHttpRequest

Private Sub WebGetRequest(URL As String)
    Set winhttp = New WinHttpRequest
    With winhttp
        .Open "GET", URL, True
        .send
    End With
End Sub

Private Sub winhttp_OnError(ByVal ErrorNumber As Long, ByVal ErrorDescription As String)
    Debug.Print ErrorDescription                 '出错时候的错误描述
End Sub

Private Sub winhttp_OnResponseFinished()
    Debug.Print winhttp.responseText             '数据加载完成
End Sub
Private Sub winhttp_OnResponseDataAvailable(Data() As Byte)
                                                 '有数据到达...
End Sub
Private Sub winhttp_OnResponseStart(ByVal Status As Long, ByVal ContentType As String)
                                                 '载入数据的事件,Status是状态,ContentType是头部消息
End Sub

 

posted on 2017-08-15 11:45 Charltsing 阅读(...) 评论(...) 编辑 收藏

导航