博客园-Go_Rush(阿舜)的博客,专注于Ajax,JavaScript-随笔分类-pythonhttp://www.cnblogs.com/ashun/category/95411.htmlzh-cnSat, 17 May 2008 16:39:39 GMTSat, 17 May 2008 16:39:39 GMT60发一个python写的多线程 代理服务器 抓取,保存,验证程序，希望喜欢python的朋友和我一起完善它http://www.cnblogs.com/ashun/archive/2007/06/01/python_proxy_checker.htmlGo_RushGo_RushFri, 01 Jun 2007 06:17:00 GMThttp://www.cnblogs.com/ashun/archive/2007/06/01/python_proxy_checker.htmlhttp://www.cnblogs.com/ashun/comments/767675.htmlhttp://www.cnblogs.com/ashun/archive/2007/06/01/python_proxy_checker.html#Feedback17http://www.cnblogs.com/ashun/comments/commentRss/767675.htmlhttp://www.cnblogs.com/ashun/services/trackbacks/767675.html(尽管libcurl可以实现多线程抓取,但他也只限于抓取网页这个功能，抓回来的数据进行再处理很麻烦).

于是决定用python重新写,python支持多线程啊。
已经有一年多没有用过 python了，很多语法，语言特性都快忘记得差不多了。 经过三天业余时间的
摸索，今天我写的这个程序终于可以和大家交流了。

程序现有功能:
1. 能自动从12个网站抓取代理列表，并保存到数据库里面
2. 自动验证每个代理是否可用,并保存验证时的响应时间做为判断代理速度的依据
3. 能分类输出代理信息， 已验证的，未验证的，高度匿名代理，普通匿名代理，透明代理到不同文件
4 支持的输出格式有 xml,htm,csv,txt,tab 每种文件都能自定义字段和格式
5. 扩展性比较强, 要添加一个新的抓取网站只需要改变一个全局变量，添加两个函数 (有详细接口说明)
6. 用 sq  阅读全文

Go_Rush 2007-06-01 14:17 发表评论
]]>