python抓取网页信息

环境：python 2.7

用自带的urllib，urllib2包可以实现大部分抓取功能。代码十分简短。

关键在于正则表达式的建立和处理。

 1 #coding=utf-8
 2 '''
 3 Created on 2014-9-25
 4 
 5 @author: Administrator
 6 '''
 7 import urllib
 8 import urllib2
 9 import re
10 
11 #url = 'http://www.taobao.com/'
12 url = 'http://www.gov.cn/'
13 
14 req = urllib2.Request(url)
15 html = urllib2.urlopen(req).read()
16 #print html
17 
18 ss = re.findall('blank">(.*?)\<\/',html)
19 for i in ss:
20     print i

 

posted @ 2014-09-25 09:17  猫为什么不能遛  阅读(209)  评论(0)  编辑  收藏  举报