浙江省高等学校教师教育理论培训

微信搜索“教师资格证岗前培训”小程序

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

Python发送WEB请求,并对WEB内容进行解析 - lpxuan151009的专栏 - 博客频道 - CSDN.NET

def getRelateKeywords(requestUrl):

    url = requestUrl.replace(' ', '%20');

    page_encode = "gbk"

   

    request = urllib2.Request(url)

    request.add_header("Accept-encoding", "gzip")

   

    usock = urllib2.urlopen(request)

    page = usock.read()

   

    if usock.headers.get('content-encoding', None) == 'gzip':

        page = gzip.GzipFile(fileobj=StringIO.StringIO(page)).read()



    if not isinstance(page, unicode):

        page = unicode(page, page_encode)



    #print(page)

posted on 2012-04-27 10:16  lexus  阅读(261)  评论(0编辑  收藏  举报