海水中的泪

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

在某个网页看到这么一句话:“大多数网站都对支持gzip压缩的浏览器做了gzip的压缩,在python中可以通过gzip包处理gzip压缩过的网页”

所以问题就是内容有压缩过,直接decode不行,需要用gzip来解压。然后再decode。

import gzip
...
html = gzip.decompress(response)
        html = html.decode('gbk')

用gb2312不行,用gbk却可以,因为gbk包含gb2312,所以可以知道的是网页源码有超出gb2312编码范围的字符

posted on 2016-04-25 20:21  海水中的泪  阅读(252)  评论(0)    收藏  举报