随笔分类 -  python

python selenium firefox 添加cookie add_cookie
摘要：最后一个print输出 阅读全文
posted @ 2017-06-15 23:39 捕蛇者说 阅读(1577) 评论(0) 推荐(0)
python 多网站采集，解决编码问题
摘要：import chardet def get_charset(str): return chardet.detect(str)['encoding'] html = '' # bytes 字节串 charset = get_charset(html) decoded_html = html.decode(charset, 'ignore') print(decoded_html) ... 阅读全文
posted @ 2017-05-22 14:13 捕蛇者说 阅读(236) 评论(0) 推荐(0)
用python newspaper 替换火车头的正文提取
该文被密码保护。
posted @ 2016-10-27 12:03 捕蛇者说 阅读(1) 评论(0) 推荐(0)
python unicode字节串转成中文问题
摘要：如题，其实我的问题很简单，就是在写爬虫的时候拿到网页的信息包含类似“\u65b0\u6d6a\u5fae\u535a\u6ce8\u518c”的字符串，实际上这是unicode的中文编码，对应的中文为“新浪微博注册”。其实我就是想找一个函数让这一串东西显示中文而已，没想到百度了白天找到合适的。遇到这 阅读全文
posted @ 2016-08-30 10:12 捕蛇者说 阅读(1111) 评论(0) 推荐(0)
centos6.5 安装scrapy
摘要：1. 安装Twisted, 下载安装包 python setup.py install 2. yum install libffi-devel python-devel 3 pip install scrapy 阅读全文
posted @ 2016-08-03 14:37 捕蛇者说 阅读(154) 评论(0) 推荐(0)
centos python 安装 readability
摘要：yum install libxslt-devel pip install readability-lxml 阅读全文
posted @ 2016-07-14 15:57 捕蛇者说 阅读(353) 评论(0) 推荐(0)
python 重新执行循环中出错的那一次
摘要：# coding: utf-8 li = [1,2,3,4,5] for num in li: while True: try: # do something except some error: continue break 阅读全文
posted @ 2016-07-13 14:46 捕蛇者说 阅读(4982) 评论(0) 推荐(0)
[解决] python WindowsError: [Error 3]
摘要：python 运行出错 WindowsError: [Error 3] : 'D:\\\xe7\x81\xab\xe8\xbd\xa6\xe9\x87\x87\xe9\x9b\x86\xe5\x99\xa8V9\\Data\\31\\201602\\19/*.*' 解决： # -*- coding: 阅读全文
posted @ 2016-02-23 15:24 捕蛇者说 阅读(3607) 评论(0) 推荐(0)
明白python文件如何组织，理解建立源文件
摘要： 阅读全文
posted @ 2016-02-23 11:50 捕蛇者说 阅读(277) 评论(0) 推荐(0)
[python] 如何将unicode字符串转换为中文
摘要：答案：(http://stackoverflow.com/) ps:这个网站解决了我好多问题啊，大家多上>>>s='\u9648\u4f1f\u9706\u5176\u5b9e\u662f\u4e2a'>>>print s.decode('unicode-escape')>>>陈伟霆其实是个 首先... 阅读全文
posted @ 2015-05-21 16:35 捕蛇者说 阅读(3508) 评论(0) 推荐(0)
python strip_tags 支持保留指定标签
摘要：#coding:utf-8import redef strip_tags(string, allowed_tags=''): if allowed_tags != '': # Get a list of all allowed tag names. allowed_tags = all... 阅读全文
posted @ 2015-05-06 15:13 捕蛇者说 阅读(1434) 评论(0) 推荐(0)
ubuntu14.04 安装 pyv8
摘要：1. $sudo pip install -v pyv8Error: pip unicodedecodeerror ‘ascii’ codec can’t decode byte 0xe2 in position 42 ordinal not in range(128)2. 更新pip版本卸载 py... 阅读全文
posted @ 2015-04-21 08:32 捕蛇者说 阅读(1088) 评论(0) 推荐(0)
[python] win7 64位 安装pygame
摘要：1、下载pygame2、python 下载3.2.* 32位的（电脑64位没关系的）3、先安装python，再安装pygame4、验证是否成功打开IDLE>>>import pygame>>>print(pygame.ver)>>>1.9.2pre输入1.9.2pre表示安装成功 阅读全文
posted @ 2015-01-28 15:33 捕蛇者说 阅读(817) 评论(0) 推荐(0)
python 如何放心干净的卸载模块
摘要：windows系统：C:\selenium-2.43.0>python setup.py install --record ./record.txtC:\selenium-2.43.0>FOR /F %f in (record.txt) DO del %flinux系统：$ python setup... 阅读全文
posted @ 2014-10-24 18:10 捕蛇者说 阅读(821) 评论(0) 推荐(0)
scrapy snippet
摘要：1. spider文件from scrapy.contrib.spiders import CrawlSpider, Rulefrom scrapy.contrib.linkextractors.sgml import SgmlLinkExtractorfrom scrapy.selector im... 阅读全文
posted @ 2014-10-01 17:15 捕蛇者说 阅读(284) 评论(0) 推荐(0)
[scrapy] PIL老是出错，换成pillow解决问题
摘要：使用scrapy下载图片的时候，用PIL老是下载不成功出现如下错误：IOError: encoder jpeg not available 据说是安装PIL之前缺少一些相关的包freetype freetype-devel libpng libpng-devel libjpeg libjpeg-de... 阅读全文
posted @ 2014-10-01 17:03 捕蛇者说 阅读(650) 评论(0) 推荐(1)
centos6.5 python2.7.8 安装scrapy总是出错【解决】
摘要：pip install Scrapy 报错：UnicodeDecodeError: 'ascii' codec can't decode byte 0xb4 in positionpython setup.py install 报错：distutils.errors.DistutilsError: ... 阅读全文
posted @ 2014-09-30 14:43 捕蛇者说 阅读(372) 评论(0) 推荐(0)