摘要:
最近在进行网络爬虫时,被中文的编码问题搞得很头疼,特别是在windows环境下。 1.爬取到的中文网页内容,在解析时出现解析错误 一般情况下,我们都是用urllib中的相关函数,进行web页面的爬取,然后进行相关处理。 但是经常在处理中文web时,对文本内容的处理,经常出现一些编码错误。 为了彻底解 阅读全文
随笔档案-2016年08月
python实现中文图片文字识别--OCR about chinese text--tesseract
2016-08-12 17:27 by 天马行空的coding, 4188 阅读, 收藏,
摘要:
0.我的环境: win7 32bits python 3.5 pycharm 5.0 1.相关库 安装pillow: pip install pillow 安装tesseract: tesseract-ocr-setup-3.02.02.exe 自带了英文语言包,如果需要中文语言包往下找即可。 或者 阅读全文
编程Tips集锦
2016-08-04 08:31 by 天马行空的coding, 307 阅读, 收藏,
摘要:
以下是自己编程的一些小贴士,记录,总结提高自己。 1.python中集合类型的查找,尽量用dict or set类型。 dict和set类型,在python内部的实现都是使用hash映射,查找的时间复杂度是O(1),比任何的查找算法都高效。 当在程序中使用到>1K次的查询,就应该开始考虑使用dict 阅读全文
利用位操作符加速程序的运行
2016-08-03 11:40 by 天马行空的coding, 252 阅读, 收藏,
摘要:
众所周知,位操作是cpu里面最快速的操作之一。但是以前在程序中,一直没有使用,可能是害怕异或是别的什么原因。可是最近在写一个小的爬虫,但是却需要爬取百万级数据,这时候想到了位操作符。 先来2个程序对比一下: 程序1: Begin: 2016-08-03 10:50:13.694231End: 201 阅读全文
浙公网安备 33010602011771号