摘要：
# 安装依赖软件yum -y install wget fontconfig # 下载PhantomJSwget -P /tmp/ https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-i686.tar.bz2 # 阅读全文
posted @ 2018-03-07 14:38 呼兰河畔 阅读(1138) 评论(0) 推荐(0) 编辑
摘要：
安装gcc yum install gcc 安装zlib yum -y install zlib* 安装openssl-devel yum install openssl-devel -y 安装Python压缩包 wget https://www.python.org/ftp/python/3.6. 阅读全文
posted @ 2018-03-07 14:37 呼兰河畔 阅读(99) 评论(0) 推荐(0) 编辑
摘要：
1、合并图片打开jtessboxeditor，点击Tools->Merge Tiff ，按住shift键选择前文提到的101个tif文件，并把生成的tif合并到新目录d:\python\lnypcg\new下，命名为langyp.fontyp.exp0.tif。注意：langyp 是本人定义的语言名 阅读全文
posted @ 2018-03-07 14:35 呼兰河畔 阅读(153) 评论(0) 推荐(0) 编辑
摘要：
一、url去重url存到数据库所有url放到set中（一亿条占用9G内存）md5之后放到set中（一亿条占用2，3G的内存）scrapy采用的就是类似方法bitmap方法（url经过hash后映射到bit的每一个位上，存在冲突，一亿url占用约12M）bloomfilter（bitmap改进，多重h 阅读全文
posted @ 2018-03-07 14:33 呼兰河畔 阅读(1150) 评论(0) 推荐(0) 编辑