摘要:
json是javascript衍生的数据表示法,现在许多数据的处理都使用json. 平时用到的与json结构相似的有很多,如mongodb数据库,python的字典等.核心思想就是键值对. json的基本数据结构包括对象和数组,对象用{},里面是键值对,数组用[],可包含多个对象;json在pyth 阅读全文
摘要:
在python中使用pymongo连接mongodb数据库. 基本代码如下: 查询一条数据和简单的分页操作: 阅读全文
摘要:
最近处理一个线程中的函数超时问题. 函数里面有一个地方可能会卡死,我们需要去判断这个是不是卡死了,并做出相应的应对方案. 最开始想的是在函数上增加一个装饰器,使其在超时时抛出异常,然后在其他地方捕获这个异常,并处理. 查询了一些前人的方案,写出的结果有两种. 方案一:使用threading的time 阅读全文
摘要:
写了一个函数,自己按照base64的规则转换一个字符串. 基本没什么算法,无脑迎合base64的规则即可. 自己的用处主要是将网页上的btoa转换的字符串,自己转换一遍,方便爬虫模拟发送数据. 为什么不用python自带的base64模块? 因为经过自己的测试,发现python的base64模块加密 阅读全文
摘要:
用于测试的html代码: 分析html的结果输出如下: A paragraph with class.test-tableMonth Savings January $100MonthSavingsJanuary$100 由于使用python2,有的网页使用requests直接抓取下来放入pyque 阅读全文
摘要:
windows开发,难免遇到很多坑,比一般开发是艰苦得多。先不吐槽windows,我们直接看这个scrapy怎么安装。 首先,要有一份文档,比如我用这个: http://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html。 最好是根据自己的scrapy版本 阅读全文
摘要:
在运行别人的scrapy项目时,使用命令行 scrapy crawl douban(douban是该项目里爬虫的名字,烂大街的小项目 抓取豆瓣电影)。 执行之后,出现报错如下: 上网搜寻无果。 大多数是说路径不对,需要进入到项目工程的路径下,然而,我在项目的路径里。 听从建议使用了“scrapy”命 阅读全文
摘要:
HtmlParser,顾名思义,是解析Html的一个工具。python自带的。 一、常用属性和方法介绍 HtmlParser是一个类,在使用时一般继承它然后重载它的方法,来达到解析出需要的数据的目的。 1.常用属性: lasttag,保存上一个解析的标签名,是字符串。 2.常用方法: handle_ 阅读全文
摘要:
一、常见异常及场景举例 1.AssertionError 断言失败,断言是调试中常用(表示自己并不常用┑( ̄Д  ̄)┍)手段 举例: def foo(s): n = int(s) assert n != 0, 'n is zero!' return 10 / n foo(0) 上面代码就会输出Ass 阅读全文
摘要:
一、解释器声明 1.声明方式 linux #!/usr/bin/python windowns #!c:/python27/python.exe 放在首行 2.作用 告诉电脑,要用/usr/bin下面的程序(工具)python,这个解释器,来解释/运行python脚本。 Windows同理。 二、编 阅读全文