Masako

摘要： json是javascript衍生的数据表示法,现在许多数据的处理都使用json. 平时用到的与json结构相似的有很多,如mongodb数据库,python的字典等.核心思想就是键值对. json的基本数据结构包括对象和数组,对象用{},里面是键值对,数组用[],可包含多个对象;json在pyth 阅读全文

摘要： 在python中使用pymongo连接mongodb数据库. 基本代码如下: 查询一条数据和简单的分页操作: 阅读全文

摘要： 最近处理一个线程中的函数超时问题. 函数里面有一个地方可能会卡死,我们需要去判断这个是不是卡死了,并做出相应的应对方案. 最开始想的是在函数上增加一个装饰器,使其在超时时抛出异常,然后在其他地方捕获这个异常,并处理. 查询了一些前人的方案,写出的结果有两种. 方案一:使用threading的time 阅读全文

摘要： 写了一个函数，自己按照base64的规则转换一个字符串. 基本没什么算法，无脑迎合ｂａｓｅ６４的规则即可． 自己的用处主要是将网页上的btoa转换的字符串，自己转换一遍，方便爬虫模拟发送数据． 为什么不用python自带的base64模块？ 因为经过自己的测试，发现python的base64模块加密 阅读全文

摘要： 用于测试的html代码: 分析html的结果输出如下: A paragraph with class.test-tableMonth Savings January $100MonthSavingsJanuary$100 由于使用python2,有的网页使用requests直接抓取下来放入pyque 阅读全文

摘要： windows开发，难免遇到很多坑，比一般开发是艰苦得多。先不吐槽windows，我们直接看这个scrapy怎么安装。 首先，要有一份文档，比如我用这个： http://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html。 最好是根据自己的scrapy版本 阅读全文

摘要： 在运行别人的scrapy项目时，使用命令行 scrapy crawl douban（douban是该项目里爬虫的名字，烂大街的小项目 抓取豆瓣电影）。 执行之后，出现报错如下： 上网搜寻无果。 大多数是说路径不对，需要进入到项目工程的路径下，然而，我在项目的路径里。 听从建议使用了“scrapy”命 阅读全文

摘要： HtmlParser，顾名思义，是解析Html的一个工具。python自带的。 一、常用属性和方法介绍 HtmlParser是一个类，在使用时一般继承它然后重载它的方法，来达到解析出需要的数据的目的。 1.常用属性： lasttag，保存上一个解析的标签名，是字符串。 2.常用方法： handle_ 阅读全文

摘要： 一、常见异常及场景举例 1.AssertionError 断言失败，断言是调试中常用（表示自己并不常用┑(￣Д ￣)┍）手段 举例： def foo(s): n = int(s) assert n != 0, 'n is zero!' return 10 / n foo(0) 上面代码就会输出Ass 阅读全文

摘要： 一、解释器声明 1.声明方式 linux #!/usr/bin/python windowns #!c:/python27/python.exe 放在首行 2.作用 告诉电脑，要用/usr/bin下面的程序（工具）python，这个解释器，来解释/运行python脚本。 Windows同理。 二、编 阅读全文