摘要： 在VPS上灵活性更大些，新的网址http://blog.ajian1.com/ 阅读全文

摘要： 事情是这样的，为了记录自己的生活，也是出于对视频编辑的兴趣，买了一台 SONY 的 AS100V 运动摄像机。 公司到货，回家路上拍了一段，回家兴冲冲的连上电脑，想看看 GPS 数据，发现是 SONY 的私有各式，于是从网上找相关资料，想转成 Google Earth 的 KML 各式，中文搜，英文搜，找到那天凌晨三点多也没找到。。。 第二天睡醒，仔细看了一下这个文本数据，才发现 SONY ... 阅读全文

摘要： 越写越像官方文档的翻译，偏离了初衷。写一些官方文档里没有的内容吧。 在不限制宽带的环境下，根据页面的大小， Scrapy 一秒能爬取40-70个页面，一天在400万到600万页面。也就是说 Scrapy 应付千万级或者亿级的爬取没有问题。 Scrapy 主要限制是select函数，在其他方面优化完美的情况下，大概有60%-70%的CPU花费在select上，剩下10%花费在框... 阅读全文

摘要： 以下谈论的 scrapy 基于 0.20.2 版本（当前最新版本是 0.22.0 ），python 2.7.6。 开发环境是windows 7 sp1。 互联网上比较有价值的参考资料 1. Scrapy入门教程 对官网文档的翻译，主要讲了 scrapy 的基本使用。创建一个工程，使用 item 和 spider 。我们会简单涉及到官方教程的内容。 2. 使用scrapy进行大规模抓... 阅读全文