一个网络爬虫的分析
摘要:说明这个爬虫是从outofmemory看到的,只有100行,内容是抓取淘宝商品信息,包括商品名、卖家id、地区、价格等信息,json格式,作者说他曾经抓取到了一千万条信息。出于对这个爬虫能力的感叹,我好奇的对它进行了分析,发现原理是如此的简单,感叹python的强大之余,好也把分析的心得记录一下,引...
阅读全文
posted @
2015-03-20 14:38
hustlijian
阅读(3833)
推荐(0)
Mac OS X 软件推荐
摘要:1. 前言每个操作系统都有自己的一套软件系统,但是不同的用户却会有不同的需求,系统虽会为用户提供一些基础软件,不过为了能无碍的进入自己的学习和工作状态,总有一些软件是必须安装的,同时这些软件也可以为其它人作为参考,固有此文。2. 软件列表2.1 专用软件Xmind官网:https://www.xm...
阅读全文
posted @
2015-03-11 13:53
hustlijian
阅读(835)
推荐(0)
vim中编写python代码使用python-mode和syntastic插件时警告(Warning)的消除
摘要:问题:在Vim使用了syntastic后,编写代码时,可以对代码错误和警告进行相对实时的了解,对编写代码有很大的帮助。同时这个插件和python-mode一起工作时,可以对python代码的编写提供指导的作用(其中有不少对代码规范的提示),不过有的时候一些多余的警告总是让人无所适从,如~/test....
阅读全文
posted @
2015-03-10 12:41
hustlijian
阅读(5358)
推荐(0)