摘要：
本来打算昨晚发的，结果园子又迁移...... 网络爬虫（Spider或Crawler），顾名思义，就是在互联网上爬行的虫子，那么这只虫子为什么要在网上爬行呢？很简单：收集信息。在互联网时代，谁掌握了信息谁就把握了主动权。曾经我一直觉得做搜索的公司都是慈善家，他们自己花钱为大众服务，真是太高尚了，直到我知道谷歌每年大半的盈利来自广告，我才明白那句名言——互联网上最昂贵的东西就是免费，因为它能让你轻易的接受，却无法舍弃。（我想多数人离开了搜索引擎，将在网络上寸步难行） 好吧，扯多了，我们先看下下图。我们可以很容易的看出，网络爬虫的根本任务就是从互联网抓取数据，存入数据库或本地文件系统以供使... 阅读全文