摘要：[TOC] 由于某些原因最近终于可以从工作的琐事中抽出身来，有时间把之前的一些爬虫知识进行了一个简单的梳理，也从中体会到阶段性地对过往知识进行梳理是真的很有必要。 常用第三方库 对于爬虫初学者，建议在了解爬虫原理以后，在不使用任何爬虫框架的情况下，使用这些常用的第三方库自己实现一个简单的爬虫，这样会 阅读全文

摘要：开篇不打算写太多技术细节，只想来阐述一下计划写该系列博客的初衷。 公司有一项业务是做政策收集及发布的，说白了就是人工查看哪些政府网站有新的政策发布了，就复制粘贴，修改下格式发布到我们的网站上，这算是一个政策信息的聚合平台吧。但是这种方式确实是费时费力，搞得这方面的人手一直紧张。后来leader一看一 阅读全文

摘要：在开始之前先要吐槽一下CSDN，昨晚怀着激动得心情写下了我人生中的第一篇博文，今天审核通过后发现所有的图片都不见了，瞬间就不开心了。所以不得不又申请了博客园的账号，重新开始。 前段时间一直研究通用爬虫，做的过程中也是各种问题，不过好在磕磕绊绊搞出点眉目，中间学到了不少东西，感觉互联网真的好神奇。 但 阅读全文