爬虫工具对比

人事来了一个需求，需要爬取特定网站的一些数据，看着需求很简单，爬取的信息根据我的判断：1，不需要登录网站；2，最多几百个网站；。不过老板说了，以后说不定会有扩展其它需求。总之先选工具吧，工具呢我也不熟，都是百度来的人家想法，存粹记录一下，东西多了时间久了，脑袋就不够记啊。

借用人家介绍：https://blog.csdn.net/asd529735325/article/details/80360661，爬虫思路

 

 

首先，http://www.360doc.com/content/15/1024/20/1345766_508089377.shtml 这个文章说的对：

而我的是80%第二种

 

1，成品软件不考虑，介绍网页（http://www.pc6.com/pc/pachong/   ，https://blog.csdn.net/qq_35994328/article/details/53287968，）；

2，java的爬虫工具不考虑，一看我就是懒；

python

1，https://www.cnblogs.com/mottled/p/7994150.html，哈哈哈，我的习惯又来了，复制黏贴

2， https://www.imooc.com/article/44716，

3，https://oidiotlin.com/beautifulsoup-vs-scrapy/    ，大家都说的很有道理啊，怎么选择呢，就怕把自己坑了，

 

 

（别人写的经验教程：https://www.cnblogs.com/zhaof/p/7406482.html，https://cuiqingcai.com/2599.html）

（爬取基本过程）https://blog.csdn.net/chen801090/article/details/95483284