爬虫是个好东西

爬虫是个好东西,一直都是。

只是,“好”的定义却在发生着变化。

 

(以下纯属个人意见,不喜勿喷)

爬虫的简单定义,就是使用程序自动从网站中获取信息。

获取信息做什么?这就因人而异了。

有人用来做搜索引擎,一般情况下是造福人类。

有人用来做数据分析,有时候是兴趣、有时候是手段。

有人用来做DDOS,一般情况下是满怀恶意的。

 

从技术上看,爬虫仅仅是个工具。技术无罪,不存在善恶之分,善恶仅存人心。

若人心不古,则。。我也不知道会发生啥。

 

但对爬虫来说,则慢慢的出现了反对的声音。

有robots协议,用道德进行防御,一般没啥用。

有iptables,用ip去拒绝,一般有用,但容易误伤。

有cookie、js、css、captcha,各显神通,拉开了爬虫的梯队。

 

 

 

posted @ 2019-05-19 12:58 Mr.Dolphin 阅读(...) 评论(...) 编辑 收藏