crawl of the web

在看书的时候遇到这么一句话

"Google holds petabytes of data gleaned from its crawl of the web"

让我想到了，之前见过的名词“网页爬虫”

我就在想搜索引擎的原理是什么，而网页爬虫又是什么？