代码改变世界

随笔分类 -  Java爬虫

Java爬虫

2017-11-22 23:14 by 晨曦曙光, 298 阅读, 收藏,
摘要： 1.网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 2.那么程序获取网页的原理到底是怎么回事呢？看下面的 阅读全文