摘要：前言 仅仅伪装网页agent是不够的，你还需要一点新东西 今天主要讲解两个比较知名的国内免费IP代理网站：西刺代理&快代理，我们主要的目标是爬取其免费的高匿代理，这些IP有两大特点： 免费，不稳定 （至于为什么要爬不稳定的免费的代理，你心里难道没点B+树么，高富帅谁 过来学爬虫，还爬代理，人家直接买 阅读全文

摘要：总览 今天我们就来小用一下Jsoup，从一个整体的角度来看一看爬虫 一个基本的爬虫框架包括： [x] 解析网页 [x] 失败重试 [x] 抓取内容保存至本地 [x] 多线程抓取 分模块讲解 将上述基本框架的模块按逻辑顺序讲解，一步一步复现代码实现过程 失败重试 一个好的模块必然有异常捕捉和处理 在之 阅读全文

摘要：认识Jsoup 一个解析网页的工具 无论你用什么语言爬虫，都要解析网页，今天，我们用一款常用的网页解析Jsoup，来开启爬虫的第一课 认识网页，认识爬虫，认识你自己 快速上手 了解一个新东西最快的方法就是频繁的使用和练习，让我们从最基础的地方开始 解析一个HTML字符串 输出如图： 解析一个body 阅读全文

摘要：前传 传闻在一个叫做互联网的神奇世界里，有一群神秘的人，每到夜深人静，黑夜笼罩大地的时刻，他们才揭开神秘的面纱，显露出各种各样的神奇能力，他们有的会搬砖，有的会造轮子，当然最厉害的还是一种叫做拷贝的术法... 据说这个神秘的团体流派众多Java派，PHP派，C++派，等等等等，不过奇怪的是，不论他们 阅读全文