快递吴彦祖

摘要： GitHub突然打不开，其他网页正常。同事的电脑也可以打开，看来肯定是本机出现的问题。作为一名程序员，肯定是不能忍的 第一次 首先想到的是DNS被污染了，确实如此。 打开 C:\Windows\System32\drivers\etc\hosts文件配置如下几行： #github 192.30.25 阅读全文

摘要： https://www.evernote.com/shard/s268/client/snv?noteGuid=8097d451-10ed-442f-a508-8faf4c7be190&noteKey=10a64b8ba436c654a380feac5cefaa79&sn=https%3A%2F%2 阅读全文

摘要： WebMagic webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发 设计原理 编辑 webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA 阅读全文

摘要： 爬虫，Crawler，最早被用于搜索引擎收录页面，例如百度蜘蛛等等。说简单点，原理就是根据一些规则，获取url和页面，再从获取到的页面中继续提取url，一直进行下去。 现在爬虫不仅仅用于搜索引擎抓取页面，也大量用于数据分析、数据挖掘等方面，在大数据的今天，爬虫的作用越来越重要。WEB爬虫的具体作用可 阅读全文

摘要： https://blog.csdn.net/cuixianfei521/article/details/53711892?utm_source=blogxgwz7 阅读全文