2018年11月1日
爬虫基础
摘要： 一、什么是爬虫？ 爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。 二、爬虫的流程 三、预备知识 1、http协议 HTTP请求由三部分组成，分别是：请求行，消息报头，请求正文。 HTTP响应也是由三个部分组成，分别是：状态行，消息报头，相应正文。 2.robots.txt协议 阅读全文
posted @ 2018-11-01 22:11 Murray穆 阅读(223) 评论(0) 推荐(0)