摘要:
03 数据解析 引入 回顾requests模块实现数据爬取的流程 指定url 发起请求 获取响应数据 持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求,我们都会指定去使用聚焦爬虫,也就是爬取页面中指定部分的数据值,而不是整个页面的数 阅读全文
posted @ 2020-04-08 17:41
hanfe1
阅读(1445)
评论(0)
推荐(1)
摘要:
02 requests模块 requests模块初始 引入 在python实现的网络爬虫中,用于网络请求发送的模块有两种,第一种为urllib模块,第二种为requests模块。urllib模块是一种比较古老的模块,在使用的过程中较为繁琐和不便。当requests模块出现后,就快速的代替了urlli 阅读全文
posted @ 2020-04-08 17:39
hanfe1
阅读(1403)
评论(0)
推荐(0)
摘要:
01 爬虫简介 what is 爬虫? \ 形象概念: 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它。 \ 学术概念:爬虫就是通过编写程序 模拟 浏览器上网,让其去 阅读全文
posted @ 2020-04-08 17:38
hanfe1
阅读(1144)
评论(0)
推荐(0)