摘要：
解析网页 主要使用到3种方法提取网页中的数据，分别是正则表达式、beautifulsoup和lxml。 使用正则表达式解析网页 正则表达式是对字符串操作的逻辑公式 .代替任意字符 、 *匹配前0个或多个 、 + 匹配前1个或多个 、 ？前0次或1次 、 ^开头 、 $ 结尾 、（）匹配括号里面的表达 阅读全文
posted @ 2022-01-28 16:45
小旺first
阅读(211)
评论(0)
推荐(0)
摘要：
动态抓取的实例 在开始爬虫之前，我们需要了解一下Ajax（异步请求）。它的价值在于在与后台进行少量的数据交换就可以使网页实现异步更新。 如果使用Ajax加载的动态网页抓取，有两种方法： 通过浏览器审查元素解析地址。 通过Selenium模拟浏览器抓取。 解析真实地址抓取 # 请求头 headers 阅读全文
posted @ 2022-01-28 15:09
小旺first
阅读(427)
评论(0)
推荐(0)
摘要：
静态网页抓取 在网站设计中，纯HTML格式的网页通常被称之为静态网页，在网络爬虫中静态网页的数据比较容易抓取，因为说有的数据都呈现在网页的HTML代码中。相对而言使用Ajax动态加载的玩个的数据不一定会出现在HTML代码中，就给爬虫抓取增加了难度。 在静态网页抓取中，有一个强大的requests库能 阅读全文
posted @ 2022-01-28 14:01
小旺first
阅读(429)
评论(0)
推荐(0)
摘要：
python安装 Anaconda的python科学计算环境，只需要想普通软件一样安装就可以把python的环境变量、解释器、开发环境都安装到计算机中 除此之外anaconda还提供众多的科学计算的包，如numpy、scipy、pandas、和matplotlib等，以及机器学习、生物医学和天体物理 阅读全文
posted @ 2022-01-28 11:00
小旺first
阅读(67)
评论(0)
推荐(0)
浙公网安备 33010602011771号