上一页 1 ··· 5 6 7 8 9 10 11 下一页
摘要: 验证码识别 基于线上的打码平台识别验证码 打码平台有: 1,超级鹰(推荐)http://www.chaojiying.com/ 2,云打码 打码兔等 超级鹰的使用: 1,注册登录购买账户积分 2,创建一个软件ID 创建好后就会生成一个id信息 3,选择超级鹰开发文档 选择对应的语言 点击下载 封装好 阅读全文
posted @ 2020-08-24 14:11 gemoumou 阅读(284) 评论(0) 推荐(0)
摘要: 爬虫代理概述 在爬虫中,所谓的代理指的就是代理服务器 代理服务器的作用就是用来转发请求和响应 如果我们的爬虫在短时间内对服务器发起高频的请求,那么服务器会检测到这样的一个异常行为请求,就会将该请求对应设备的ip进行封禁,设备就无法对服务器再次进行请求发送了 使用代理服务器进行信息爬取,可以很好的解决 阅读全文
posted @ 2020-08-24 10:56 gemoumou 阅读(140) 评论(0) 推荐(0)
摘要: Xpaht数据解析 XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 因此,对 XPath 的理解是很多高级 X 阅读全文
posted @ 2020-08-23 13:41 gemoumou 阅读(201) 评论(0) 推荐(0)
摘要: reques模块的基础使用方法 chrome浏览器使用方法了解新建隐身窗口的目的,了解chrome中network的使用 1,新建隐身窗口(无痕窗口) 浏览器中直接打开网站,会自动带上之前网站保存的cookie,但是在爬虫中首次获取页面是没有携带cookie的 使用无痕窗口,首次打开网站,不会带上c 阅读全文
posted @ 2020-08-20 13:27 gemoumou 阅读(600) 评论(0) 推荐(0)
摘要: 什么是requests模块 官方文档:https://requests.readthedocs.io/en/master/ requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求。功能强大,用法简洁高效。在爬虫领域中占据着半壁江山的地位。 为什么要使用req 阅读全文
posted @ 2020-08-19 20:22 gemoumou 阅读(239) 评论(0) 推荐(0)
摘要: 什么是爬虫 我们首先需要知道什么是爬虫。爬虫,即网络爬虫,大家可以理解为在网络上爬行的一只蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛,如果它遇到自己的猎物(所需要的资源),那么它就会将其抓取下来。比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就 阅读全文
posted @ 2020-08-19 18:46 gemoumou 阅读(193) 评论(0) 推荐(0)
摘要: 迭代器 1)可迭代对象包含迭代器。 2)如果一个对象拥有__iter__方法,其是可迭代对象;如果一个对象拥有next方法,其是迭代器。 3)定义可迭代对象,必须实现__iter__方法;定义迭代器,必须实现__iter__和next方法。 可迭代的对象,在python中内部含有 ’ _ _iter 阅读全文
posted @ 2020-08-18 22:25 gemoumou 阅读(97) 评论(0) 推荐(0)
摘要: # %s format name = "gpc" age = 18 msg = "我叫%s,今年%s岁" % (name,age) print(msg) # 我叫gpc,今年18岁 msg1 = "我叫{},今年{}岁".format(name,age) print(msg1) #我叫gpc,今年1 阅读全文
posted @ 2020-08-18 20:23 gemoumou 阅读(141) 评论(0) 推荐(0)
摘要: a = 10 b = 20 a = b # = 赋值把b的值赋值给a所以a就是20 print (a+50) #70 print (a) # 20 # -*- coding: utf-8 -*- def func(): print(666) func() #666 #1,函数名指向的是函数的内存地址 阅读全文
posted @ 2020-08-18 18:17 gemoumou 阅读(128) 评论(0) 推荐(0)
摘要: 什么是数据分析:- 数据分析是用适当的方法对... 阅读全文
posted @ 2020-08-17 22:56 gemoumou 阅读(180) 评论(0) 推荐(0)
上一页 1 ··· 5 6 7 8 9 10 11 下一页