上一页 1 2 3 4 5 6 ··· 12 下一页
摘要: 文本混淆章节 1. 文本混淆简介 简单而言就是利用前端技术干扰,页面可以正常展示,而使用爬虫下载后无法提取正常的数据。 1.1 常见的干扰方式 字体反爬 2. 字体反爬 2.1 字体反爬简介 ​ 在 CSS3 之前,Web 开发者必须使用用户计算机上已有的字体。目前的技术开发者可以使用@font-f 阅读全文
posted @ 2022-09-07 15:37 尘世风 阅读(581) 评论(2) 推荐(0) 编辑
摘要: RPC 技术 RPC,英文 RangPaCong,中文让爬虫,旨在为爬虫开路,秒杀一切,让爬虫畅通无阻!! 1. JSRPC 简介 ​ RPC 技术是非常复杂的,对于我们搞爬虫、逆向的来说,不需要完全了解,只需要知道这项技术如何在逆向中应用就行了。 RPC 在逆向中,简单来说就是将本地和浏览器,看做 阅读全文
posted @ 2022-09-05 00:24 尘世风 阅读(2563) 评论(0) 推荐(0) 编辑
摘要: COOkIE反爬虫 1 cookie反爬简介 Cookie 反爬虫指的是服务器端通过校验请求头中的 Cookie 值来区分正常用户和爬虫程序的手段,这种手段被广泛应用在 Web 应用中。 1.1 cookie加密原理 2 cookie逆向实践 2.1 逆向目标 地址:http://www.zjmaz 阅读全文
posted @ 2022-09-04 17:24 尘世风 阅读(1019) 评论(0) 推荐(0) 编辑
摘要: 载要 哈希算法是 JavaScript 中和 Python 中的基本实现方法,遇到 JS 加密的时候可以快速还原加密过程,有的网站在加密的过程中可能还经过了其他处理,但是大致的方法是一样的。 消息摘要算法/签名算法:MD5、SHA、HMAC 1. MD5 简介:全称 MD5 消息摘要算法,又称哈希算 阅读全文
posted @ 2022-08-17 15:56 尘世风 阅读(350) 评论(0) 推荐(0) 编辑
摘要: 在了解了 Python 并发编程的多线程和多进程之后,我们来了解一下基于 asyncio 的异步IO编程--协程 协程简介 协程(Coroutine)又称微线程、纤程,协程不是进程或线程,其执行过程类似于 Python 函数调用,Python 的 asyncio 模块实现的异步IO编程框架中,协程是 阅读全文
posted @ 2022-08-05 20:23 尘世风 阅读(1631) 评论(0) 推荐(0) 编辑
摘要: gevent greenlet已经实现了协程,但是这个需要人工切换,是不是觉得太麻烦了,不要捉急,python还有一个比greenlet更强大的并且能够自动切换任务的模块gevent 其原理是当一个greenlet遇到IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如 阅读全文
posted @ 2022-08-05 15:35 尘世风 阅读(114) 评论(0) 推荐(0) 编辑
摘要: greenlet Greenlet是python的一个C扩展,提供可自行调度的协程 当一个greenlet遇到IO操作,如访问网络、文件操作时,就自动切换到其他greenlet,等IO操作完成,再在适当的时间切换回来继续执行 为了更好使用协程来完成多任务,python中的greenlet模块对其封装 阅读全文
posted @ 2022-08-05 15:08 尘世风 阅读(126) 评论(0) 推荐(0) 编辑
摘要: 协程 协程,又称微线程,纤程。英文名Coroutine。 协程是啥 协程是python个中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。 为啥说它是一个执行单元,因为它自带CPU上下文。这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程。 只要这个过程中保 阅读全文
posted @ 2022-08-05 14:56 尘世风 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 一、简介 每个网页,都有一定的特殊结构和层级关系,而且很多节点都有 id 或 class 作为区分,我们可以借助它们的结构和属性来提取信息。 PyQuery 是一个强大的 HTML 解析库,利用它,我们可以直接解析 DOM 节点的结构,并通过 DOM 节点的一些属性快速进行内容提取。 pyquery 阅读全文
posted @ 2022-08-02 14:18 尘世风 阅读(503) 评论(0) 推荐(0) 编辑
摘要: 在python中统一了类与类型的概念: class Foo: def find(self): print("我是定对象的方法") print(Foo) # <class '__main__.Foo'> obj = Foo() print(obj) # <__main__.Foo object at 阅读全文
posted @ 2022-08-02 11:29 尘世风 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 什么是单例模式: 单例模式即一个类有且仅有一个实例 单例模式(Singleton Pattern) 是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中,某个类只能出现一个实例时,单例对象就能派上用场。 比如,某个服务器程序的配置信息存放在一个文件中,客户端 阅读全文
posted @ 2022-07-31 20:52 尘世风 阅读(83) 评论(0) 推荐(0) 编辑
摘要: 1.什么是枚举 在python中枚举是一种类(Enum,IntEnum),存放在enum模块中。枚举类型可以给一组标签赋予一组特定的值。 枚举的特点 枚举的特点: 枚举类中不能存在相同的标签名 枚举是可迭代的 不同的枚举标签可以对应相同的值,但它们都会被视为该值对应第一个标签的别名 如果要限制定义枚 阅读全文
posted @ 2022-07-18 16:38 尘世风 阅读(1058) 评论(0) 推荐(0) 编辑
摘要: 在学习面向对象的时候,我们知道在 python 中有一类特殊的方法,叫做魔法方法,这种方法的特点如下: 方法定义的时候以两个下划线开头和两个下划线结尾:如__init__、__str__和__repr__ 这类方法一般不需要我们手动调用,在满足某个条件的时候会自动调用,这个满足的条件我们可以成为调用 阅读全文
posted @ 2022-07-07 21:01 尘世风 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 什么是反射 发射主要指程序可以访问、检测和修改它本身状态或者行为的一种能力(自省),就是通过字符串的形式导入模块,通过字符串的形式去模块中寻找指定的函数并执行 4个内置函数 getattr(strObject, attr [,default]) 返回指定字符串strObject的属性或方法'attr 阅读全文
posted @ 2022-07-07 19:35 尘世风 阅读(22) 评论(0) 推荐(0) 编辑
摘要: Jstat是JDK自带的一个轻量级小工具。全称“Java Virtual Machine statistics monitoring tool”,它位于java的bin目录下,主要利用JVM内建的指令对Java应用程序的资源和性能进行实时的命令行的监控,包括了对Heap size和垃圾回收状况的监控 阅读全文
posted @ 2021-06-06 23:58 尘世风 阅读(324) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 12 下一页
*/