Edmond辉仔

摘要： JS逆向02：重现JS代码、各种加密逻辑 一、JS逆向方案二：重现JS # 重现JS代码 根据JS代码的逻辑，用python代码，一步步 将JS代码逻辑还原 改换成我们自己的代码，实现JS代码同样的功能 # 缺点： 在加解密上，仅限于通用的加密、解密，可以使用python重现逻辑 但若是网站自定义一 阅读全文

摘要： JS逆向01：浏览器工具、抓包工具、PyExeJs模块、扣JS代码 # 逆向的关键点： 加密 或解密 的入口 一、浏览器工具 1.1 显示请求协议 # protocal n.协议 # http协议的版本： http/1.1 、h2 # 大多数网站是两者协议兼容，极少数的网站 会检测http协议的版本 阅读全文

摘要： JavaScript04：拓展进阶 一. jsonp # 0 前提：浏览器同源策略 限制跨域 浏览器的同源策略，浏览器的基本安全策略 不允许去不同的url地址获取数据，即域名、端口、协议必须相同 # 请求访问实质是可以的，只是返回的数据被浏览器拦截，不接受而已 # 1 访问服务器的目的 1.加载图片 阅读全文

摘要： JavaScript03：jQuery与Ajax jQuery是一个曾经火遍大江南北的一个Javascript的第三方库，现在前端使用很少了，但依旧有很多网站是用这个写的，只需要读得懂 jQuery的理念: write less do more. 其含义就是让前端程序员从繁琐的js代码中解脱出来. 阅读全文

摘要： JavaScript02: 高级进阶 一. 变量声明 1.1 变量提升 // 以下代码，或多或少会有些问题的 function fn(){ console.log(name); var name = '大马猴'; } fn() // 问题: name变量先使用，再定义 这么写代码，在其他语言里. 绝 阅读全文

摘要： JavaScript01: 基础入门 JavaScript 是一门能够运行在浏览器上的脚本语言，简称JS。 首先，Javascript这个名字的由来就很有意思，不少人认为 Javascript 和 Java 貌似很像，容易想象成Java的脚本 但其实两者之间没有任何关系，纯粹是商业碰瓷。 既然JS是 阅读全文

摘要： 一 抓取需求 # 抓取需求 start_url = 'http://ks.wangxiao.cn/' 抓取 首页 各分类下 > 各种考试 > 考点练习里 各科目的 练习题 eg： 工程类 > 一级建造师 > 建设工程经济 >章节 # 存储需求: 文件存储 题目中可能包含图片 md格式比较合适 按照分 阅读全文

摘要： Scarpy05--增量式爬虫、分布式爬虫 一. 增量式爬虫 顾名思义：可以对网站进行反复抓取，然后发现新东西了就保存起来，遇到了以前抓取过的内容就自动过滤掉即可 其核心思想：去重，并且可以反复去重。随时运行一下，将不同的数据保存出来，相同的数据去除掉(不保存)即可 增量爬虫的核心：去除重复 去除u 阅读全文

摘要： Scrapy04--CrawlSpider、链接提取器、源码模板文件 案例：汽车之家，全站抓取二手车的信息 来区分Spider 和 CrawlSpider 注意：汽车之家的访问频率 要控制一下， 要不然会跳验证 settings.py 中设置 DOWNLOAD_DELAY = 3 一、常规Spide 阅读全文

摘要： Scrapy03--分页、处理cookie与中间件 一、分页(多页)抓取思路 ### 不涉及scrapy，所有网站分页的抓取思路 ### 1.正常的 普通分页 分页表现: 上一页 1,2,3,4,5,6 下一页 # 情况1: 页面源代码中 有分页的url 解决方案: 1.访问第一页 > 提取下一页的 阅读全文