摘要： 总体思路 破解字体反爬： 1. 获取字体文件， 2.Unicode解码字体文件，保存为ttf文件， 3.打开ttf文件，查看映射关系创建映射字典（字形与实际字体之间的关系）（或者可以设定自动识别） 4.通过code与name的关系，寻找name与字形之间的关系，得到code（需要做hex）与字形关系 阅读全文

摘要： 系统：ubuntu 16.04 安装： sudo pip3 install mitmproxy 配置： 配置代理： 过检测脚本： import mitmproxy.http t1 = """ // 改写 `languages` Object.defineProperty(navigator, "la 阅读全文

摘要： 1、如何在下载器中间件的process_request中强制修改request的url request._set_url(url) 2.设置代理ip的方式 目前用的比较管用的是： request.meta['http_proxy'] = random.choice(self.proxy_list) 阅读全文

摘要： 铺垫 目标网站：http://www.gsxt.gov.cn/index.html 网站数据包分析：charles抓包 从结果，追根溯源 先看http://www.gsxt.gov.cn/corp-query-search-1.html这个包 从上图中可以看到，这个页面显示的内容是静态的资源，所以我 阅读全文

摘要： 微博登录页面分析 目标网站：https://weibo.com/ 微博密码加密使用的是rsa算法 微博登陆成功总共涉及到三个步骤： 1、向https://login.sina.com.cn/sso/prelogin.php发送请求来获取密码加密所需要的公钥及一系列下次发送请求所需要的参数 2、向ht 阅读全文

摘要： 环境：ubuntu，selenium，谷歌浏览器及对应的chromedriver 手动启动谷歌浏览器：以命令行的方式启动，指定端口 /opt/google/chrome/chrome --remote-debugging-port=9222 检测启动是否成功：在自动开启的谷歌浏览器输入：http:/ 阅读全文

摘要： 首先，安装pyppeteer pip3 install pyppeteer 查看对应的chromium版本： F:\python\python36\Lib\site-packages\pyppeteer\chromium_downloader.py 上图：前提：pyppeteer必须安装好咯 查看对 阅读全文

摘要： 浏览器调试分析 商品列表url分析 打开京东网站，随便输入一个关键字，点开抓包工具（ctrl+F） 看到不是动态加载的是不是有点激动？但是你拿到的并不是全数据，为什么这么说呢，往下看 当滑动滚轮时，出现了新数据 查看请求url及参数 尝试去掉不必要的参数，经过多次的尝试发现，要获取到数据只需要想它发 阅读全文

摘要： docker安装（linux） 操作系统文档 Ubuntu https://docs.docker.com/install/linux/docker-ce/ubuntu Debian https://docs.docker.com/install/linux/docker-ce/debian Cen 阅读全文

摘要： urlencode()的作用 urlencode()是request.GET的一种方法，那他的功能是什么，我们先来测试一下。 这里以一个crm项目的一个功能为例进行测试。 首先，在URL地址中输入想要携带的参数，并发送请求给后台，如下： 后台我们首先看一下request.GET的类型以及调用urle 阅读全文