二次蓝的个人博客

摘要： HttpCanary 是一款不错的 Android 手机端抓包软件，相比 Packet Capture 而言视图更加友好，更加方便复制数据，窗口模式抓包，还可以 json 格式化、实现注入拦截等操作。如果无 root 则需要安装平行空间来抓取 SSL/TLS 加密数据包。 目前 Android 11 收紧了 APP 安装 CA 证书的权限，只能用户手动安装。而 HttpCanary 已经很长一段时间没有更新了，导致 Android 11 上面无法正常安装证书抓包。 本文通过简单的逆向分析，解决了证书安装问题，实现了 Android 11 下 HttpCanary 的正常使用。 阅读全文

摘要： 最近想爬取一个网站来练习 scrapy 的使用，结果在获取数据时遇到了问题。明明在浏览器可以使用 xpath 代码定位到指定区域，但是在 Python 里运行起来就是获取不到文本。我甚至一度以为我获取文本的方法不对。这里记录下我的解决过程。 - 虽然可以使用 re 或者 BeautifulSoup 模块，但是我铁了心要使用已有的 xpath （css 选择器内部也是要被转成 xpath，于是就学/使用这个来提高那么一点点效率）来获取数据。 阅读全文