hankewei cnblogs

摘要： 有时服务器会检测http协议版本，有http/1.1和h2，requests发送的是http1.1的请求 # pip install httpx client = httpx.Client(http2=True, headers=headers) client.get(url, headers=he 阅读全文

摘要： 一、hook hook又称钩子. 可以在调用系统函数之前, 先执行我们的函数. 例如, hook eval eval_ = eval; // 先保存系统的eval函数 eval = function(s){ console.log(s); debugger; return eval_(s); } e 阅读全文

摘要： xpath 1、xpath安装与使用 安装 安装lxml库 pip install lxml -i pip源 2、解析流程与使用 解析流程 实例化一个etree的对象，把即将被解析的页面源码加载到该对象 调用该对象的xpath方法结合着不同形式的xpath表达进行标签定位和数据提取 使用 导入lxm 阅读全文

摘要： 分布式爬虫 一. 增量式爬虫 ​ 增量式爬虫, 顾名思义. 可以对网站进行反复抓取. 然后发现新东西了就保存起来. 遇到了以前抓取过的内容就自动过滤掉即可. 其核心思想就两个字. 去重. 并且可以反复去重. 今天运行一下. 明天再运行一下. 将不同的数据过滤出来. 相同的数据去除掉(不保存)即可. 阅读全文

摘要： 来源：漫话编程（ID：mhcoding） 周末，我正在网上搜索简历，准备给团队招聘新人。这时候，女朋友回来了，看起来并不是很高兴。 反向代理（reverse proxy）：是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给inter 阅读全文

摘要： REST全称是Representational State Transfer，中文意思是表述（编者注：通常译为表征性状态转移）。 它首次出现在2000年Roy Fielding的博士论文中。 RESTful是一种定义Web API接口的设计风格，尤其适用于前后端分离的应用模式中。 这种风格的理念认为 阅读全文

摘要： 若你使用过 Shell 中的 awk 工具，会发现用它来分割字符串是非常方便的。特别是多个连续空格会被当做一个处理。 [root@localhost ~]# cat demo.txt hello world [root@localhost ~]# [root@localhost ~]# awk '{ 阅读全文

摘要： NoSQL Mongodb 下载mongodb的版本，两点注意 根据业界规则，偶数为稳定版，如1.6.X，奇数为开发版，如1.7.X 32bit的mongodb最大只能存放2G的数据，64bit就没有限制 性能 BSON格式的编码和解码都是非常快速的。它使用了C风格的数据表现形式，这样在各种语言中都 阅读全文

摘要： Redis简单使用 一. Redis的安装 Redis作为一款目前这个星球上性能最高的非关系型数据库之一. 拥有每秒近十万次的读写能力. 其实力只能用恐怖来形容. mac版本, brew: https://blog.csdn.net/weixin_45509705/article/details/1 阅读全文

摘要： Redis数据库 Redis 简介 Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他 key- value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支 阅读全文