导航

2026年2月10日

摘要: 来源: 问题如题,爬取一带一路政府官网的时候,遇到了521报错。一查发现是js加密的问题。 该网站反爬原理,用我并不专业的语言描述如下:要求访问两次这个网站,第一次的时候会得到(Cookie和)一个js函数,这个函数执行之后会得到Cookie,第二次访问就利用这个Cookie来进行请求。 但大家也看 阅读全文

posted @ 2026-02-10 15:33 pcwanli 阅读(1) 评论(0) 推荐(0)

2026年1月20日

摘要: 来源:https://cloud.tencent.com/developer/article/1406563 Redis在内存中存储hash类型是以name对应一个字典形式存储的 常用操作 在name对应的hash中获取根据key获取value hget(name,key) 在name 对应的has 阅读全文

posted @ 2026-01-20 15:52 pcwanli 阅读(4) 评论(0) 推荐(0)

2026年1月17日

摘要: 在PHP中使用MongoDB,你可以通过两种主要方式之一进行:使用MongoDB的官方扩展库,或者使用MongoDB的官方客户端库(MongoDB PHP Library)。下面我将分别介绍如何在这两种方式下使用MongoDB的驱动(manager)来连接和操作MongoDB数据库。 使用Mongo 阅读全文

posted @ 2026-01-17 23:33 pcwanli 阅读(5) 评论(0) 推荐(0)

2026年1月14日

摘要: 在Python中使用Redis进行批量写入通常涉及到使用redis-py库的pipeline功能。pipeline允许你在一个单独的网络往返操作中执行多个命令,这对于提高性能非常有帮助,尤其是在需要写入大量数据时。以下是如何使用pipeline进行批量写入的步骤: 安装redis-py 首先,确保你 阅读全文

posted @ 2026-01-14 19:30 pcwanli 阅读(4) 评论(0) 推荐(0)

2026年1月13日

摘要: https://happybase.readthedocs.io/en/latest/installation.html 阅读全文

posted @ 2026-01-13 19:44 pcwanli 阅读(11) 评论(0) 推荐(0)

摘要: 在使用Apache Hadoop的HBase时,happybase 是一个流行的Python库,它提供了与HBase进行交互的接口。如果你想使用happybase进行批量put操作,即一次性向HBase表中插入多行数据,你可以通过Table对象的batch()方法来实现。 下面是如何使用happyb 阅读全文

posted @ 2026-01-13 17:35 pcwanli 阅读(9) 评论(0) 推荐(0)

2026年1月11日

摘要: 来源:https://cloud.tencent.com/developer/article/1806521 1. happybase库简介 happybase是一个针对与Apache HBase数据库进行交互的python接口库。 其官方文档详见:https://happybase.readthe 阅读全文

posted @ 2026-01-11 16:48 pcwanli 阅读(14) 评论(0) 推荐(0)

摘要: 在Apache HBase中,增加列通常指的是向一个已存在的表(Table)添加新的列族(Column Family)或者在该列族中添加新的列(Column)。HBase是基于列存储的NoSQL数据库,其数据模型主要由行键(Row Key)、列族(Column Family)和列限定符(Column 阅读全文

posted @ 2026-01-11 16:41 pcwanli 阅读(10) 评论(0) 推荐(0)

摘要: HappyBase 是一个用于与 Apache HBase 数据库交互的 Python 库,它通过 HBase 的 Thrift 接口提供简单易用的 API,适用于大数据场景下的高效数据操作。‌12 ‌安装与连接:‌ HappyBase 可通过 pip install happybase 命令安装, 阅读全文

posted @ 2026-01-11 14:23 pcwanli 阅读(33) 评论(0) 推荐(0)

2026年1月10日

摘要: 在HBase中,“族”通常指‌列族‌(Column Family),它是表结构的核心组成部分,用于逻辑分组相关的列。‌12 ‌列族是HBase表中列的集合,‌ 在创建表时必须预先定义,且列名均以列族名称作为前缀(例如 courses:math 中的 courses 即为列族)。‌23 列族的设计直接 阅读全文

posted @ 2026-01-10 22:58 pcwanli 阅读(25) 评论(0) 推荐(0)