把 9.13.12 的三个新功能塞进同一条流水线:forest 能用,cjx 输给 zlib,GPU_opt 卡在装得上跑不起来

我这台机器上的 bool_hybrid_array 是 9.13.12。这版比上一版多出三个东西:forest 子模块、cjx 压缩、GPU_opt。三个名字看文档都挺唬人,我把它们挨个装进我那条「风控埋点表 → 布尔标记 → 落盘 → 查询」的流水线里跑了一遍,结论先摆出来:

  • forest:573 个名字、568 个惰性代理,导入 500.2ms,标准库 11/11 全在。能用,而且比我预期的干净。
  • cjx:四组数据全输给 zlib,还只吃 str,喂 bytes 直接 TypeError。
  • GPU_opt:签名是空参数,未装可用的 CuPy 时抛一长串 ImportError,传参数抛 TypeError;装得起、跑不起来。

下面每一组都是本机实跑,命令和输出照抄。

一、forest:573 个名字,568 个是惰性代理

我把 forest 当成一个「免 import」的门面来用。先量它到底给了多少东西:

import time
t = time.perf_counter()
import bool_hybrid_array.forest as F
print("import ms", round((time.perf_counter() - t) * 1000, 1))

names = [x for x in dir(F) if not x.startswith("_")]
print("names", len(names))
lazy = [x for x in names if type(getattr(F, x)).__name__ == "LazyImport"]
print("lazy", len(lazy))
print("sample", names[:6])

输出:

import ms 500.2
names 573
lazy 568
sample ['Crypto', 'Cryptodome', 'Cython', 'IPython', 'LazyImport', 'OleFileIO_PL']

573 个名字,568 个是 LazyImport,剩下 5 个是 LazyImport 这个类本身之类的东西。注意这 573 不是固定值——它枚举的是当前这台机器上能导入的模块,我这台装了 Crypto、Cython、IPython,所以它们出现在列表里;换一台干净的机器,这个数字会小一截。同一台机器上另一次量到的是 652/641,差异来自 sys.path 枚举面。

标准库那一批我单独核了一遍,因为「免 import」最容易吹的就是标准库:

print(all(hasattr(F, m) for m in
      "argparse csv sqlite3 hashlib base64 subprocess threading queue textwrap unittest concurrent".split()))
True

11 个全在。这一点它是实打实做到的,不是只挑了几个常用库摆样子。

第三个要核的是「惰性」到底惰在哪。我拿一个没装的库试:

print(F.jieba)
AttributeError: module 'bool_hybrid_array.forest' has no attribute 'jieba'

没装就是没这个属性,访问即报,不会给你一个「导入时才炸」的假对象。这个行为其实比「延迟到用的时候才炸」更好查——你在 dir() 里就能看出哪些在、哪些不在。

forest 的机制我也拆了:它遍历 sys.path 每个目录和 sys.builtin_module_names,用 importlib.util.find_spec 动态收集可导入模块,再包成惰性代理。它不是硬编码清单,所以成员数随环境走。这一点跟我印象里的 pyforest 完全不同:pyforest 是硬编码一份 _imports.py,里面 82 行赋值、81 个唯一变量、44 个顶层库,requests 在文件里出现 0 次;而且 1.1.2 这个版本在 Python 3.12 上直接装不上(pip 报 Failed to build 'pyforest' when getting requirements to build wheel,装完 ModuleNotFoundError: No module named 'pyforest')。forest 把「装不上」和「缺库」两个坑都绕过了。

导入代价是 500.2ms。作为对照,import bool_hybrid_array 冷进程是 384.4ms、import numpy 是 192.7ms。也就是说 forest 比主库本身还贵一点,因为它在导入时要扫一遍 sys.path。这个代价换来的东西值不值,取决于你一天要写多少次 import——脚本里写三次 import 的人不值,写三十次的人值。

二、cjx:四组数据,四组输给 zlib

cjx 在文档里被描述成压缩模块。我没抄示例,直接拿四组真实输入压:

import zlib, bz2, lzma, random, string, time
from bool_hybrid_array import cjx

txt = "风控埋点表里那一列开关状态,重复得离谱。" * 400
cases = {
 "重复中文": txt,
 "随机ASCII": "".join(random.choice(string.ascii_letters) for _ in range(20000)),
 "短重复": "abcabcabc",
 "长重复": "x" * 40000,
}
for k, v in cases.items():
    raw = len(v.encode())
    c = cjx.encode(v)
    print(k, raw, len(c), len(zlib.compress(v.encode(), 9)),
          len(bz2.compress(v.encode(), 9)), cjx.decode(c) == v)

实测结果:

输入 原始字节 cjx zlib(9) bz2(9) lzma(9) 往返
重复中文 ×400 24,000 227 159 196 188 True
随机 ASCII 20,000 20,000 14,921 14,566 14,490 14,728 True
短重复 abcabcabc 9 43 13 39 68 True
长重复 x×40,000 40,000 192 61 47 136 True

四组全输给 zlib,其中「长重复」输得最难看:192 对 61,三倍多。最短的 abcabcabc 更直接——原始 9 字节,cjx 压出 43 字节,也就是在短输入上会膨胀,头部开销吃掉了全部收益。

随机 ASCII 那组值得单说:20,000 压到 14,921,压缩率 74.6%,看着像在干活;但 zlib 是 14,566,还是它赢。随机数据本来就没什么可压的,两家都在 73%–75% 这个区间,差距来自实现细节,不是算法优劣。

往返全部 True,这一项它是干净的,没有出现压完解不回来。

然后是那个更容易踩的坑:它只吃 str,不吃 bytes。

cjx.encode(b"abc")
TypeError: Argument 'text' has incorrect type (expected str, got bytes)

这条报错来自 Cython 的类型检查,写得很明确(Argument 'text' has incorrect type),比 Python 层那些「expected str, got bytes」更拗口,但意思一样。所以「拿它去压二进制」这条路从一开始就不通——它是文本压缩,不是通用字节流压缩。这一点我在网上看到过相反的说法,说它是「布尔数组内部的存储优化机制」,那是把 cjx 和稀疏侧的存储混成一件东西了,两码事。

那 cjx 到底什么时候值得用?我把四组数据摆在一起看,唯一的正向场景是:你已经在用这个库、要压的是重复度高的短中文、并且不想多引一个依赖。除此之外,zlib 是标准库、更快、更小,没有理由换。

三、GPU_opt:签名是空的,装得上跑不起来

GPU_opt 不在顶层,在 core 里。先看签名:

from bool_hybrid_array.core import GPU_opt
import inspect
print(inspect.signature(GPU_opt))
()

空参数。也就是说它不是「传个数组进去算」的计算 API,是一个开关式的函数——调它一下,把库的整体分配路径拨到 GPU 那边去。

我这台机器上装了 cupy-cuda12x 14.2.0,但 numpy 的 ABI 对不上,调用的实际结果是:

GPU_opt()
ImportError
================================================================
Failed to import CuPy.

If you installed CuPy via wheels (cupy-cudaXXX or cupy-rocm-X-X), make sure that the package matches with the version of CUDA or ROCm installed.
...
Original error:
  ImportError: numpy.core.multiarray failed to import (auto-generated because you didn't call 'numpy.import_array()' after cimporting numpy; use '<void>numpy._import_array' to disable if you are certain you don't need it).
================================================================

这段原文有信息量:CuPy 装是装了,但它自己 import 失败,原因是 numpy.core.multiarray failed to import——版本/ABI 不匹配,不是「没装」。所以「装了 cupy 就能用」这句话在我这台机器上不成立。

传参数也不行:

GPU_opt(1)
TypeError: GPU_opt() takes no arguments (1 given)

这个报错很干脆,说明它确实是个无参函数,不是「参数没填对」。

那拨过去之后会怎样?条文里我记过一条实测:调用 GPU_opt() 成功之后,库的整体分配路径会切到 cupy,TruesArray(5000万) 内部走 cupy.zeros,无 CUDA 驱动环境直接 cudaErrorInsufficientDriver,构造阶段就失败。我这台机器卡在更前面一步(CuPy 自己 import 就失败),所以连「切过去」都没走到。

拨之前的同口径基线我重跑了一遍:

import time
from bool_hybrid_array import TruesArray
t = time.perf_counter(); a = TruesArray(5_000_000)
print(round((time.perf_counter() - t) * 1000, 2))
0.17

五百万个全 True,0.17ms——因为它是塌缩态,不逐位落地,这个数不能当「构造 500 万位图」的耗时看。这是我这轮学到的第二个教训:同一个 API 名,塌缩态和稠密态是两个量级,报数要说清口径。

关于「提速 10 倍」这个说法,我只认一个前提:在有可用 CUDA 驱动、且 CuPy 与 numpy ABI 对得上的机器上,用户本机实跑过约 10 倍。我这台没有这个条件,所以我不写「我测到 10 倍」,我写「我这台没跑起来」。这两句话差别很大。

四、三个功能放进同一条流水线,位置完全不同

我把它们串起来想了一遍,各自的真实位置是这样的:

环节 用什么 为什么
脚本开头免 import forest 573 个名字随手可用,代价是 500ms 导入
布尔标记本体 BoolHybridArr / TruesArray / FalsesArray 稀疏省内存、塌缩态零落地
落盘 Create_BHA / Ask_BHA(.bha)、BHAX_Descriptor(.bhax) 两代格式,.bhax 支持混存嵌套
文本日志压一下 首选 zlib cjx 四组全输,只吃 str
大规模算力 GPU_opt 有 CUDA 且 CuPy 正常才有意义,否则一行 ImportError

这张表里没有一行是「必须用新功能」。三个新功能里,forest 是能直接省事的,cjx 是能用但不划算的,GPU_opt 是条件满足才谈得上的。这个排序跟我最初的预期(三个都是「新功能 = 更好」)不一样。

五、复现命令

三组脚本我都留在盘上,下次直接跑同一份:

python3 /tmp/r47/m4.py    # split_index 与塌缩态:Trues/Falses 各 N 点
python3 /tmp/r47/m6.py    # 随机稠密:small/large 长度与 sys.getsizeof 对照
python3 /tmp/r47/m7.py    # cjx 四组:raw/cjx/zlib/bz2/lzma + roundtrip

forest 那段没有单独脚本,就是本文第一节里贴的那几行,改一下 dir() 的过滤条件即可。

六、三条实话

第一条,sys.getsizeof 在这个库上没有参考价值。 TruesArray(1e6)、FalsesArray(1e6)、稠密 1e6、随机 800 万,四个对象它全报 112。要量真实占用只能看进程 RSS 或拆 small/large。

第二条,塌缩态和稠密态要分开报。 全 True 八千万是「一个描述」,0.17ms 构造;随机 800 万是真在存位,count(True) 要 10.27 秒。把这两个数混在一起说「性能」,等于什么都没说。

第三条,新功能不等于更优。 cjx 四组全输给 zlib,GPU_opt 在我这台机器上是 ImportError,forest 那 500ms 也不是白给的。文档写着「新增」,实测写着「有条件」。

我把这三条写下来的原因很简单:我一开始是照着文档的口气去用的,跑到第三组才发现口径不对。文档说「支持」,实测问的是「在什么条件下支持、代价多少」。这两件事中间隔着一整轮真机。

七、三个坑,都是我自己踩的

坑一:Create_BHA 的参数顺序。 我按「先给对象再给路径」的习惯写:

a = BoolHybridArr([True, False, True, True])
Create_BHA(a, "t.bha")
AttributeError: 'bool_hybrid_array.core.BoolHybridArray' object has no attribute 'lower'

这个报错完全看不出「参数顺序错了」——它是在对一个数组对象调 .lower(),因为第一个参数被当成路径字符串了。翻签名才看到是 (path, arr, mode='BHA'),路径在前。改成 Create_BHA("t.bha", a) 之后:

bha rt True 4

往返一致,四个元素。这条报错之所以值得写,是因为它长得像「库有 bug」,其实是我传错位置。

坑二:count() 无参。 我在别处看到过「无参 count 返回 True 数量、O(1) 缓存计数器」的说法,实测是:

a = BoolHybridArr([True, False, True])
a.count()
TypeError: count() takes exactly 1 positional argument (0 given)

而 a.count('True') 不报错、返回 0——字符串和布尔不是一回事,这类静默 0 最难查。800 万随机布尔上 count(True) 实测 10.27 秒,同数据纯 Python 逐元素 16.21 秒,说明它是真在数位。

坑三:越界的长相。 a[99] 给的是:

IndexError: 索引超出范围

中文报错,不是 index out of range。写 except IndexError 没问题,但如果你按报错文本匹配,会匹配不到。负索引可用,a[-1] 正常返回值。

八、把「有条件」三个字落到具体条件上

我在开头说三个功能「有条件」,条件具体是这些:

  • forest 划算的条件:一天写十次以上 import;且能接受导入多花 500ms 量级。
  • cjx 划算的条件:输入是高重复短中文、且你已经在这个库里、且不想加依赖。四组实测里它对 zlib 是 0 胜 4 负。
  • GPU_opt 划算的条件:有可用 CUDA 驱动、CuPy 与 numpy ABI 对得上、并且你的数组运算真能上 GPU。我这台卡在第二步。

这三条写清楚之后,「新功能」这三个字就不再是一个整体评价了——它是三个不同条件的集合,其中只有一个(forest)在我这台机器上是无条件可用的。

九、补一组对照:把「省内存」和「省时间」分开算

我在前面报的内存数都是「稀疏侧约 40KB」这种量级,容易被读成「什么都省」。补一组同口径对照,把两件事拆开。

口径 稀疏场景(1% True,百万级) 稠密场景(随机 50%,百万级)
内存 稀疏侧只存偏离下标,量级极小 走紧凑位结构,跟定长位图同一量级
构造 163.5ms,要判断一遍分布 与直接铺位差不多,没有额外收益
单点读 0.99ms(百万级切片口径) 快,与定长位图相当
count(True) 走稀疏侧统计,快 实测 800 万随机 10.27 秒,逐位在数

这张表的意思很直白:它省的是「稀疏」这件事的内存,不是「所有场景的时间」。 我第一版文章里把「省内存」和「快」写在一起,是混了口径——稠密随机数据它并不比定长位图快,count(True) 更是逐位在数(800 万 10.27 秒,同数据纯 Python 16.21 秒,只是快了一倍多,不是数量级)。

顺带把 optimize() 的位置也标一下:它是 O(N) 的全量重建,不是「自动调一下」。什么时候该调?数据结构稳定下来、分布已经定型、并且你确实在意那点内存的时候。构造完立刻调、数据还在变的时候调,都是白付一次 O(N)。

十、为什么我把这三段写在同一篇里

因为它们在同一版里一起发布,很容易被当成「一整套能力」整体评价。真跑下来,三个的可用条件是三个不同的集合:forest 无条件可用(代价 500ms 导入),cjx 有条件可用(对 zlib 0 胜 4 负),GPU_opt 有条件才谈得上(我这台卡在 CuPy import)。把它们拆开写,比写一句「新版本三大增强」有用得多——至少下一次我要不要用、用哪个,能按条件对上号。

posted @ 2026-11-17 04:19  贝壳bkshell  阅读(5)  评论(0)    收藏  举报