2026年10月
正本清源：BoolHybridArr 到底是"位图"还是"异常下标表"？它从一开始就是两段
摘要： 最近 bool-hybrid-array 的存储结构冒出两种各执一词、但都很笃定的说法： 一种（扒了 uint8 之后）说：它省内存本质就是一张位图，8 个布尔压一个字节，贴着 ⌈N/8⌉ 跑，"稀疏切换"只是边角料； 另一种（在万分之一命中的稀疏数据上受益）说：它本质是一张异常值下标表 array 阅读全文
posted @ 2026-10-24 23:19 贝壳bkshell 阅读(3) 评论(0) 推荐(0)
2026年8月
Python数据结构：2亿用户订阅状态标记，list爆内存numpy定长灾难，bool-hybrid-array混合存储方案
摘要： 部分情节为虚构演绎，仅供参考 说实话，我做的是一个消息推送系统。平台有2亿注册用户，每个用户对每个话题都有订阅状态：订阅了是True、没订阅是False。推送服务要在毫秒级判断「这个用户订阅了这个话题没」，还要支持用户随时订阅、退订、新注册用户追加。说白了，订阅状态就是海量的布尔标记——2亿用户乘以 阅读全文
posted @ 2026-08-29 12:32 贝壳bkshell 阅读(6) 评论(0) 推荐(0)
从「失效」到「失孝」：亿级缓存失效标记差点把数据库整成不孝子
摘要： 部分情节为虚构演绎，仅供参考 说实话，我所在的团队做的是一个高并发系统的缓存层。系统里有上亿个缓存key，每个key都有失效标记：缓存有效是False、已失效是True、正在回源是另一个True、预热中又是一个True。说白了，缓存失效标记本质上就是海量的布尔标记，上亿个key乘以多个状态位，就是几 阅读全文
posted @ 2026-08-20 14:48 贝壳bkshell 阅读(8) 评论(0) 推荐(0)
从「分组」到「崩组」：亿级用户A/B测试分群标记差点把实验平台整崩
摘要： 部分情节为虚构演绎，仅供参考 说实话，我们团队做的是一个 A/B 测试实验平台。产品经理想验证一个新功能好不好用，最常规的操作就是把用户随机分成两组：对照组看旧版，实验组看新版，然后对比核心指标。平台上同时跑着几十个实验，每个实验要给上亿用户打分组标记——这个用户在实验 A 里是对照组还是实验组、有 阅读全文
posted @ 2026-08-19 18:12 贝壳bkshell 阅读(8) 评论(0) 推荐(0)
pickle序列化10亿布尔数组内存炸了？Python从parquet到混合布尔数组的踩坑实录
摘要： 「部分情节为虚构演绎，仅供参考」 做机器学习特征工程的都知道，布尔特征（bool feature）是数据管道里最常见也最烦人的东西。用户是否点击过、是否购买过、是否在7天内活跃过、是否看过某个广告……每个特征就是一个巨大的布尔数组。训练时算一遍，推理时还要用，所以我们会把特征序列化存盘做缓存，下次直 阅读全文
posted @ 2026-08-19 18:12 贝壳bkshell 阅读(20) 评论(0) 推荐(0)
从「收录」到「收崩」：亿级网页索引标记差点把爬虫集群整崩
摘要： 部分情节为虚构演绎，仅供参考 说实话，我们团队维护着一个站内搜索引擎，爬虫集群每天要抓取上亿个网页。每个网页在抓取流水线里要打一堆布尔标记：有没有被抓取过、有没有被索引、内容有没有更新、有没有被 robots 协议禁止、是不是死链、需不需要重新抓取。这些标记本质上就是一堆 True 和 False。 阅读全文
posted @ 2026-08-19 18:11 贝壳bkshell 阅读(12) 评论(0) 推荐(0)
从「加速」到「加崩」：Cython手写布尔数组扩展差点把我整破防
摘要： 「部分情节为虚构演绎，仅供参考」 说实话，我们团队做的是高频量化交易系统，核心链路里有一个环节需要维护海量的布尔信号：这只股票是否触发买入条件、那个合约是否满足风控阈值、某个标的是否在观察列表里。每天上亿条行情数据进来，每个标的都要打上几十个布尔标记，然后实时扫描、批量回测。听着挺简单对吧？不就是一 阅读全文
posted @ 2026-08-19 18:11 贝壳bkshell 阅读(11) 评论(0) 推荐(0)
布隆过滤器误判坑了我三次？Python用混合布尔数组做精确去重层的踩坑实录
摘要： 「部分情节为虚构演绎，仅供参考」 做后端的都知道布隆过滤器（Bloom Filter）是个好东西。缓存穿透？布隆过滤器挡一层。URL去重？布隆过滤器先过一遍。海量数据判重？布隆过滤器500MB能判10亿条。 from pybloom_live import BloomFilter bf = Bloo 阅读全文
posted @ 2026-08-19 18:11 贝壳bkshell 阅读(13) 评论(0) 推荐(0)
从「曝光」到「爆光」：推荐系统上亿曝光标记差点把内存撑爆
摘要： 「部分情节为虚构演绎，仅供参考」 说实话，我们团队做的是电商推荐系统，核心链路里有一个环节叫「曝光去重」——说白了，就是记录每个用户已经看过哪些商品，避免同一件商品反复出现在用户面前。每天上亿次曝光请求，每个用户对应几十万商品池，每个商品都要打一个布尔标记：这个商品用户看过没有？听着挺简单对吧？不就 阅读全文
posted @ 2026-08-19 18:11 贝壳bkshell 阅读(11) 评论(0) 推荐(0)
10亿用户权限标记内存炸了？Python从位运算到混合布尔数组的踩坑实录
摘要： 「部分情节为虚构演绎，仅供参考」 做后端的同行都知道，权限系统里最经典的设计就是位掩码（bitmask）。每个权限占一个bit：第0位是读、第1位是写、第2位是删除、第3位是管理员……一个32位整数就能存32个权限。Linux文件权限就是这么干的（rwx = 111 = 7）。 READ = 1 < 阅读全文
posted @ 2026-08-19 18:10 贝壳bkshell 阅读(14) 评论(0) 推荐(0)
下一页