papering - 博客园

2024年7月24日

摘要：尽管副本可以提供针对硬件的错误防护, 但是它不能预防人为操作失误: 数据的意外删除, 错误表的删除或者错误集群上表的删除, 以及导致错误数据处理或者数据损坏的软件bug. 在很多案例中，这类意外可能会影响所有的副本. ClickHouse 有内置的保护措施可以预防一些错误 — 例如, 默认情况下阅读全文

posted @ 2024-07-24 20:43 papering 阅读(90) 评论(0) 推荐(0)

用固定大小的内存去重

摘要： approx_count_distinct | StarRocks https://docs.starrocks.io/zh/docs/3.0/sql-reference/sql-functions/aggregate-functions/approx_count_distinct/ 翻译搜索复阅读全文

posted @ 2024-07-24 11:04 papering 阅读(15) 评论(0) 推荐(0)

2024年7月23日

golang python 对比转json格式字符串

摘要：小结： 1、go排序 python 默认不排序，排序需显示指明 jsonString, _ := json.Marshal(v) \Go\src\encoding\json\encode.go // Map values encode as JSON objects. The map's key t 阅读全文

posted @ 2024-07-23 14:36 papering 阅读(19) 评论(0) 推荐(0)

2024年7月22日

后台会定时调度任务来管理分区数量分区生命周期管理

摘要：表达式分区（推荐） | StarRocks https://docs.starrocks.io/zh/docs/table_design/expression_partitioning/ StarRocks 自动创建分区数量上限默认为 4096，由 FE 配置参数 max_automatic_par 阅读全文

posted @ 2024-07-22 20:08 papering 阅读(66) 评论(0) 推荐(0)

聚合表

摘要：聚合表 | StarRocks https://docs.starrocks.io/zh/docs/table_design/table_types/aggregate_table/ 阅读全文

posted @ 2024-07-22 19:59 papering 阅读(19) 评论(0) 推荐(0)

The partition column could not be aggregated column and unique table's partition column must be key column.

摘要： The partition column could not be aggregated column and unique table's partition column must be key column. 主键表 | StarRocks https://docs.starrocks.io/ 阅读全文

posted @ 2024-07-22 18:28 papering 阅读(325) 评论(0) 推荐(0)

2024年7月19日

搜索广告召回

摘要：搜索广告召回技术在美团的实践 https://mp.weixin.qq.com/s/sCMsbMlcUlNHK0IOMQ3HkA 翻译搜索复制阅读全文

posted @ 2024-07-19 17:32 papering 阅读(12) 评论(0) 推荐(0)

多线程和多线程同步

摘要：基本功 | 一文讲清多线程和多线程同步 https://mp.weixin.qq.com/s/a9BUf6N93uOw8JSAxza7cg 翻译搜索复制阅读全文

posted @ 2024-07-19 14:11 papering 阅读(10) 评论(0) 推荐(0)

2024年7月18日

The Art of Graceful Reloading

摘要： The Art of Graceful Reloading — uWSGI 2.0 documentation https://uwsgi-docs.readthedocs.io/en/latest/articles/TheArtOfGracefulReloading.html 翻译搜索复制阅读全文

posted @ 2024-07-18 17:48 papering 阅读(16) 评论(0) 推荐(0)

2024年7月15日

解决DBeaver一段时间不用,连接断开,刷新重连很慢的问题

摘要：解决DBeaver一段时间不用,连接断开,刷新重连很慢的问题 - rmticocean - 博客园 https://www.cnblogs.com/rmticocean/articles/17828378.html 翻译搜索复制阅读全文

posted @ 2024-07-15 17:52 papering 阅读(333) 评论(0) 推荐(0)

2024年7月12日

ensure_ascii False 中文显示非 ASCII 字符转义

摘要：如果 ensure_ascii 是 true （即默认值），输出保证将所有输入的非 ASCII 字符转义。如果 ensure_ascii 是 false，这些字符会原样输出。 If ensure_ascii is true (the default), the output is guarantee 阅读全文

posted @ 2024-07-12 19:12 papering 阅读(208) 评论(0) 推荐(0)

2024年7月11日

变量声明周期内存释放

摘要：变量声明周期内存释放翻译搜索复制阅读全文

posted @ 2024-07-11 10:30 papering 阅读(9) 评论(0) 推荐(0)

2024年7月6日

StarRocks 数据湖查询和迁移实践

摘要： StarRocks 数据湖查询和迁移实践 https://mp.weixin.qq.com/s/7n8787v8oVyn5RHoGwgszQ 翻译搜索复制阅读全文

posted @ 2024-07-06 22:10 papering 阅读(23) 评论(0) 推荐(0)

2024年7月5日

Win10和Win11内存区域划分及动态随机的本质

摘要： Win10和Win11内存区域划分及动态随机的本质 https://mp.weixin.qq.com/s/nhtCUDY3L3RFTeVH1U1xDQ 翻译搜索复制阅读全文

posted @ 2024-07-05 17:22 papering 阅读(31) 评论(0) 推荐(0)

归因分析在去哪儿的应用落地

摘要：归因分析在去哪儿的应用落地 https://mp.weixin.qq.com/s/W57w1yTS7wJ38Cn4szinBQ 翻译搜索复制阅读全文

posted @ 2024-07-05 14:53 papering 阅读(42) 评论(0) 推荐(0)

float('nan')

摘要： numpy判断 import numpy as np nan = float('nan') print(np.isnan(nan)) 翻译搜索复制阅读全文

posted @ 2024-07-05 10:38 papering 阅读(12) 评论(0) 推荐(0)

2024年7月4日

reset revert

摘要： reset revert git/Documentation/howto/revert-a-faulty-merge.txt at master · git/git https://github.com/git/git/blob/master/Documentation/howto/revert-a 阅读全文

posted @ 2024-07-04 10:49 papering 阅读(22) 评论(0) 推荐(0)

2024年7月3日

ck parseDateTimeBestEffortOrZero

摘要： Cannot parse date: value is too short: Cannot parse Date from String: while executing 'FUNCTION toDate toDate(x) --> x=='' toDate(parseDateTimeBestEff 阅读全文

posted @ 2024-07-03 19:03 papering 阅读(58) 评论(0) 推荐(0)

2024年7月1日

Differences Between Trino and StarRocks 向量化 Vectorized Query Engine

摘要： Comparison of the Open Source Query Engines: Trino and StarRocks https://www.starrocks.io/blog/comparison-of-the-open-source-query-engines-trino-and-s 阅读全文

posted @ 2024-07-01 18:42 papering 阅读(31) 评论(0) 推荐(0)

2024年6月28日

Trino 查询引擎资源瓶颈

摘要： Trino 查询引擎资源瓶颈降本 40%+！数数科技打造云原生查询引擎，全面优化数据分析体验 - 数数科技 https://www.thinkingdata.cn/thinking/blog/features/5966.html 技术开源｜TA大数据分析系统的高可用架构从设计到实现 - 数数科技阅读全文

posted @ 2024-06-28 17:07 papering 阅读(35) 评论(0) 推荐(0)

star rock 并发查询

摘要： star rock 并发查询翻译搜索复制阅读全文

posted @ 2024-06-28 15:53 papering 阅读(16) 评论(0) 推荐(0)

2024年6月27日

漏斗函数模式

摘要： https://github.com/StarRocks/starrocks/blob/main/be/src/exprs/agg/window_funnel.h enum FunnelMode : int { DEDUPLICATION = 1, FIXED = 2, DEDUPLICATION_ 阅读全文

posted @ 2024-06-27 16:40 papering 阅读(34) 评论(0) 推荐(0)

2024年6月26日

dict pop 原理

摘要： dict pop 原理翻译搜索复制阅读全文

posted @ 2024-06-26 23:26 papering 阅读(11) 评论(0) 推荐(0)

HyperLogLog

摘要：使用 HyperLogLog 实现近似去重 | StarRocks https://docs.starrocks.io/zh/docs/using_starrocks/Using_HLL/ 翻译搜索复制阅读全文

posted @ 2024-06-26 14:25 papering 阅读(18) 评论(0) 推荐(0)

2024年6月25日

bitmap_to_array not supported size > 1000000

摘要： bitmap_to_array not supported size > 1000000 bitmap_to_string not supported size > 1000000 翻译搜索复制阅读全文

posted @ 2024-06-25 19:58 papering 阅读(20) 评论(0) 推荐(0)

StarRocks 最佳实践 - 📚 StarRocks 最佳实践

摘要： StarRocks 最佳实践 - 📚 StarRocks 最佳实践 - StarRocks中文社区论坛 https://forum.mirrorship.cn/t/topic/11572 翻译搜索复制阅读全文

posted @ 2024-06-25 17:37 papering 阅读(43) 评论(0) 推荐(0)

2024年6月24日

电商转化率淘宝 starrock

摘要： Retail eCommerce Funnel Analysis Demo with 1 million members and 87 million record dataset using StarRocks · StarRocks/starrocks · Discussion #26075 h 阅读全文

posted @ 2024-06-24 23:24 papering 阅读(11) 评论(0) 推荐(0)

2024年6月20日

__del__ __exist__ atexit 退出处理器

摘要： redis/client.py def __exit__(self, exc_type, exc_value, traceback): self.reset()def __del__(self): try: self.reset() except Exception: pass __del__ __ 阅读全文

posted @ 2024-06-20 18:52 papering 阅读(42) 评论(0) 推荐(0)

搜索滑动时间窗口内的事件列表，计算条件匹配的事件链里的最大连续事件数。该函数是一种漏斗函数，是比较常见的转化分析方法，用于分析用户在各阶段行为的转化率。

摘要： window_funnel | StarRocks https://docs.starrocks.io/zh/docs/sql-reference/sql-functions/aggregate-functions/window_funnel/ 翻译搜索复制阅读全文

posted @ 2024-06-20 12:07 papering 阅读(29) 评论(0) 推荐(0)

2024年6月19日

海量数据处理利器 Roaring BitMap 原理介绍

摘要：海量数据处理利器 Roaring BitMap 原理介绍 https://mp.weixin.qq.com/s/aNHXKHNViWchWKcyRxjOIg 翻译搜索复制阅读全文

posted @ 2024-06-19 23:27 papering 阅读(15) 评论(0) 推荐(0)

mysql having where 别名相对位置

摘要：小结： 1) where having 的过滤范围 having group by 、聚合函数 where select 字段 2）别名支持的位置 The alias is used as the expression's column name and can be used in GROUP B 阅读全文

posted @ 2024-06-19 16:50 papering 阅读(39) 评论(0) 推荐(0)

谓词下推

摘要：大表查询结果慢，没有谓词下推多张大表关联时，旧 planner有时没有自动谓词下推，比如：查询常见问题 | StarRocks https://docs.starrocks.io/zh/docs/faq/Sql_faq/#%E5%A4%A7%E8%A1%A8%E6%9F%A5%E8%AF%A2 阅读全文

posted @ 2024-06-19 16:30 papering 阅读(44) 评论(0) 推荐(0)

物化视图同步异步 Synchronous materialized view Asynchronous materialized views

摘要：异步物化视图 | StarRocks https://docs.starrocks.io/zh/docs/using_starrocks/Materialized_view/ 同步物化视图 | StarRocks https://docs.starrocks.io/zh/docs/using_sta 阅读全文

posted @ 2024-06-19 10:26 papering 阅读(37) 评论(0) 推荐(0)

2024年6月18日

现代分布式数据库数据分布方式 Round-Robin、Range、List 和 Hash

摘要：现代分布式数据库中，常见的数据分布方式有如下几种：Round-Robin、Range、List 和 Hash。如下图所示：数据分布 | StarRocks https://docs.starrocks.io/zh/docs/table_design/Data_distribution/ StarR 阅读全文

posted @ 2024-06-18 19:41 papering 阅读(93) 评论(0) 推荐(0)

2024年6月17日

对列表的修改 * 星号

摘要： for j in i:TypeError: 'int' object is not iterable l = []def g(_l: list, i): for j in i: _l.append(j)g(l, 1)g(l, *[2, 3]) 修复： 6. Expressions — Python 阅读全文

posted @ 2024-06-17 12:42 papering 阅读(11) 评论(0) 推荐(0)

2024年6月12日

排行榜系统设计排名算法

摘要：排行榜系统设计-01-6 大排名算法介绍 | Echo Blog https://houbb.github.io/2021/08/02/rank-system-01-overview 翻译搜索复制阅读全文

posted @ 2024-06-12 11:01 papering 阅读(28) 评论(0) 推荐(0)

2024年6月5日

用户分群用户标签 ID集合型数据条件型

摘要：分群 https://manual.sensorsdata.cn/sa/3.0/zh_cn/Segment_Management-143163474.html 规则创建导入创建用户分群 | ThinkingData https://docs.thinkingdata.cn/ta-manual/v 阅读全文

posted @ 2024-06-05 17:16 papering 阅读(130) 评论(0) 推荐(0)

B站基于ClickHouse的海量用户行为分析应用实践

摘要： B站基于ClickHouse的海量用户行为分析应用实践 - 哔哩哔哩 https://www.bilibili.com/read/cv21106590/ B站基于ClickHouse的海量用户行为分析应用实践 https://mp.weixin.qq.com/s/F6VREV99NcXD0lU_RU 阅读全文

posted @ 2024-06-05 17:07 papering 阅读(147) 评论(0) 推荐(0)

RoaringBitMap在B站大数据中的应用

摘要： RoaringBitMap在B站大数据中的应用 https://mp.weixin.qq.com/s/hZsZoaMfEo3G51OLv2keyQ 翻译搜索复制阅读全文

posted @ 2024-06-05 17:06 papering 阅读(15) 评论(0) 推荐(0)

2024年5月30日

Pydantic 参数校验批量提交批量校验

摘要： Standard Library Types - Pydantic https://docs.pydantic.dev/2.7/api/standard_library_types/#typeddict from pydantic import BaseModelfrom typing import 阅读全文

posted @ 2024-05-30 14:23 papering 阅读(37) 评论(0) 推荐(0)