程序员的故乡

摘要： ClickHouse中的各种设置 ClickHouse中的设置有几百个，下面对这些设置做了一个简单的分类。 阅读全文

摘要： OLAP与数据仓库和数据湖 本文阐述了OLAP、数据仓库和数据湖方面的基础知识以及相关论文。同时记录了我如何通过ChatGPT以及类似产品（通义千问、文心一言）来学习知识的。通过这个过程让我对于用AI科技提升学习和工作效率有了实践经验和切身感受。 预热 GPT> 你现在是一位OLAP的专家。 OLA 阅读全文

摘要： mmap访问内存方式 请看下面的Java代码，这段程序是取自1brc竞赛的第一名的代码。 public static void main(String[] args) throws IOException, InterruptedException { ... ... try (var fileCh 阅读全文

摘要： 关于ClickHouse的一些小技巧 设置变量 set param_name='Alex'; select {name:String}; projection的使用 基于projection（投影）的优化需要打开开关optimize_use_projections。ClickHouse里的proje 阅读全文

摘要： static_cast caution It is likely to lead unexpected behavior and maybe dangerous to invoke static_cast on wrong C++ object. Below example demostrates 阅读全文

摘要： “大列”是指单行数据量非常大的列，通常是100KiB以上。这样的列会导致JOIN（通常LEFT JOIN 和 INNER JOIN）出现内存超限的异常。本文讨论如何解决这个问题。 阅读全文

摘要： Setting配置join_algorithm用于指定JOIN算法，它可以设置为多个值，例如join_algorithm='direct,hash,partial_merge'。在选择最终JOIN算法的时候是根据setting配置join_algorithm, 以及JOIN操作的Strictness、Kind和参与JOIN的右表表引擎类型共同决定。 阅读全文

摘要： 即使在ClickHouse中对超大的数据表做JOIN连接运算，我们也可以通过精心选择连接算法和调优相关设置，从而得到非常良好的性能。虽然可以让ClickHouse更加聪明地帮用户做选择，但是目前效果毕竟有限，而且真正高级的性能调优是离不开人的，因为人能掌握更全面的情况，以及实际业务特点和需求。本文可以帮助你理解ClickHouse内部连接的工作方式，从而帮助你做相关的优化。 阅读全文

摘要： 在特定的场景中，特殊定制数据结构能够得到更加好的性能且更节约内存。 阅读全文

摘要： 来自于一篇大神的论文，而且原意没有一句话那么简单。 Premature optimization is the root of all evil Programmers waste enormous amounts of time thinking about, or worrying about, 阅读全文