张飞的猪的技术总结

摘要： 日志引擎系列 这些引擎是为了需要写入许多小数据量（少于一百万行）的表的场景而开发的。 这系列的引擎有： StripeLog Log TinyLog 共同属性 引擎： 数据存储在磁盘上。 写入时将数据追加在文件末尾。 不支持突变操作,也就是更新。 不支持索引。 这意味着 `SELECT` 在范围查询时 阅读全文

摘要： GraphiteMergeTree该引擎用来对Graphite数据(图数据)进行瘦身及汇总。对于想使用ClickHouse来存储Graphite数据的开发者来说可能有用。 如果不需要对Graphite数据做汇总，那么可以使用任意的ClickHouse表引擎；但若需要，那就采用GraphiteMerg 阅读全文

摘要： 导读 AI 不是来替代你的，是来帮助你更好工作。用better prompt使用chatgpt，替换搜索引擎，让你了解如何在工作中利用Prompt高效使用ChatGPT。 01背景 现在 GPT 已经开启了人工智能狂潮，不过是IT圈，还是金融圈。 一开始，我觉的它就是一个增强版搜索引擎，在使用了一段 阅读全文

摘要： > 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。 ## 1、MapReduce优化方法 1）数据输入 （1）合并小文件：在执行mr任务前将小文件进行合并，大量的小文件会产 阅读全文

摘要： > 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"**张飞的猪大数据分享**"吧，公众号会不定时的分享相关的知识和资料。 [TOC] ## 1、为什么会产生 yarn,它解决了什么问题，有什么优势？ 1）Yarn最主要的功能就是解决运 阅读全文

摘要： > 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。 [TOC] ## 1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化? 1）序列化和反序列化 （1）序列 阅读全文

摘要： 目录建表语法使用场景合并算法使用例子、资料分享系列文章clickhouse系列文章 VersionedCollapsingMergeTree引擎继承自MergeTree并将折叠行的逻辑添加到合并数据部分的算法中。VersionedCollapsingMergeTree用于相同的目的折叠树但使用不同的 阅读全文

摘要： > 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。 [TOC] ## 1、 HDFS 中的 block 默认保存几份？ 默认保存3份 ## 2、HDFS 默认 BlockS 阅读全文

摘要： 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。 1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、Hadoop生态圈的组件并做简要描述 Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服 阅读全文

摘要： 目录建表折叠数据算法资料分享系列文章clickhouse系列文章 该引擎继承于MergeTree，并在数据块合并算法中添加了折叠行的逻辑。CollapsingMergeTree会异步的删除（折叠）这些除了特定列Sign有1和-1的值以外，其余所有字段的值都相等的成对的行。没有成对的行会被保留。因此， 阅读全文