随笔分类 -  大数据

手摸手带你学ClickHouse
摘要：《手摸手带你学ClickHouse》之安装部署 《手摸手带你学ClickHouse》之访问接口 《手摸手带你学ClickHouse》之导入导出数据 《手摸手带你学ClickHouse》之MergeTree系列表引擎 ClickHouse是俄罗斯第—大搜索引擎Yandex开发的列式储存数据库，这个列式 阅读全文
posted @ 2024-01-03 20:11 你樊不樊 阅读(539) 评论(0) 推荐(0)
hadoop配置文件详解系列
摘要：浏览apache官网,三个配置文件链接如下: http://hadoop.apache.org/docs/r2.6.1/hadoop-project-dist/hadoop-common/core-default.xml http://hadoop.apache.org/docs/r2.6.1/ha 阅读全文
posted @ 2023-03-15 18:06 你樊不樊 阅读(49) 评论(0) 推荐(0)
Kafka Connector Source/ Kafka Connector Sink连接器的开发使用
摘要：一，Kafka 连接器介绍 Kafka 连接器通常用来构建数据管道，一般有两种使用场景： 开始和结束的端点：例如，将 Kafka 中的数据导出到 HBase 数据库，或者把 Oracle 数据库中的数据导入 Kafka 中。 数据传输的中间介质：例如，为了把海量的日志数据存储到 Elasticsea 阅读全文
posted @ 2022-09-06 11:45 你樊不樊 阅读(2602) 评论(0) 推荐(0)
Spark部署文档（黑马程序员资料）
摘要：Spark Local环境部署 下载地址 https://dlcdn.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz 条件 PYTHON 推荐3.8 JDK 1.8 Anaconda On Linux 安装 本次课程的Python 阅读全文
posted @ 2022-08-04 19:51 你樊不樊 阅读(1142) 评论(0) 推荐(0)
HBase数仓传智播客课堂笔记
摘要：HBase第一天 Hadoop和HBase HBase是基于Hadoop集群之上来搭建的 Hadoop有一些局限性的： 做一些批量的数据处理，吞吐量比较高，但是它对随机查询、实时操作性能是不行的 HBase是NoSQL数据库的一种，它跟传统的RDBMS有很大的差别 不支持JOIN的，摒弃了关系型模型 阅读全文
posted @ 2022-07-12 15:45 你樊不樊 阅读(6) 评论(0) 推荐(0)
关于Iceberg数据湖的正确使用方式 转载大佬的博客就不声明了，在此标题处声明，非全原创，感谢！
摘要：实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg 实践数据湖iceberg 第四课 在sqlclient中，以sql方式从k 阅读全文
posted @ 2022-06-20 10:35 你樊不樊 阅读(2818) 评论(0) 推荐(0)
Hadoop分布式存储和计算MapReduce的使用以及Hive数据仓库等内容精讲
摘要：@目录一，zookeeper环境搭建1，下载zookeeper的压缩包，下载网址如下2，解压3，修改配置文件4，添加myid配置5，安装包分发并修改myid的值6，启动zookeeper二，zookeeper的shell客户端操作1，连接zookeeper客户端2，zookeeper常用命令3，zo 阅读全文
posted @ 2020-11-26 20:57 你樊不樊 阅读(24) 评论(0) 推荐(0)