随笔分类 -  大数据

摘要：文件存储格式 从Hive官网得知，Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如 TextFile（文本格式），RCFile（行列式文件），SequenceFile（二进制序列化文件），AVRO，ORC（优化的行列式文件）和Parquet 格式，而这其中我们目前使 阅读全文

摘要：Hive数仓构建及数据倾斜 #数据倾斜 1 “英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。” 01 — 数据仓库 1.1、什么是数据仓库 数据 阅读全文

摘要：# zk启动 bin/zookeeper-server-start.sh -daemon config/zookeeper.properties # kafka启动 bin/kafka-server-start.sh config/server.properties # 创建topic bin/ka 阅读全文

摘要：Zookeeper是一个分布式协调服务器，就是为用户的分布式应用程序提供协调服务。 功能 描述 create 在本地目录树中创建一个节点 delete 删除一个节点 exists 测试本地是否存在目标节点 get/set data 从目标节点上读取 / 写数据 get/set ACL 获取 / 设置 阅读全文