摘要：使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这是静态分区。 Hive动态分区步骤如下： 1、建立某一个源表模拟数据源并插入一些数据 2、建立一张分 阅读全文

摘要：转载：http://lxw1234.com/archives/2015/04/101.htm 环境配置： hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node) hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node) 阅读全文

摘要：Hive只支持insert和delete操作，并不支持update操作，所以无法实施更新hive里的数据，而HBASE正好弥补了这一点，所以在某些场景下需要将hive和hbase整合起来一起使用。 整合步骤： 1、编辑hive-site.xml配置文件， 添加hive.zookeeper.quoru 阅读全文

摘要：今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模 阅读全文