[置顶] HBase0.98 + Hadoop2.6 Fully Distributed 完全分布式环境搭建
摘要： 1、Distributed Cluster Demo ArchitectureIn reality, you need a fully-distributed configuration to fully test HBase and to use it in real-world scenario... 阅读全文
posted @ 2015-02-10 18:49 JackyKen 阅读(857) 评论(2) 推荐(0)
[置顶] Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
摘要： 准备工作：1、笔记本4G内存 ，操作系统WIN72、工具VMware Workstation3、虚拟机：CentOS6.4共五台4、搭建好Hadoop集群( 方便Spark可从HDSF上读取文件，进行实验测试)实验环境：Hadoop HA集群：Iphostnamerole192.168.249.13... 阅读全文
posted @ 2015-01-15 10:47 JackyKen 阅读(1368) 评论(3) 推荐(4)
[置顶] Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次.
摘要： 准备工作：1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选择高级，新生成虚机Mac地址（克隆虚拟机，Mac地址不会改变，每次最后手动重新生成）... 阅读全文
posted @ 2015-01-07 17:17 JackyKen 阅读(5032) 评论(15) 推荐(3)
2015年9月18日
大数据和新技术的关系是它必须基于特定的业务场景才有意义
摘要： 大数据和新技术的关系是它必须基于特定的业务场景才有意义 阅读全文
posted @ 2015-09-18 15:24 JackyKen 阅读(252) 评论(0) 推荐(0)
2015年9月9日
Linux系统作为客户端时的一些代理设置
摘要： Linux系统（此文中使用的是CentOS6.4）主机作为客户端，在一个具有网路代理的网路环境中，访问网络时有如下几个地方需做客户端代理配置：1、图形界面下设置网络代理2、系统中的环境变量设置网络代理3、使用YUM时的代理设置4、应用程序本身的代理设置1、图形界面下的网络代理系统安装图形界面后，在S... 阅读全文
posted @ 2015-09-09 10:37 JackyKen 阅读(2882) 评论(0) 推荐(0)
2015年8月11日
Hashmap实现原理
摘要： 0.参考文献：hash算法 (hashmap 实现原理)Java实现的散列表1.HashMap的数据结构 数组的特点是：寻址容易，插入和删除困难；而链表的特点是：寻址困难，插入和删除容易。那么我们能不能综合两者的特性，做出一种寻址容易，插入删除也容易的数据结构？答案是肯定的，这就是我们要提起的哈希... 阅读全文
posted @ 2015-08-11 09:12 JackyKen 阅读(186) 评论(0) 推荐(0)
2015年6月24日
CDH 集群环境Master节点IP变更
摘要： 因为集群中的节点服务器都是通过DHCP自动分配IP，原则上重启了IP也不会变更，因为在启动的时候已经为Mac地址固定分配了一个IP地址，除非Mac地址变更。巧合的是，昨天早上扫地大妈把某Master的节点服务器因为擦桌子而把网线给扯掉了，等我发现该节点连接不上的时候，重新插上网线之后结果Ip变了... 阅读全文
posted @ 2015-06-24 11:55 JackyKen 阅读(2925) 评论(0) 推荐(0)
2015年6月22日
ETL架构师面试题（这篇文章太棒了）
摘要： Analysis1. What is a logical data mapping and what does it mean to the ETL team?什么是逻辑数据映射？它对ETL项目组的作用是什么？答：逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库... 阅读全文
posted @ 2015-06-22 19:20 JackyKen 阅读(2454) 评论(0) 推荐(0)
关于维度表结构设置中的 surrogate key 的使用
摘要： 维度表中的主键通常有两种选择：自然键（Natural Key），它是业务系统中已经存在的，通常是具有一定业务含义的一个字符型的标志符，可以唯一地标志维度表中的每一条记录。比如机构的代码、缩写、时间标签等。另一种是代理键（Surrogate Key），通常是数据库系统赋予的一个数值，是自增型的，按... 阅读全文
posted @ 2015-06-22 18:55 JackyKen 阅读(938) 评论(0) 推荐(0)
为什么要维度建模
摘要： 凡是建设数据仓库，一定会提到维度建模方法。这一方法是Kimball最先提出的，其最简单的描述就是，按照事实表、维度表来构建数据仓库、数据集市。在维度建模方法体系中，维度是描述事实的角度，如日期、商品、地址等，事实是要度量的指标，如用户数、销售额等。按照一般书籍的介绍，维度建模还会分为星型模型、雪花模... 阅读全文
posted @ 2015-06-22 18:27 JackyKen 阅读(2622) 评论(1) 推荐(0)
Ralph Kimball
摘要： Ralph Kimball是数据仓库和商务智能领域的权威专家。作为一名最早的数据仓库架构师，他长期以来一直坚信数据仓库的设计必须遵循易于理解和快速反应的准则。他创立的维度建模方法论（或Kimball方法论）已经成为决策支持领域的金科玉律。相较于数据仓库的其他领先架构（Bill Inmon的架构），K... 阅读全文
posted @ 2015-06-22 18:15 JackyKen 阅读(966) 评论(0) 推荐(0)
大数据环境下的数据仓库建设（转）
摘要： 这几天研究了一家美国的大数据公司1010data，它在产品白皮书中提出了新一代数据仓库的概念（NEXT-GENERATION DATA DISCOVERY），相对于第一代数据仓库，具有如下一些特征：l用户可以针对任何问题进行分析和查询，也就是说，分析系统要提供更加友好的操作体验，更加明细的数据粒度；... 阅读全文
posted @ 2015-06-22 18:11 JackyKen 阅读(1677) 评论(0) 推荐(0)
2015年6月18日
oracle 体系结构详解
摘要： Oracle体系结构就是围绕这张图展开的，要想深入了解oracle，就必须把这张图搞明白。如图：一、基本组成：Oracle server：一般情况下是一个instance和一个database组成 1个instance只能对应一个数据库。 特殊：1个数据库可以有多个instance（rac） 一台服... 阅读全文
posted @ 2015-06-18 10:30 JackyKen 阅读(376) 评论(0) 推荐(0)
下一页