摘要： 一.mongo安装步骤 架构：共三台机器，node1，node2，node3，mongdb版本为 mongodb-linux-x86_64-enterprise-rhel62-3.4.13.tgz,可以到官网下载： 二.角色分配： node1：shard01，shard01副本1，副本2，confi 阅读全文

摘要： 4.HBASE数据迁移方案： 4.1 Import/Export 4.2 distcp 4.3 CopyTable 4.4 snapshot 快照方式迁移（以USER_info:user_log_info为例） 1.先在源集群建立该表的快照 hbase(main):003:0> snapshot " 阅读全文

摘要： 在Java中，有六个不同的地方可以存储数据： 1.寄存器：最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制. 2. 栈：存放基本类型的变量数据和对象的引用，但对象本身不存放在栈中，而是存放在堆（new 出来的对象）或者常量池中（字符串常量对象存放在常量池中。） 3. 堆：存放所有new 阅读全文

摘要： 上海2月21-24日Cloudera Developer training for Spark and Hadoop(CCA-175)北京2月23-26日Cloudera Developer training for Spark and Hadoop(CCA-175)上海2月27-3月2日Cloud 阅读全文

摘要： 1. 基建工作 1.关闭防火墙 a)service iptables stop b)service ip6tables stop c)chkconfig iptables off d)chkconfig ip6tables off 2.关闭SELinux a)临时关闭SELinux(重启失效)： s 阅读全文

摘要： 一、所需要软件 二、安装过程 1、Ganglia运行平台的安装 2、Ganglia依赖库的安装 3、RRDTool的安装 4、Ganglia的安装 (包括使用yum方式安装) 三、简单配置 四、启动与访问 五、被监控节点上安装Ganglia (包括使用yum方式安装) 六、遇到的问题，及解决办法 流 阅读全文

摘要： 什么是Sentry？ Sentry 是Cloudera 公司发布的一个Hadoop开源组件，它提供细粒度基于角色的安全控制 Sentry下的数据访问和授权 通过引进Sentry，Hadoop目前可在以下方面满足企业和政府用户的RBAC（role-based acess control）需求： 安全授 阅读全文

摘要： 安装和配置Sentry 本文主要记录安装和配置Sentry的过程，关于Sentry的介绍，请参考 Apache Sentry架构介绍 。 1. 环境说明 系统环境： 操作系统：CentOs 6.6 Hadoop版本： CDH5.4 运行用户：root 这里，我参考 使用yum安装CDH Hadoop 阅读全文

摘要： 1 导入导出数据库 1)列出mysql数据库中的所有数据库命令 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 2)连接mysql并列出数据库中的表命令# 阅读全文

摘要： 很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper 阅读全文