王彦鸿

一、Storm 框架的特点 Storm定义了一批实时计算的原语。如同hadoop大大简化了并行批量数据处理，storm的这些原语大大简化了并行实时数据处理。storm的一些关键特性如下：1、适用场景广泛 storm可以用来处理消息和更新数据库(消息流处理), 对一个数据量进行持续的查询并返回客户端（持续计算）， 对一个耗资源的查询作实时并行化的处理(分布式方法调用）， storm的这些基础原语可以满足大量的场景。2、可伸缩性高 Storm的可伸缩性可以让storm每秒可以处理的消息量达到很高。为了扩展一个实时计算任务，你所需要做的就是加机器并且提高这个计算任务的并行度设置(paralle... Read More

HBase常用命令如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称'查看表中的记录总数count '表名称'删除记录delete '表名' ,'行名称' , '列名称'删除一张表先要屏蔽该表，才能对该表进行删除，第一步 di Read More

在GitHub上有一个ORM for HBase 的开源应用，下载地址为：https://github.com/wlu-mstr/hbase-ormlite本人对这个框架进行了简单改造，使用方法如下1、定义持久类import java.io.Serializable;import com.orm.hbase.annotation.DatabaseTable;import com.orm.hbase.annotation.DatabaseField;@DatabaseTable(tableName = "Student") //在HBase中对应的表名public class Read More

本文假设Hadoop集群环境已经搭建成功，在此基础上讲解怎样在Eclipse上开发Hadoop程序后，提交到集群中运行，并通过Hadoop管理界面观察任务的执行情况。所使用的Eclipse版本是Spring组织推出的IDE工具 Spring tool suite ，可以到Spring组织的官网上下载。一、配置Eclipse连接到HDFS1、把Hadoop的Eclipse插件工具hadoop-eclipse-plugin-1.0.3.jar放入Eclipse的插件目录下sts-3.2.0.RELEASE\plugins\2、重启Eclipse后，会发现界面上多了一种视图：Map/Reduce3、 Read More

一.语法explain 例如: explain select * from t3 where id=3952602; 二.explain输出解释 +----+-------------+-------+-------+-------------------+---------+---------+-------+------+-------+| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |+----+-------------+-------+-... Read More

机器描述： 192.168.100.1 ： 管理节点 192.168.100.2 ： SQL节点1 192.168.100.3 ： SQL节点2 192.168.100.4 ： 数据节点1 192.168.100.5 ： 数据节点2软件需求：Linux下64位MySQL：mysql-cluster-gpl-7.2.8-linux2.6-x86_64.tar.gz1、安装管理节点：192.168.100.1(1)把mysql-cluster-gpl-7.2.8-linux2.6-x86_64.tar.gz解压到/usr/local/myql下(2)在mysql目录下创建文件夹：mkdi... Read More

机器描述：A机器：10.8.3.240B机器：10.8.3.2491、在两台机器上分别安装MySQL的客户端与服务端 rpm-ivhMySQL-server-5.5.16-1.rhel5.x86_64.rpm rpm-ivhMySQL-client-5.5.16-1.rhel5.x86_64.rpm2、修改配置文件在两台机器把/usr/share/mysql/my-medium.cnf文件拷贝到/etc下，并重命名为my.cnfA机器修改如下： server-id=1 binlog-do-db=test binlog-ignore-db=mysql replicate-do-db=... Read More

1、安装JDK安装64位JDK：jdk-6u45-linux-x64-rpm.bin。进入安装目录后，执行以下命令安装： ./jdk-6u45-linux-x64-rpm.bin在/etc/profile下配置环境变量： #configjava exportJAVA_HOME=/usr/java/jdk1.6.0_45 exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar exportPATH=$JAVA_HOME/bin:$PATH2、安装Python把Python-2.7.5.tgz解压到/usr/Pyt... Read More

1、环境介绍(1)环境要求：三台Linux服务器： 192.168.100.1 mongodb1 192.168.100.2 mongodb2 192.168.100.3 mongodb3(2)软件需求：mongodb-linux-x86_64-2.4.5.tgz2、原理简介(1)架构由三部分进程组成：两组mongod进程（shard和configserver）和一组mongos进程(2)shard可以理解为每一个数据分片，也就是一个大数据量中的一部分分片数据（类似于Hadoop中的datanode，但不局限在一台机器中）。为了提高高可用性，一般在生产系统中每个shard分片都是一个re... Read More

Hive只需要安装在master机器下1、软件需求与环境说明(1)本文档假设已经搭建好Hadoop环境，并能正常运行(2)MySQL安装软件 服务端：MySQL-server-5.5.16-1.rhel5.x86_64.rpm 客户端：MySQL-client-5.5.16-1.rhel5.x86_64.rpm(3)hive安装软件：hive-0.9.0.tar.gz(4)Java连接MySQL驱动软件：mysql-connector-java-5.1.17-bin.jar2、安装MySQL(1)使用rpm-ivhMySQL-server-5.5.16-1.rhel5.x86_64.rpm.. Read More