暗夜小精灵～～

2015年12月11日

摘要： Storm 支持一些在线的实时，批量处理分析的流式计算一般使用都是结合消息队列（数据源）和数据库（）来结合使用，逻辑图：集群物理结构：关于Storm的一些关键词解释：spout：数据源，消息的发送者bolt：处理数据，消息的处理者tuple：定义好的一种数据传输结构workers：最大的进程executor：线程task：线程中的实例... 阅读全文

posted @ 2015-12-11 19:25 暗夜小精灵～～阅读(411) 评论(0) 推荐(0)

2015年12月9日

storm安装及启动

摘要： 1、安装一个zookeeper集群2、上传storm的安装包，解压3、修改配置文件storm.yaml#所使用的zookeeper集群主机storm.zookeeper.servers: - "weekend05" - "weekend06" - "weekend07"#nimbus所在的主机名nimbus.host: "weekend05"supervisor.slots... 阅读全文

posted @ 2015-12-09 18:41 暗夜小精灵～～阅读(257) 评论(0) 推荐(0)

HBase API 的使用（一）

摘要： package cn.itcast.bigdata.hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescripto... 阅读全文

posted @ 2015-12-09 16:24 暗夜小精灵～～阅读(282) 评论(0) 推荐(0)

HBase API 的使用（二）

摘要： package cn.itcast.bigdata.hbase;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apach... 阅读全文

posted @ 2015-12-09 16:24 暗夜小精灵～～阅读(311) 评论(0) 推荐(0)

hbase集群搭建

摘要：在hadoop03建立master，。456建立regionservers1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_55 /... 阅读全文

posted @ 2015-12-09 14:42 暗夜小精灵～～阅读(152) 评论(0) 推荐(0)

hive安装

摘要：理解：hive：查询，管理，数据库仓库工具版本：0.12，支持hadoop2.x以上将sql语句翻译成mapreduce的语句并管理一些元数据Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户）配置HIVE_HOME环境变量 rpm -qa | grep m... 阅读全文

posted @ 2015-12-09 14:40 暗夜小精灵～～阅读(178) 评论(0) 推荐(0)

hive的常用语法

摘要： hive的常用语法：建表，导入数据包括：内表，外表，分区表，追加数据insert overwrite table tab_ip like..partitioned by 分区，分区是作为一个字段可以直接查询shell方式：hive -S -e 'select * from wk110 t_order';set hive.cli.print.header=true;CREATE TABLE page... 阅读全文

posted @ 2015-12-09 14:40 暗夜小精灵～～阅读(326) 评论(0) 推荐(0)

hbase 的shell用法

摘要：进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsanput 'u... 阅读全文

posted @ 2015-12-09 14:40 暗夜小精灵～～阅读(236) 评论(0) 推荐(0)

2015年12月7日

mysql---linux篇

摘要：转载一篇写的很好的centos下安装mysql：原文地址：http://www.cnblogs.com/xiaoluo501395377/archive/2013/04/07/3003278.html 如果要在Linux上做j2ee开发，首先得搭建好j2ee的开发环境，包括了jdk、tomcat、eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--Ce... 阅读全文

posted @ 2015-12-07 22:01 暗夜小精灵～～阅读(202) 评论(0) 推荐(0)

2015年12月4日

流量汇总（自定义jar包，在hadoop集群上统计，排序，分组）之统计

摘要：小知识点：half：关机yarn端口：8088删除hdfs目录：hadoop fs -rm -r /wc/outputnamenode两个状态都是standby原因：zookeeper没有比hdfs先启动现在来做一个流量统计的例子：首先数据是这样一张表：见附件统计：（代码）1，flowbean：package cn.itcast.hadoop.mr.flowsum;import java.io.D... 阅读全文

posted @ 2015-12-04 11:18 暗夜小精灵～～阅读(438) 评论(0) 推荐(0)

小小5呀

公告