bug开发工程师

摘要： 1，上传storm包（node0002） cd /software 上传apache-storm-0.10.0.tar.gz tar xf apache-storm-0.10.0.tar.gz -C /opt/sxt/ 解压 vi + /etc/profile (配置环境变量) export STO 阅读全文

摘要： 一，strom简介 1，Strom特点 进程常驻内存，数据不经过磁盘，在内存中处理，速度非常快，可以达到毫秒（秒）级别 Twitter开源的分布式实时大数据处理框架，最早开源于github 2013年，Storm进入Apache社区进行孵化2014年9月，晋级成为了Apache顶级项目 国内外各大网 阅读全文

摘要： 由于Oracle的优化器是CBO，所以对象的统计数据对执行计划的生成至关重要！ 1，作用 DBMS_STATS.GATHER_TABLE_STATS统计表,列,索引的统计信息（默认参数下是对表进行直方图信息收集，包含该表的自身-表的行数、数据块数、行长等信息；列的分析--列值的重复数、列上的空值、数 阅读全文

摘要： 1，修改配置 node0001: cd /opt/sxt/hbase/conf vi hbase-env.sh (找到最后 export HBASE_MANAGES_ZK=false 并去掉注释 ，用自己搭建的zookeeper集群不用自带的) vi hbase-site.xml (替换所有) <p 阅读全文

摘要： 1，找一台没有zookeeper的机器安装 node0001:cd /software (上传hbase-0.98.12.1-hadoop2-bin.tar.gz 和protobuf-2.5.0.tar.gz) tar -zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz 阅读全文

摘要： 一，存储模型 1，逻辑存储模型 RowKey：Hbase使用Rowkey来唯一的区分某一行的数据。如图中"rk001" 列族：Hbase通过列族划分数据的存储，列族下面可以包含任意多的列，实现灵活的数据存取。Hbase的列族不是越多越好，官方推荐的是列族最好小于或者等于3。我们使用的场景一般是1个列 阅读全文

摘要： 一，表 1，hive内部表（删除表时，元数据与数据都会被删除） CREATE TABLE [IF NOT EXISTS] table_name 2，Hive 外部表（删除外部表只删除metastore的元数据，不删除hdfs中的表数据） CREATE EXTERNAL TABLE [IF NOT E 阅读全文

摘要： node0001:mysql元数据服务 node0002:hive单节点模式 node0003:服务端 node0004:客户端 1，在0003节点搭建hive node0002:scp -r /opt/sxt/hive/ node0003:/opt/sxt/ scp -r /opt/sxt/hiv 阅读全文

摘要： 1，安装mysql node0001: yum install mysql-server (Y) service mysqld start (启动mysql) mysql （进入mysql） show databases; use mysql grant all privileges on *.* 阅读全文

摘要： 1，简介 hive是建立在Hadoop体系架构上的一层SQL抽象，使得数据相关人员是用他们最为熟悉的SQL语言就可以进行海量的数据的处理、分析和统计工作，而不是必须掌 握JAVA等变成语言和具备开发MapReduce程序的能力。Hive SQL实际上是先被SQL解析器进行解析然后被Hive框架解析成 阅读全文