摘要：
1.hadoop是什么？ Hadoop 是Apache基金会下一个开源的大数据分布式计算平台，它以分布式文件系统HDFS和MapReduce算法为核心，为用户提供了系统底层细节透明的分布式基础架构。 2.hadoop主要组成部分 1）hdfs分布式存储文件系统 海量数据存储，大文件被分成默认64M一 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(296)
评论(0)
推荐(0)
摘要：
1.hive执行引擎 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Sp 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(20878)
评论(1)
推荐(0)
摘要：
1.配置 hive1.2.0（前提要配置hadoop2.7.2，前面文档有介绍） 2.配置Mysql 3.mysql 新建 hive 数据库 4.编译hive war(web接口)#下载hive src源码解压切换到 hive/hwi/web 执行 jar cvf hive-hwi-1.2.0.wa 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(200)
评论(0)
推荐(0)
摘要：
hive.support.concurrency true hive.exec.dynamic.partition.mode nonstrict hive.txn.manager org.apache.hadoop.hiv... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(684)
评论(0)
推荐(0)
摘要：
1.多个tomcat 修改3个端口2.oracle-00054：资源正忙 被锁住了建立索引加online参数1：创建索引时会产生的锁2：dml 语句会产生的锁3：索引创建时加上关键字 online时产生的锁select for updatenowaitcommitrollbacksavepoin... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(320)
评论(0)
推荐(0)
摘要：
创建JOBcreate or replace procedure proc_auto_exec_job as begin declare job number; BEGIN dbms_job.submit(job, '过程名;', sysdate, 'trunc... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(321)
评论(0)
推荐(0)
摘要：
1.搭建eclipse+JDK+Maven+SpringMVC+Spring+Mybatis后台架构，详细就不过多阐述了2.下载百度eharts插件：http://echarts.baidu.com/download.html 下载地图JSON3.后台代码架构3.1 entity层核心关键代码p... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(2026)
评论(0)
推荐(0)
摘要：
1.impala是什么Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(1262)
评论(0)
推荐(0)
摘要：
1.sqoop是什么Sqoop是一款开源的数据迁移工具，主要用于Hadoop(Hive)与传统的关系型数据库(mysql...)相互之间的数据迁移。2.sqoop的特点sqoop的底层实现是mapreduce，所以sqoop依赖于hadoop,数据是并行导入的。3.sqoop常用命令sqoop he... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(1670)
评论(0)
推荐(0)
摘要：
ps -ef |grep hello |awk '{print $2}'|xargs kill -9 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(173)
评论(0)
推荐(0)
摘要：
select * from awhere rowid=(select max(rowid) from a) 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(403)
评论(0)
推荐(0)
摘要：
rename table_1 to table_2 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(363)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2017-10-17 23:25
信方
阅读(748)
评论(0)
推荐(0)
摘要：
1.先决条件配置了hadoop、hive等2.官网查看版本信息下载相应的安装包http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/5.10/RPMS/x86_64/3.安装一些依赖包：mysql-connector-java、bigtop-jsc... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(872)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2017-10-17 23:25
信方
阅读(182)
评论(0)
推荐(0)
摘要：
Hbase是什么HBase是一种构建在HDFS之上的分布式、面向列的存储系统，适用于实时读写、随机访问超大规模数据的集群。HBase的特点大：一个表可以有上亿行，上百万列。面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计的非... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(556)
评论(0)
推荐(0)
摘要：
1.RowCounter工具可以查看某张表有多少行,效率非常高2.count命令在数据量大的时候效率非常差执行./hbase org.apache.hadoop.habse.mapreduce.RowCounter test3.WAL（Write Ahead Log）预写日志HLog，发生的更新操... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(189)
评论(0)
推荐(0)
摘要：
1.进入hbase shell 执行./bin/hbase shell2.进入后，help 帮助信息，如可以使用help 'create'3.创建表：create ‘test’,'cf' 表名-列族4.列出所有表：list 5.查看表的结构信息：describe ‘test’6.插入数据：pu... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(2891)
评论(0)
推荐(0)
摘要：
1.Hmaster的Web接口-端口参数：hbase.master.info.port 默认为16010http://hbase_master_server:16010可查看hbase的版本信息，hbase的基本配置信息，hbase在hdfs中的存储路径、zookeeper的节点、集群的负载信息、... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(3241)
评论(0)
推荐(0)
摘要：
1.自动化运维--cloudera manager2.手动运维a.启动./start.all.sh，停止./stop-all.shb.hdfs启动/停止：./start-dfs.sh ./stop-dfs.shc.启动单个：./hadoop-daemon.sh start/stop nameno... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(365)
评论(0)
推荐(0)
摘要：
1.Join优化a.map joinb.reduce join小表为驱动表，或直接将小表加载到内存，做map端join,它的关键字为/*+MAP JOIN(t1)*/如果想自动开启map端Join,可以通过hive.mapjoin.smalltable.filesize（默认为25000000）来定... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(253)
评论(0)
推荐(0)
摘要：
1.HDFS调优a.设置合理的块大小（dfs.block.size）b.将中间结果目录设置为分布在多个磁盘以提升写入速度（mapred.local.dir）c.设置DataNode处理RPC的线程数（默认为3），大集群可适当加大点（dfs.datanode.handler.count）d.设置Nam... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(1679)
评论(0)
推荐(0)
摘要：
1.堆栈大小2.JVM重用3.GC 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(170)
评论(0)
推荐(0)
摘要：
hadoop的运行环境---hadoop/jvm/os/hw原则1：主节点的可靠性要好于从节点：NameNode（Yarn-ResourceManager）、DataNode（NodeManager）可靠性要好于其他节点原则2：多路多核、高频率CPU、大内存的服务器---NameNode的内存决定了... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(172)
评论(0)
推荐(0)
摘要：
1.避免使用swap分区---将hadoop守护进程的数据交换到磁盘的行为可能会导致操作超时：物理内存（交换）--Swap分区2.调整内存分配策略---操作系统内核根据vm.overcommit_memory（0-表示是否可用的内存，1-表示分配所有的物理内存，2-表示分配所有的物理内存和交换空间的... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(250)
评论(0)
推荐(0)
摘要：
Beeline和其他工具有一些不同，执行查询都是正常的SQL输入，但是如果是一些管理的命令，比如进行连接，中断，退出，执行Beeline命令需要带上“！”，不需要终止符。常用命令介绍：1、!connect url –连接不同的Hive2服务器2、!exit –退出shell3、!help –显示全部... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(41198)
评论(0)
推荐(0)
摘要：
1.hive支持四种数据模型• external table ---外部表：Hive中的外部表和表很类似，但是其数据不是放在自己表所属的目录中，而是存放到别处，这样的好处是如果你要删除这个外部表，该外部表所指向的数据是不会被删除的，它只会删除外部表对应的元数据；而如果你要删除表，该表对应的所有数据包... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(2126)
评论(0)
推荐(0)
摘要：
在使用Hive的元数据配置权限之前必须现在hive-site.xml中配置两个参数，配置参数如下： hive.security.authorization.enabled true hive.security.authorization.createtable.owner.grants ALL h... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(2373)
评论(0)
推荐(0)
摘要：
1.Hive是什么？ Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，将类 SQL 语句转换为 MapReduce 任务执行。2.Hive数据结构-HDFS-Table-Partiton-BucketTable：每个表... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(873)
评论(0)
推荐(0)
摘要：
1.计算机管理下用户组下新建用户2.系统属性下远程控制加入用户，设置允许运行任何远程桌面3.运行->gpedit.msc->计算机配置->管理模板->windows 组件->远程桌面服务->远程桌面会话主机->连接->打开限制连接的数量->勾选已启用->修改允许的 RD 最大连接数为1000->应用... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(317)
评论(0)
推荐(0)
摘要：
Hive可以运行保存在文件里面的一条或多条的语句，只要用-f参数，一般情况下，保存这些Hive查询语句的文件通常用.q或者.hql后缀名，但是这不是必须的，你也可以保存你想要的后缀名。假设test文件里面有一下的Hive查询语句：use siat;select * from test limit 1... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(768)
评论(0)
推荐(0)
摘要：
1.Linux2.ORACLE/MySQL/SQLSERVER3.NOSQL4.环境部署、用户及权限管理、表空间、表、视图、索引、过程、触发器、分区、函数、查询、性能调优、迁移备份、集群、日志分析、体系结构、锁、4大特性等5.windows server6.shell 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(226)
评论(0)
推荐(0)
摘要：
配置客户端远程连接（方便可视化工具操作）-不需要在hive服务器上敲命令了1.安装DBeaver工具：https://dbeaver.com/download/2.准备相关驱动文件(服务器上hive/lib下拷贝)3.打开DBeaver，新建连接->Hadoop->Apache hive->Next... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(1059)
评论(0)
推荐(0)
摘要：
1.LINUX JDK环境配置#set java environmentexport JAVA_HOME=/usr/java/jdk1.7.0_79export JRE_HOME=/usr/java/jdk1.7.0_79/jreexport CLASS_PATH=.:$JAVA_HOME/lib/... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(356)
评论(0)
推荐(0)
摘要：
vim /etc/my.cnf ,在[mysqld]下面加上：skip-name-resolvemax_allowed_packet = 800Mdefault-character-set=utf8wait_timeout=31536000interactive_timeout=31536000lo... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(553)
评论(0)
推荐(0)
摘要：
1.修改配置hive-site.xml hadoop core-site.xml限制---参考Hive记录-部署Hive环境2.启动hadoop #sh /usr/app/hadoop/sbin/start-all.sh3.jps查看五大进程是否齐全：NameNode DataNode N... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(2015)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2017-10-17 23:25
信方
阅读(143)
评论(0)
推荐(0)
摘要：
1.登录（浏览器输入ip地址：7180，登录用户名和登录密码即可）2.CM主界面（各个组件，监控图表，绿色代表运行正常、黄色代表运行不良，需要关注根据实际情况调整，红色代表故障，需要排查问题）3.点击左边的HDFS进入HDFS管理主页4.查看HDFS运行实例5.查看配置-服务范围-高级（根据实际情况... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(1577)
评论(0)
推荐(0)
摘要：
1.安装插件安装jdk/ant/libtool/protobuf/maven/zlib-devel/openssl-devel/ncurses-devel、gcc、snappy、bzip#set javaexport JAVA_HOME=/usr/app/jdk1.8.0export JRE_HOM... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(203)
评论(0)
推荐(0)
摘要：
package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(1119)
评论(0)
推荐(0)
摘要：
package com.net.xinfang.reflect;import java.util.Comparator;import java.util.HashSet;import java.util.Iterator;import java.util.Set;import java.util.T... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(6818)
评论(0)
推荐(0)
摘要：
package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.Arrays;import java.util.Collections;import java.util.List;import java.util... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(3906)
评论(0)
推荐(0)
摘要：
package com.net.xinfang.reflect;/*** * 8种基本类型（byte，int,short,long,float,double,char，boolean） * 布尔型只允许取true/false * 内置数据类型/引用数据类型---包装类 * @author xinfa... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(924)
评论(0)
推荐(0)
摘要：
package com.net.xinfang.reflect;import java.io.UnsupportedEncodingException;/** * String不属于8种基本数据类型，String是一个对象。 因为对象的默认值是null，所以String的默认值也是null； * 但... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(471)
评论(0)
推荐(0)
摘要：
package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.Arrays;import java.util.HashSet;import java.util.List;import java.util.Sca... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(503)
评论(0)
推荐(0)
摘要：
package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.HashMap;import java.util.Hashtable;import java.util.Iterator;import java.u... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(1032)
评论(0)
推荐(0)
摘要：
package com.net.xinfang.reflect;import java.io.IOException;import java.util.Scanner;/*** * 运行try块有异常抛出转到catch块，执行完catch后再执行finally块 * 运行try块没有异常抛出，也要... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(607)
评论(0)
推荐(0)
摘要：
$1 环境介绍$1.1 Eclipse Java EE IDE for Web Developers：Neon.2 Release (4.6.2)$1.2 Maven：3.3.9$1.3 Spring：4.0.2$1.4 Mybatis：3.2.6$1.5 MySQL：5.5$1.6 Axis2：1... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(515)
评论(0)
推荐(0)
摘要：
1.安装操作系统，保证联网环境，本文以CentOS 6.8为操作系统（略）2.wget下载安装包(以5.3.3为例)#mkdir /usr/cdh ---新建cm安装目录#cd /usr/cdh ---切换目录#wget 获取下载链接文件到本地服务器#wget http://arch... 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(268)
评论(0)
推荐(0)
摘要：
select *from (SELECTt.s#,---学号 t.c#,---课程号 T.SCCORE, ---成绩 RANK() OVER(PARTITION BY t.c# ORDER BY t.sccore DESC ) AS rk,FROM scc t) mmwhere rk<=1 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(992)
评论(0)
推荐(0)
摘要：
Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(3459)
评论(0)
推荐(0)
摘要：
1.配置tnsnames.ora/listener.ora 2.启动监听 3.启动与停止 #sqlplus / as sysdba SQL>startup SQL>exit startup a.启动实例：包括读取参数文件、分配SGA、启动后台进程 b.装载数据库：将数据库与已启动的实例相联系，装载后 阅读全文
posted @ 2017-10-17 23:25
信方
阅读(181)
评论(0)
推荐(0)
浙公网安备 33010602011771号