07 2018 档案
摘要：关于这个坑逼异常不想再多说了！花了我好多时间来搞这个！不逼逼，上日志看干货 解决办法： 将mycluster改成s201 hbase.rootdirHBase21 hdfs://s201/hbase
阅读全文
摘要：要实现ssh s202 jps查看进程状态，就需要在环境变量目录下面创建软连接：sudo ln s /soft/jdk/bin/jps /usr/local/bin/jps 编写xcall.sh脚本 1.touch xcall.sh //创建脚本文件 2.修改脚本权限,让所有人都能执行：chmod
阅读全文
摘要：1.shell 是批处理程序，类似与windows的bat文件 2.写shell时，第一行要以 ！/bin/bash 开头 Execute the file using the Bash shell. 3.使用 注释（最好备注shell脚本的功能作用以防日后忘记） 4.文件名应以.sh结尾 5.运行
阅读全文
摘要：1.安装centos7 mini。 1.1切换到root用户下面。通过命令：cd /etc/sysconfig/network scripts/，来编辑ifcfg eno,编辑之后的结果如下： 1.2切换到etc目录下面，编辑resolv.co nf,
阅读全文
摘要：1.停掉所有hadoop进程 2删除所有节点的日志和本地数据 $xcall.sh "rm rf /soft/hadoop/logs/ "//这个操作实现删除所有节点的数据 $xcall.sh "rm rf /home/centos/hadoop/ " 3.改换hadoop的符号连接为ha 4.登录每
阅读全文
摘要：hbase hadoop里面有：1）hdfs分布式存储 2）yarn资源调度框架；3）hive数据仓库技术，在线事物分析，延迟性很高，最终用的还是mr技术，但是不再使用mr技术了 4）hbase:建立在hadoop上面的数据库技术，随机定位+实时读写，业务是分布式的，但是最终还是存储在hasoop上
阅读全文
摘要：1.什么是protobuff协议？ Protobuf(Google Protocol Buffers)是google开发的的一套用于数据存储，网络通信时用于协议编解码的工具库.它和XML和Json数据差不多,把数据已某种形式保存起来.Protobuf相对与XML和Json的不同之处，它是一种二进制的
阅读全文
摘要：1.UDF user define function ，用户自定义函数 //current_database(),current_user(); 2.显示所有函数 $hive show functions ; 3.表生成函数 $hive explode(str,exp); //按照exp来切割str
阅读全文
摘要：1.创建视图，视图是个虚表 create view v1 as select a.id aid,a.name,b.id bid,b.orderno from customers a left outer join default.ttt b on a.id=b.cid;//创建视图字段不要重复，如果
阅读全文
摘要：1.聚合处理,在组里面，每个用户购买的订单要大于1 $hive select cid count( ) max(price) from orders group by cid having count( ) 1; 2.使用hive实现wordcount $hive select split(line
阅读全文
摘要：1.OLAP离线计算，在线分析 2.HiveSQL,是类Sql语言 3.hive的表是存放在rdbms中的 4.hive处理的数据就是hdfs,hive在查询的时候通常会转换成mr,但不是所有的查询都会转成mr,比如全字段扫描，全表扫面，不加任何条件，就是全字段的读取，聚合查询需要转成mr 内部表，
阅读全文
摘要：1.创建桶表,用id进行分桶，分3个桶，行结束符用"," $hive create table t6(id int,name string,age int) clustered by (id) into 3 buckets row format delimited fields terminated
阅读全文
摘要：1.启动hiveserver2服务器，监听端口是10000,启动名令：hive service hiveserver2 &;//将其放在后台进行运行，判断启动是否成功的标志是：jps,是否有RunJar进程，或者netstat anop |grep 10000查看10000端口是否连接 ，如果可以连
阅读全文
摘要：1.创建hive数据库 $hive create databses mydb2; //注意在hive中数据库就是目录 $hive show databases ; //显示数据库 $hive use mydb2; $hive create table t(id int,name string,age
阅读全文
摘要：连接数据库的步骤： 注册驱动 (只做一次) Class.forName(“com.mysql.jdbc.Driver”); 推荐这种方式，不会对具体的驱动类产生依赖。 DriverManager.registerDriver(com.mysql.jdbc.Driver); 会造成DriverMana
阅读全文
摘要：一、事务的基本要素（ACID） 1、原子性（Atomicity）：事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体，就像化学中学过的原子，是物质构成的基本单位。 2、一致性
阅读全文
摘要：1、什么是事务 事务是一条或多条数据库操作语句的组合，具备ACID，4个特点。 原子性：要不全部成功，要不全部撤销 隔离性：事务之间相互独立，互不干扰 一致性：数据库正确地改变状态后，数据库的一致性约束没有被破坏 持久性：事务的提交结果，将持久保存在数据库中 2、事务并发会产生什么问题 1）第一类丢
阅读全文
摘要：delimiter // create function sf_add(a int,b int) returns int begin return a+b; end // mysql 显示创建函数的状态 show function status // mysql select sf_add(1,2)
阅读全文
摘要：SQL语句需要先编译然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。 存储过程是可编程的函数，在数据库中创建并保存，可以由SQL语句和控制结构组成。当想要
阅读全文
摘要：一、概念 PreparedStatement是用来执行SQL查询语句的API之一，Java提供了 Statement、PreparedStatement 和 CallableStatement三种方式来执行查询语句，其中 Statement 用于通用查询， PreparedStatement 用于执
阅读全文
摘要：mysql语句中 删除表数据drop、truncate和delete的用法 程度从强到弱 1、drop table tb drop将表格直接删除，没有办法找回 2、truncate (table) tb 删除表中的所有数据，不能与where一起使用 3、delete from tb (where)
阅读全文
摘要：[jdbc写操作] Class.forName("com.mysql.jdbc.Driver"); Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/big","root","root"); ppst
阅读全文
摘要：全排序：将产生的所有part-r-xxx文件合成到一起，仍然是有序的 全排序的方式主要有以下几种方式。 1).设置一个reduce。我们知道在map端发出数据之后，经过中间的shuffle混洗之后就到达了reduce端，在reduce端需要按照key进行聚合，key在聚合过程期间是要进行排序的， 本
阅读全文
摘要：如上图，InputFormat决定文件的输入格式，切片的计算是由输入格式来进行计算的，我们默认使用的输入格式是文本输入格式TextInputFormat，而TextInputForm是继承自FileInputFormat这个抽象类，在FileInputFormat这个类中，有一个getsplites
阅读全文
摘要：HDFS的block是逻辑上的数据块.Hadoop2.0中每一块默认大小128MB,实际存储过程中block大小小于等128MB,它是以文件为存储对象.如一200MB大小文件,分两个数据块128MB+72MB 这里的两个块大实际小分别是128MB和72MB 算法分析: max(minSize, mi
阅读全文
摘要：在网上看了很多该故障的解决方法，接下来介绍两种 1.解决方法是下载https://github.com/srccodes/hadoop-common-2.2.0-bin文件然后将其中的hadoop.dll文件放到hadoop安装路径的bin文件夹下（配置好HADOOP_HOME的环境变量），然后重启
阅读全文
摘要：在开始本博客写作之前请大家看一道经典的java面试题 public class StaticTest{ 对于这个执行结果是不是有些让你大跌眼镜呢？那么现在本菜鸟就来分析分析：对于静态成员变量和静态代码块而言，初始化的顺序是按照出现顺序；当有父类静态代码块或者父类静态成员变量的时候，不管出现顺序如何，
阅读全文
摘要：最近准备面一家新的公司。总结了一下之前的java面试题，具体内容如下，大家共同学习。 class A{ static int id0; //静态成员变量id0; int id1 ; //非静态成员变量id1 //静态代码块 static{ } //构造代码块 { } //静态方法 static vo
阅读全文
摘要：一、简单概述： 一个java程序的执行流程可以简单的分为以下几个步骤：1.编辑源代码 >2.编译阶段，生成.class文件，即源文件有编译器编译成字节码文件 >3.类加载器加载字节码文件 >4.虚拟机加载运行。下面就对这几个阶段进行一个简单的解析。若有错误，欢迎指正！ 二、简单解析： 编辑源代码阶段
阅读全文
摘要：自己学习排序和二次排序的知识整理如下。 1.Hadoop的序列化格式介绍:Writable 2.Hadoop的key排序逻辑 3.全排序 4.如何自定义自己的Writable类型 5.如何实现二次排序 1.Hadoop的序列化格式介绍:Writable 要了解和编写MR实现排序必须要知道的第一个知识
阅读全文
摘要：在执行 hive 命令时，报错信息如下 Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyExceptio
阅读全文