2015年9月18日

HBase with MapReduce （Only Read）

摘要：最近在学习HBase，在看到了如何使用Mapreduce来操作Hbase，下面将几种情况介绍一下，具体的都可以参照官网上的文档说明。官网文档连接：http://hbase.apache.org/book.html 。通过学习我个人的对MapReduce操作HBase的方式可以看作的是Map过程是负责... 阅读全文

posted @ 2015-09-18 17:48 ljy2013 阅读(376) 评论(0) 推荐(0)

2015年9月9日

Hbase中的BloomFilter（布隆过滤器）

摘要：（1） Bloomfilter在hbase中的作用 Hbase利用bloomfilter来提高随机读（get）的性能，对于顺序读（scan）而言，设置Bloomfilter是没有作用的（0.92版本以后，如果设置了bloomfilter为rowcol，对于执行了qualifier的scan有　... 阅读全文

posted @ 2015-09-09 14:35 ljy2013 阅读(5160) 评论(0) 推荐(0)

HBase的快照技术

摘要：（1）什么是快照快照就是一份元信息的合集，允许管理员恢复到表的先前状态，快照不是表的复制而是一个文件名称列表，因而不会复制数据。完全快照恢复是指恢复到之前的表结构以及当时的数据快照之后发生的数据不会恢复。（2）快照的作用 Hbase中存在的备份或克隆表的方法就是使用复制/导... 阅读全文

posted @ 2015-09-09 11:10 ljy2013 阅读(2330) 评论(0) 推荐(0)

2015年9月8日

How To Use Hbase Bulk Loading

摘要：最近在学习hbase，学到利用如何将数据导入到hbase中，采用的方式是批量导入：bulk load的方法，中间出现了一些问题，下面将执行的步骤记录一下，以供日后查阅：说明：导入的方式是将csv文件的内容导入到hbase中。1、首先是将csv文件上传到hdfs上。 hadoop fs -put s... 阅读全文

posted @ 2015-09-08 16:24 ljy2013 阅读(556) 评论(0) 推荐(0)

2015年8月31日

Cloudera-Manager修改集群的IP

摘要： 1、业务需求说明：由于公司网络进行了整改，随之而来的就是对应的ip网段发生了变化，其中我的hadoop的集群各主机的ip也相应的发生了改变，因此需要对各主机进行修改ip。2、具体操作：首先停止cdh各组件的服务，修改各主机的ip。修改完后，本以为完事儿了，启动Cloudera Managemen... 阅读全文

posted @ 2015-08-31 18:35 ljy2013 阅读(2619) 评论(0) 推荐(0)

2015年8月25日

Java中的HashSet和TreeSet

摘要： 1:Set集合(理解) (1)Set集合的特点无序,唯一 (2)HashSet集合(掌握) A:底层数据结构是哈希表(是一个元素为链表的数组) B:哈希表底层依赖两个方法：hashCode()和equals() 执行顺序：首先比较哈希值是否相同相同：继续执行equals(... 阅读全文

posted @ 2015-08-25 20:01 ljy2013 阅读(2455) 评论(1) 推荐(2)

Java中的泛型

摘要： 1:泛型(掌握) (1)泛型概述是一种把明确类型的工作推迟到创建对象或者调用方法的时候才去明确的特殊的类型。 (2)格式：注意：该数据类型只能是引用类型。 (3)好处： A:把运行时期的问题提前到了编译期间 B:避免了强制类型转换 ... 阅读全文

posted @ 2015-08-25 10:57 ljy2013 阅读(293) 评论(0) 推荐(0)

java中Collection类及其子类

摘要： 1:对象数组(掌握) (1)数组既可以存储基本数据类型，也可以存储引用类型。它存储引用类型的时候的数组就叫对象数组。2:集合(Collection)(掌握) (1)集合的由来? 我们学习的是Java -- 面向对象 -- 操作很多对象 -- 存储 -- 容器(数组和StringBuffer... 阅读全文

posted @ 2015-08-25 10:53 ljy2013 阅读(4729) 评论(0) 推荐(0)

Java中正则表达式及其常用类Math、Calendar、Date、BigDecimal、BigInterger、System、Rondom的使用

摘要： 1:正则表达式(理解) (1)就是符合一定规则的字符串 (2)常见规则 A:字符 x 字符 x。举例：'a'表示字符a \\ 反斜线字符。 \n 新行（换行）符 ('\u000A') \r 回车符 ('\u000D') B:字符类 [abc] a、b 或 c（简单类）... 阅读全文

posted @ 2015-08-25 10:47 ljy2013 阅读(963) 评论(0) 推荐(0)

Java中Stringbuffer、Arrays、Interger、Character类的特性

摘要： 1:StringBuffer(掌握) (1)用字符串做拼接，比较耗时并且也耗内存，而这种拼接操作又是比较常见的，为了解决这个问题，Java就提供了一个字符串缓冲区类。StringBuffer供我们使用。 (2)StringBuffer的构造方法 A:StringBuffer() B:St... 阅读全文

posted @ 2015-08-25 10:45 ljy2013 阅读(370) 评论(0) 推荐(0)

Oracle数据库高效sql语句的整理

摘要：业务需求说明：由于之前公司后台APP端有一个document表，该表中包含了所有的信息，新的需求就是通过该表创建出一个新的用户表（usertable）和一个档案表（document，该表只保留原document的部分字段）。ps：原document表的数据有25万条的数据，因此在处理的时候，需要考虑... 阅读全文

posted @ 2015-08-25 10:34 ljy2013 阅读(380) 评论(0) 推荐(0)

2015年8月14日

Win7下通过eclipse远程连接CDH集群来执行相应的程序以及错误说明

摘要：最近尝试这用用eclipse连接CDH的集群，由于之前尝试过很多次都没连上，有一次发现Cloudera Manager是将连接的端口修改了，所以才导致连接不上CDH的集群，之前Apache hadoop采用的端口是9000和9001，而Cloudera Manager采用的端口是8020端口，于... 阅读全文

posted @ 2015-08-14 15:23 ljy2013 阅读(1992) 评论(0) 推荐(1)

Java中的Scanner类和String类

摘要： 1:Scanner的使用(了解) (1)在JDK5以后出现的用于键盘录入数据的类。 (2)构造方法： A:讲解了System.in这个东西。它其实是标准的输入流,对应于键盘录入 B:构造方法 InputStream is = System.in; Scanner(InputStre... 阅读全文

posted @ 2015-08-14 11:16 ljy2013 阅读(1713) 评论(0) 推荐(0)

2015年8月12日

java的eclipse操作和常用类Object的使用

摘要： 1、eclipse的快捷键：（1）alt + / 内容辅助。如：main+alt + / 会出现完整的main方法。 syso+alt+ / 会输出。如编写某个方法时，只需写入方法名 + alt+/ 就会自动生成相应的方法。（2）ctrl+shift+f 代码格式化（3）ctrl+... 阅读全文

posted @ 2015-08-12 15:37 ljy2013 阅读(1262) 评论(0) 推荐(0)

2015年8月11日

如何利用Cloudera Manager来手动安装parcel包

摘要： 1、问题的描述：当你利用Cloudera Manager部署了CDH的集群后，也许随着你的业务需求，你需要对你的就去哪做一些优化，或者扩展之类的，这个时候你可能需要下载安装一些组件。例如，我最近在阅读Cloudera 官方文档的是，看到有一节的内容说到Performance Management... 阅读全文

posted @ 2015-08-11 16:45 ljy2013 阅读(5353) 评论(0) 推荐(0)

2015年8月10日

java.io.IOException: Too many open files

摘要： 1、描述：每日一样，例行打开hadoop集群的cloudera manager的管理界面。发现出现了多个bad health的服务。那么出现的这个问题就是查看该服务运行的日志，对应的该服务当中，会包含相应的角色，其中，查看日志的时候可以看每一个角色的运行日志。通过查看日志，发现HBase出现了j... 阅读全文

posted @ 2015-08-10 10:58 ljy2013 阅读(2295) 评论(0) 推荐(0)

2015年8月5日

java中的包以及内部类的介绍

摘要： 1:形式参数和返回值的问题(理解) (1)形式参数：类名：需要该类的对象抽象类名：需要该类的子类对象接口名：需要该接口的实现类对象 (2)返回值类型：类名：返回的是该类的对象抽象类名：返回的是该类的子类对象接口名：返回的是该接口的实现类的对象 (3)链式编程对象.方法1(... 阅读全文

posted @ 2015-08-05 21:03 ljy2013 阅读(673) 评论(0) 推荐(0)

HDFS中的checkpoint（检查点）的问题

摘要： 1、问题的描述由于某种原因，需要在原来已经部署了Cloudera CDH集群上重新部署，重新部署之后，启动集群，由于Cloudera Manager 会默认设置dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分别是1个小时和100... 阅读全文

posted @ 2015-08-05 18:39 ljy2013 阅读(12282) 评论(0) 推荐(0)

HDFS中Java的API使用测试

摘要： import java.io.IOException;import java.util.Arrays;import java.util.Date;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import o... 阅读全文

posted @ 2015-08-05 12:05 ljy2013 阅读(625) 评论(0) 推荐(0)

2015年8月4日

利用ClouderaManager启动HBase时，出现 master.TableNamespaceManager: Namespace table not found. Creating...

摘要： 1、错误描述：出现上述这个错误的原因是我之前已经安装了Cloudera Manager中的CDH，其中添加了所有的服务，当然也包含HBase。然后重新安装的时候，就会出现如下错误： Failed to become active master，org.apache.hadoop.hbase.T... 阅读全文

posted @ 2015-08-04 14:27 ljy2013 阅读(3151) 评论(1) 推荐(0)

2015年7月29日

MapReducer程序调试技巧

摘要：写过程序分布式代码的人都知道，分布式的程序是比较难以调试的，但是也不是不可以调试，对于Hadoop分布式集群来说，在其上面运行的是mapreduce程序，因此，有时候写好了mapreduce程序之后，执行结果发现跟自己想要的结果不一样，但是有没有报错，此时就很难发现问题，查找问题的方法之一就是对... 阅读全文

posted @ 2015-07-29 15:17 ljy2013 阅读(4266) 评论(0) 推荐(0)

2015年7月28日

Java中多态、抽象类和接口

摘要： 1:final关键字(掌握) (1)是最终的意思，可以修饰类，方法，变量。 (2)特点： A:它修饰的类，不能被继承。 B:它修饰的方法，不能被重写。 C:它修饰的变量，是一个常量。 (3)面试相关： A:局部变量 a:基本类型值不能发生改变 b:引用类型地址值不能发生改变，但是... 阅读全文

posted @ 2015-07-28 15:33 ljy2013 阅读(411) 评论(0) 推荐(0)

Java中文档制作与继承

摘要： 1:如何制作帮助文档(了解) (1)写一个类 (2)加入文档注释 (3)通过javadoc工具生成即可 javadoc -d 目录 -author -version ArrayTool.java2:通过JDK提供的API学习了Math类(掌握) (1)API(Application Program... 阅读全文

posted @ 2015-07-28 15:29 ljy2013 阅读(280) 评论(0) 推荐(0)

Java中面向对象的详解

摘要： 1:成员变量和局部变量的区别(理解) (1)在类中的位置不同成员变量：类中方法外局部变量：方法定义中或者方法声明上 (2)在内存中的位置不同成员变量：在堆中局部变量：在栈中 (3)生命周期不同成员变量：随着对象的创建而存在，随着对象的消失而消失局部变量：随着方法的调用而存在，... 阅读全文

posted @ 2015-07-28 15:24 ljy2013 阅读(260) 评论(0) 推荐(0)

Java中二维数组与面向对象

摘要： 1:二维数组(理解) (1)元素是一维数组的数组。 (2)格式： A:数据类型[][] 数组名 = new 数据类型[m][n]; B:数据类型[][] 数组名 = new 数据类型[m][]; C:数据类型[][] 数组名 = new 数据类型[][]{{...},{...},{...}};... 阅读全文

posted @ 2015-07-28 15:18 ljy2013 阅读(505) 评论(0) 推荐(0)

Java中方法与数组

摘要： 1:方法(掌握) (1)方法：就是完成特定功能的代码块。注意：在很多语言里面有函数的定义，而在Java中，函数被称为方法。 (2)格式：修饰符返回值类型方法名(参数类型参数名1,参数类型参数名2...) { 方法体语句; ... 阅读全文

posted @ 2015-07-28 15:07 ljy2013 阅读(275) 评论(0) 推荐(0)

Java选择结构、循环结构

摘要： 1:switch语句(掌握) (1)格式： switch(表达式) { case 值1: 语句体1; break; case 值2: 语句体2; ... 阅读全文

posted @ 2015-07-28 15:01 ljy2013 阅读(976) 评论(0) 推荐(0)

Java运算符及顺序、选择结构

摘要： 1:运算符(掌握) (1)算术运算符 A:+,-,*,/,%,++,-- B:+的用法 a:加法 b:正号 c:字符串连接符 C:/和%的区别数据做除法操作的时候... 阅读全文

posted @ 2015-07-28 14:58 ljy2013 阅读(463) 评论(0) 推荐(0)

Java基础语法

摘要： 1:关键字(掌握) (1)被Java语言赋予特定含义的单词 (2)特点：全部小写。 (3)注意事项： A:goto和const作为保留字存在。 B:类似于Notepad++这样的高级记事本会对关键字有特殊颜色标记2:标识符(掌握) (1)就是给... 阅读全文

posted @ 2015-07-28 14:43 ljy2013 阅读(238) 评论(0) 推荐(0)

2015年7月24日

CDH上执行WordCount的意外和收获

摘要：前面将Cloudera Manager安装到集群上的一台主机后，并通过Cloudera manager安装了hadoop-2.6.0-CDH5.4.4。今日来测试安装的集群是否很够很好的执行mapreduce任务。测试的方法就是测试WordCount的例子。1、在讲测试用例之前，我们首先为系统当... 阅读全文

posted @ 2015-07-24 15:45 ljy2013 阅读(3692) 评论(0) 推荐(1)

2015年7月23日

windows下将磁盘脱机，并在"我的电脑"下显示

摘要：方案一: .右键单击"我的电脑"。 2.打开：管理-磁盘管理。 3.在右边出现的磁盘分区里，你想隐藏的分区上右键单击“更改驱动器名和路径”。 4.出现一个对话框，点击“删除”。 5.出现一个确定对话框，点击“是”。就ok。如果你要找回隐藏的分区就在4的对话框点添加就行了方案二: 运行gpedit... 阅读全文

posted @ 2015-07-23 11:49 ljy2013 阅读(851) 评论(0) 推荐(0)

2015年7月22日

linux中/etc/fstab文件删除或修改了，导致系统无法启动

摘要：在linux中，/etc/fstab文件是磁盘挂载的问题，若该文件不小心给修改了，或者被删除了，那么就会导致系统无法重启。因为/etc/fstab文件是记录磁盘挂载的信息，若该文件出现了问题，那么对应的主目录（/）和（/boot）以及swap的磁盘将无法挂载，所以这个文件对于linux系统来说是... 阅读全文

posted @ 2015-07-22 19:42 ljy2013 阅读(20191) 评论(1) 推荐(1)

2015年7月20日

Coudera-Manager/CDH的安装和部署

摘要：由于之前部署的集群采用的是用apache hadoop的方式来实现，但是考虑到运维的成本问题，下面将apache hadoop转换成cloudera cdh。下面主要讲解一下cloudera cdh的安装过程：Cloudera公司官方网站上介绍了三种安装方式：（官网：http://hpdm.siat... 阅读全文

posted @ 2015-07-20 18:24 ljy2013 阅读(2000) 评论(0) 推荐(0)

2015年7月10日

Linux访问Windows磁盘实现共享

摘要：业务需求说明：公司在部署hadoop集群和DB server与SAN存储，公司的想法是前端通过DB Server能够将非结构化的数据能放进SAN存储当中，而hadoop集群也能够访问这个SAN存储。因此需要在SAN磁盘阵列中开辟一个共享区域，这个区域技能让DB server能够访问，也能够让hado... 阅读全文

posted @ 2015-07-10 16:47 ljy2013 阅读(5447) 评论(0) 推荐(0)

2015年7月4日

linux下文件系统类型的学习

摘要： 1、　以超级用户权限登陆Linux，进入 /lib/modules/2.6.32--504.el6.x86_64/kernel/fs目录执行 ls 命令（不同Linux发行版本的Fs目录有些不同你可以用查找FS文件夹的方法找到它）。如下图所示：这里我们对最常用的几个文件系统的发展情况和优缺点作详细介... 阅读全文

posted @ 2015-07-04 15:55 ljy2013 阅读(823) 评论(0) 推荐(0)

linux下文件系统的介绍

摘要：一、linux文件系统的目录结构目录描述 /根目录/bin做为基础系统所需要的最基础的命令就是放在这里。比如 ls、cp、mkdir等命令；功能和/usr/bin类似，这个目录中的文件都是可执行的，普通用户都可以使用的命令。/bootLinux的内核及引导系统程序所需要的文件，比如 vmlinuz... 阅读全文

posted @ 2015-07-04 15:30 ljy2013 阅读(396) 评论(0) 推荐(0)

linux下磁盘进行分区、文件系统创建、挂载和卸载

摘要：任务的原因：由于，刚购买来的服务器需要将磁盘挂载到操作系统上，为了挂载磁盘首先要对磁盘进行分区，然后进行文件系统的创建，最后将磁盘挂载到操作系统上的某个目录。MBR(Master Boot Record)是传统的分区机制，应用于绝大多数使用BIOS的PC设备。1.MBR支持32bit和64bit系统... 阅读全文

posted @ 2015-07-04 15:03 ljy2013 阅读(23813) 评论(0) 推荐(2)

2015年7月2日

NTP服务器的配置

摘要：安装cloudera Manager的时候，必须要求集群的主机之间时间同步，搭建一个NTP服务器的思路是，首先通过一台主机master与外网进行时间同步，然后其他的slaver主机与主机master进行时间同步。1、所有节点配置NTP服务集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题... 阅读全文

posted @ 2015-07-02 09:37 ljy2013 阅读(1902) 评论(0) 推荐(0)

linux修改系统时间和linux查看时区、修改时区的方法

摘要：一、查看和修改Linux的时区1. 查看当前时区命令： "date -R"2. 修改设置Linux服务器时区方法 A命令： "tzselect"方法 B 仅限于RedHat Linux 和 CentOS命令： "timeconfig"方法 C 适用于Debian命令： "dpkg-recon... 阅读全文

posted @ 2015-07-02 09:18 ljy2013 阅读(235329) 评论(3) 推荐(8)

2015年7月1日

Error:No suitable device found: no device found for connection "System eth0"

摘要：环境描述：在虚拟机VM中，centos6.6的操作系统故障说明：vi /etc/sysconfig/network-scripts/ifcfg-eth0在修改虚拟机的ip地址之后，而在使用"service network restart"重启网卡时,出现错误：Error:No suitable de... 阅读全文

posted @ 2015-07-01 16:31 ljy2013 阅读(385) 评论(0) 推荐(0)