一、简介 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据的简单灵活的架构、可靠的可靠性机制和许多故障转移和恢复机制，以及强大的容错性。它使用简单的可扩展数据模型，允许在线分析数据。很多大数据分析系统都通过flume来获取数据的输入。 Flume最早 Read More
posted @ 2020-04-24 13:46
kwz
Views(1296)
Comments(0)
Diggs(0)
一. Hbase 的 region 我们先简单介绍下 Hbase 的 架构和 region ： 从物理集群的角度看，Hbase 集群中，由一个 Hmaster 管理多个 HRegionServer，其中每个 HRegionServer 都对应一台物理机器，一台 HRegionServer 服务器上又 Read More
posted @ 2020-04-20 15:22
kwz
Views(459)
Comments(0)
Diggs(0)
关于grep一些简单小案例： #查看系统内存、缓存、交换分区 -e的作用是匹配多个表达式 [root@shell ~]# cat /proc/meminfo|grep -e Mem -e Cache -e Swap 查找/etc目录下的所有文件中的邮件地址; [root@shell ~]# grep Read More
posted @ 2020-04-17 15:26
kwz
Views(1970)
Comments(0)
Diggs(0)
一、主机信息(配置每个虚拟机的/etc/hosts文件) HostName IP ADDR bigdata111 192.168.1.111 bigdata112 192.168.1.112 bigdata113 192.168.1.113 二、JAVA及HADOOP环境变量配置 export JA Read More
posted @ 2020-04-17 10:35
kwz
Views(162)
Comments(0)
Diggs(0)
以下有两种方式读文件 1. String lineTxt = null; List<Integer> list=null; try{ String encoding="GBK"; File file=new File("F:/11.txt"); if(file.isFile() && file.ex Read More
posted @ 2020-04-13 17:05
kwz
Views(256)
Comments(0)
Diggs(0)
1、String final修饰，不可变 String所用时间多 同等线程下是StringBuffer的25倍 7500ms 2、StringBuffer final修饰，可变，线程安全，查看jdk源码可以发现大部分方法都是 synchronized（同步代码块）修饰的 StringBuffer 使 Read More
posted @ 2020-04-13 14:53
kwz
Views(154)
Comments(0)
Diggs(0)
一、空指针异常类：NullPointerException 简单地说就是调用了未经初始化的对象或者是不存在的对象！ 二、类型强制转换异常：ClassCastException 类型转换异常，检查两个类之间是否可以转换！ 三、数组下标越界异常：ArrayIndexOutOfBoundsExceptio Read More
posted @ 2020-04-13 14:05
kwz
Views(1622)
Comments(0)
Diggs(0)
此方法用来结束当前正在运行的 Java JVM。如果 status 是非零参数，那么表示是非正常退出。 System.exit(0) ： 将整个虚拟机里的内容都关掉，内存都释放掉！正常退出程序。 System.exit(1) ： 非正常退出程序 System.exit(-1) ：非正常退出程序 总结 Read More
posted @ 2020-04-13 14:01
kwz
Views(2076)
Comments(0)
Diggs(0)
1.yum下载报错 http://mirrors.163.com/centos/6/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - "Couldn't resolve host 'mirrors.163.com'" Trying Read More
posted @ 2020-04-02 14:46
kwz
Views(273)
Comments(0)
Diggs(0)
1. Ctrl+Alt+V自动生成变量后，Specify type选项勾选之后会显示出变量的类型，默认是没有勾选的，为了方便设置为自动勾选，点击Settings,在Type Annotations选项卡里，勾选Local definition选项。然后再下一次的Specify type选项这里勾选上 Read More
posted @ 2020-03-26 10:20
kwz
Views(2661)
Comments(0)
Diggs(0)
浙公网安备 33010602011771号