摘要：
下载 从 "下载地址" 下下载以下对应hbase版本的版本: phoenix 4.7.0 HBase 1.0/bin/phoenix 4.7.0 HBase 1.0 bin.tar.gz 安装部署 1. 解压 2. 修改${HBASE_HOME}/conf/hbase site.xml 3. 拷贝p 阅读全文
posted @ 2018-11-28 18:27
枫子_dan
阅读(266)
评论(0)
推荐(0)
摘要：
监控配置 spark的监控主要分为Master、Worker、driver、executor监控。Master和Worker的监控在spark集群运行时即可监控，Driver和Excutor的监控需要针对某一个app来进行监控。 如果都要监控，需要根据以下步骤来配置 1. 修改$SPARK_HOME 阅读全文
posted @ 2018-11-28 18:22
枫子_dan
阅读(4878)
评论(2)
推荐(0)
摘要：
监控配置 kafka基本分为broker、producer、consumer三个子项，每一项的启动都需要用到 $KAFKA_HOME/bin/kafka run class.sh 脚本，在该脚本中，存在以下语句： 在启动kafka的过程中，只要指定 JMX_PORT 的值，即可对broker 阅读全文
posted @ 2018-11-28 18:21
枫子_dan
阅读(11120)
评论(0)
推荐(0)
摘要：
需求说明 编写背景 此手册的基础在于对 "《jmxtrans + influxdb + granafa 监控套件使用手册》" 的熟悉和使用。本手册仅介绍以下几项： OpenTSDB 的配置安装 对 json 文件的配置使其可以将数据导入OpenTSDB grafana 对OpenTSDB 数据源的看 阅读全文
posted @ 2018-11-28 18:20
枫子_dan
阅读(735)
评论(0)
推荐(0)
摘要：
需求说明 随着大数据组件的日益完善，需要随时随地保持各个组件的日常运行，对各个组件的监控势在必行。为了减少运维部门的负担，通过筛选，我们使用 jmxtrans + influxdb + granafa 套件对各个组件进行监控。 Jmxtrans：JMX可以对外暴露jvm内部的一些指标，但是要获取那些 阅读全文
posted @ 2018-11-28 18:10
枫子_dan
阅读(2197)
评论(0)
推荐(2)
摘要：
配置监控 1. 修改flume.env.sh 2. 使用以下脚本 指标项整理 OS监控项 | objectName | 指标项 | 说明 | | | | | | java.lang:type=OperatingSystem | FreePhysicalMemorySize | 空闲物理内存 | | 阅读全文
posted @ 2018-11-28 18:09
枫子_dan
阅读(4046)
评论(0)
推荐(0)
摘要：
配置 修改$HADOOP_HOME/etc/hadoop/hadoop env.sh web页面查看 | IP | 访问地址 | | | | | 192.168.20.10 | http://dev01:50070/jmx | | 192.168.20.11 | http://dev02:50075 阅读全文
posted @ 2018-11-28 18:09
枫子_dan
阅读(5604)
评论(0)
推荐(0)
摘要：
名词解释 JMX：Java Management Extensions，用于用于Java程序扩展监控和管理项 GC：Garbage Collection，垃圾收集，垃圾回收机制 指标项来源 |主机名|url| | | | |192.168.20.10|http://192.168.20.10:600 阅读全文
posted @ 2018-11-28 18:07
枫子_dan
阅读(8551)
评论(2)
推荐(0)
摘要：
Spark优化配置 1. 添加外包路径 1.1 1.2 spark submit时配置参数 2. spark submit时的参数配置 Kafka+Scala的参数配置 1. auto.offset.reset值含义解释 earliest 当各分区下有已提交的offset时，从提交的offset开始 阅读全文
posted @ 2018-11-28 18:04
枫子_dan
阅读(238)
评论(0)
推荐(0)
摘要：
启动相关 数据库命令 1、Help查看命令提示 help db.help(); db.yourColl.help(); db.youColl.find().help(); rs.help(); 2、切换/创建数据库 use yourDB; 当创建一个集合(table)的时候会自动创建当前数据库 3、 阅读全文
posted @ 2018-11-28 17:54
枫子_dan
阅读(230)
评论(0)
推荐(0)
摘要：
简介 在使用 Java 对数据库进行连接时，都会获取到一个 cursor ，cursor 实际指到的是我们查询数据库的query，而并不是 query 查询到的数据集。 此次在使用 mongo 的 cursor 的过程中，对线上数据库产生了很大压力，在这里对此次的优化过程进行记录。 场景 数据源：M 阅读全文
posted @ 2018-11-28 17:49
枫子_dan
阅读(4242)
评论(0)
推荐(0)
摘要：
概念 rs中存储了每一次对mongo数据库的CUD操作，对rs的大小进行resize. 主要有两种方法： 1. 在未开启过rs的情况下，修改配置文件 2. 已使用rs一段时间后，发现rs太大，重新进行大小配置 启动 默认启动 配置文件启动 rs启动 修改配置文件 修改opLog大小 修改的过程主要分 阅读全文
posted @ 2018-11-28 17:49
枫子_dan
阅读(236)
评论(0)
推荐(0)
摘要：
测试方法 1. 使用 python 的 Faker 第三方包伪造数据，写入文件 test.txt 2. 复制 test.txt 内容为 test2.txt ，将 test2.txt 的内容重定向到 test.txt 中，使 test.txt 的文件大小达到几G 3. 使用lzo lz4 zstd s 阅读全文
posted @ 2018-11-28 17:47
枫子_dan
阅读(1008)
评论(0)
推荐(0)
摘要：
端口 TCP协议 TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中， 阅读全文
posted @ 2018-11-28 17:47
枫子_dan
阅读(173)
评论(0)
推荐(0)
摘要：
存储方式 |方式|方式来源|存储位置|优点|缺点| | | | | |自动提交|kafka|kafka|Spark应用从kafka中读取数据之后就自动提交|不是数据处理之后提交，无法控制| |异步提交|kafka|kafka|Spark应用从kafka中读取数据并处理好之后提交offset|如果ka 阅读全文
posted @ 2018-11-28 17:46
枫子_dan
阅读(1202)
评论(0)
推荐(0)
摘要：
环境相关命令 CPU 说明： 1. CPU消耗状况 | 显示项 | 说明 | | | | | us | 用户态的消耗 | | sy | 系统内核的消耗 | | ni | 调过ni值的进程的cpu us的消耗 | | id | cpu空闲 | | wa | iowait的消耗 | | hi | 硬中断 阅读全文
posted @ 2018-11-28 17:46
枫子_dan
阅读(151)
评论(0)
推荐(0)
摘要：
线程的状态 NEW==》start()==》Runable Runable==》获取CPU==》Running Running==》yield()==》Runable Running==》Run()完成或异常退出==》Dead Running==》join(),sleep()==》Blocked B 阅读全文
posted @ 2018-11-28 17:43
枫子_dan
阅读(120)
评论(0)
推荐(0)
摘要：
简介 单用户多点模式也称远程服务模式，用户非java客户端访问元数据库，在服务端启动MetaStoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库。 mysql安装以及配置 安装mysql apt默认安装，占据3306端口 安装机器 : dev01 配置hi 阅读全文
posted @ 2018-11-28 17:42
枫子_dan
阅读(240)
评论(0)
推荐(0)
摘要：
前言 Apache HBase 是目前大数据系统中应用最为广泛的分布式数据库之一。我们经常面临向 HBase 中导入大量数据的情景，通常会选择使用标准的客户端 API 对 HBase 进行直接的操作，或者在MapReduce作业中使用 TableOutputFormat 作为输出。实际上，借助 HB 阅读全文
posted @ 2018-11-28 17:41
枫子_dan
阅读(1148)
评论(0)
推荐(0)
摘要：
hbase基于hue的查询语法 登录地址 https://hue ui.xiaoniangao.cn 界面操作说明 1. 进入hue中的hbase 2. 进入表的查询界面 3. 界面说明 查询语句 表示结束查询，可以不加 主键查询 1. 输入主键 说明：只输入主键查询 例1： 例2： 2. 根据主键 阅读全文
posted @ 2018-11-28 16:50
枫子_dan
阅读(5466)
评论(0)
推荐(1)
摘要：
使用hive连接hbase 前提说明：一个hive表指向一个hbase表，一对一，不能多对一 建立外部表 说明： 1. hive的表名可以自己定义 2. hive中的字段名可以自定义 3. 建表语句后面的 WITH SERDEPROPERTIES 指向hbase表中的字段，必须一一对应 4. 建表语 阅读全文
posted @ 2018-11-28 16:49
枫子_dan
阅读(1704)
评论(0)
推荐(0)
摘要：
hfile+compaction 原理 用户数据写入先写WAL，再写缓存，满足一定条件后缓存数据会执行flush操作真正落盘，形成一个数据文件 HFile 。太多数据文件会导致数据查询IO次数增多，因此HBase尝试着不断对这些文件进行合并，这个合并过程称为 Compaction 。 Com 阅读全文
posted @ 2018-11-28 16:48
枫子_dan
阅读(728)
评论(0)
推荐(0)
摘要：
磁盘容量 1. hdfs fsck /path/to/dicrectory 2. hdfs dfs du s /path/to/dicrectory 3. hdfs dfs du / 查看文件和目录大小 4. hdfs dfs count q /usr 会输出8列 | 命名空间的quota（限制文件 阅读全文
posted @ 2018-11-28 16:47
枫子_dan
阅读(138)
评论(0)
推荐(0)
摘要：
avro agent 配置文件 启动agent 用以下脚本开启agent客户端，从以下信息中可以看到当前 agent 的 jmx 监控端口号是4154，且绑定4411端口。 启动文本传输 新开一个终端进行以下动作。 1. 创建一个文件 2. 开启文本传输 3. 可以从agent客户端看到文件的内容 阅读全文
posted @ 2018-11-28 16:45
枫子_dan
阅读(214)
评论(0)
推荐(0)
摘要：
安装包 修改配置文件 环境变量 flume环境配置 shell cd $FLUME_HOME/conf cp flume env.sh.template flume env.sh vim flume env.sh export JAVA_HOME=/opt/soft/jdk1.8.0_144 set 阅读全文
posted @ 2018-11-28 16:44
枫子_dan
阅读(178)
评论(0)
推荐(0)
摘要：
前期服务器配置 1. 修改/etc/hosts文件，添加以下信息（如果正常IP） 119.23.163.113 master 120.79.116.198 slave1 120.79.116.23 slave2 如果安全组内的IP，通过ip a方式查询内部IP并添加到/etc/hosts； 2. 确 阅读全文
posted @ 2018-11-28 16:42
枫子_dan
阅读(875)
评论(0)
推荐(0)
摘要：
基本安装步骤 安装包下载 从 "大数据组件下载地址" 下载以下组件安装包 1. hadoop 2.6.0 cdh5.6.0.tar.gz 2. hbase 1.0.0 cdh5.6.0.tar.gz 3. zookeeper 3.4.5 cdh5.6.0.tar.gz 从 "java下载地址" 下载 阅读全文
posted @ 2018-11-28 16:39
枫子_dan
阅读(388)
评论(0)
推荐(0)
摘要：
在本地编辑了n次笔记文档后，印象笔记、蚂蚁笔记、markdownpad、typora等等等，各有优缺点吧。最大的缺点就是当我离开的时候为了将这些笔记作为财富带走，我只有两种方法：1. 上传到服务器上 有的必须作为会员才能同步，虽然也只是一些钱，但是，感觉神烦2. 将文件copy到我的移动硬盘里 就怕漏了啥。。。每次都心慌慌的找了很多很多遍 之前有用... 阅读全文
posted @ 2018-11-28 15:14
枫子_dan
阅读(150)
评论(0)
推荐(0)
浙公网安备 33010602011771号