摘要：
使用select count(*) 出现如下错误： Error: Task org.apache.phoenix.job.JobManager$InstrumentedJobFutureTask@6e91893 rejected from org.apache.phoenix.job.JobMana
阅读全文
posted @ 2020-07-03 15:29
北漂-boy
阅读(1463)
推荐(0)
摘要：
1、对数据进行归档 alter table tableName archive partition(current='2020-07-02'); 报错如下： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.e
阅读全文
posted @ 2020-07-03 15:27
北漂-boy
阅读(1302)
推荐(0)
摘要：
问题现象 部署的docker容器运行一端时间以后，由于需要修改配置，需要重启容器，但是重启的时候，报如下错误： Error response from daemon: Cannot restart container rsnmp_v4: OCI runtime create failed: cont
阅读全文
posted @ 2020-07-02 11:52
北漂-boy
阅读(4999)
推荐(0)
摘要：
错误信息 reduce容器报的错误信息如下： 2020-07-01 14:06:19,276 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : org.apache.hadoop.mapreduce.t
阅读全文
posted @ 2020-07-01 15:22
北漂-boy
阅读(1977)
推荐(0)
摘要：
数据加载到表 非分区表 方式1： 假设当前已经存在一张非分区表，那么可以直接通过拷贝的方式把数据拷贝到hdfs上面的对应目录 eg 1、创建测试表 hive (r_db2)> create table input_test(id int, name string); 2、创建测试数据 [hduser
阅读全文
posted @ 2020-06-30 17:22
北漂-boy
阅读(409)
推荐(0)
摘要：
一、数据库操作 1、创建数据库 语法格式： CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [MANAGEDLOCATION hdfs_pat
阅读全文
posted @ 2020-06-30 14:38
北漂-boy
阅读(426)
推荐(0)
摘要：
hive 随笔 1、获取当前hive的所有变量信息，包括hiveconf、hivevar、system、env等的信息 hive -S -e "set" > hive.cmd hive -S -e "set -v" > hive.cmd #可以获取hadoop相关的属性 2、自定义变量 ① 在进入h
阅读全文
posted @ 2020-06-29 16:22
北漂-boy
阅读(410)
推荐(0)
摘要：
方式一 INSERT OVERWRITE LOCAL DIRECTORY '/tmp/data.csv' select books from table; 或者存储到hdfs INSERT OVERWRITE DIRECTORY '/user/data.csv' select books from
阅读全文
posted @ 2020-06-29 11:38
北漂-boy
阅读(1065)
推荐(0)
摘要：
hive中空值判断基本分两种 一、NULL 与 \N hive在底层数据中如何保存和标识NULL，是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的 比如： 1、设置 alter tab
阅读全文
posted @ 2020-06-29 11:32
北漂-boy
阅读(2783)
推荐(0)
摘要：
1、定义一个字典变量 declare -A dict [hduser@yjt hive]$ dict['a']=1 [hduser@yjt hive]$ dict['b']=2 [hduser@yjt hive]$ dict['c']=3 2、判断某个值是否存在于字典的key集合里面 ① 使用循环
阅读全文
posted @ 2020-06-29 10:06
北漂-boy
阅读(2415)
推荐(0)
摘要：
一、将ip地址转成long数值 将IP地址转化成整数的方法如下： 1、通过String的split方法按.分隔得到4个长度的数组 2、通过左移位操作（<<）给每一段的数字加权，第一段的权为2的24次方，第二段的权为2的16次方，第三段的权为2的8次方，最后一段的权为1 二、将数值转换为ip地址 将十
阅读全文
posted @ 2020-06-29 09:46
北漂-boy
阅读(6938)
推荐(1)
摘要：
一、概述 ETCD是一个开源的、分布式的键值对数据存储系统，由Go语言实现，用于存储key-value键值对，同时不仅仅是存储，主要用途是提供共享配置及服务发现，使用Raft一致性算法来管理高度可用的复制日志。有下面特点 简单：定义明确，面向用户的API（gRPC） 安全：具有可选客户端证书身份验证
阅读全文
posted @ 2020-06-23 18:07
北漂-boy
阅读(3730)
推荐(0)
摘要：
1、情况说明，测试集群，6台hdfs，一台hbase 在使用hbase的时候，出现hbase总是挂掉问题 2、错误现象： 2020-06-05 15:28:27,670 WARN [RS_OPEN_META-bb-cc-aa:16020-0-MetaLogRoller] wal.ProtobufLo
阅读全文
posted @ 2020-06-12 12:44
北漂-boy
阅读(2267)
推荐(0)
摘要：
一、配置hbase 1、修改hbase-site.xml 添加如下配置： <property> <name>hbase.thrift.support.proxyuser</name> <value>true</value> </property> <property> <name>hbase.reg
阅读全文
posted @ 2020-06-11 12:25
北漂-boy
阅读(918)
推荐(0)
摘要：
一、修改hue配置 1、配置修改如下 [librdbms] [[databases]] [[[mysql]]] # 记得打开注释，否则web界面可能报invalid literal for int() with base 10: 'Possible misconfiguration' nice_na
阅读全文
posted @ 2020-06-11 11:37
北漂-boy
阅读(283)
推荐(0)
摘要：
一、hive 1、修改hive配置 在hive-site.xml文件添加如下信息： <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.serv
阅读全文
posted @ 2020-06-11 11:09
北漂-boy
阅读(1445)
推荐(0)
摘要：
一、配置hadoop配置文件 这里修改分为两种模式，一种是hdfs HA模式，一种是hdfs Non HA模式 1.1 非HA模式配置 使用webhdfs方式 1）修改hdfs-site.xml文件，添加如下配置： <property> <name>dfs.webhdfs.enabled</name
阅读全文
posted @ 2020-06-11 09:55
北漂-boy
阅读(1246)
推荐(0)
摘要：
一、hue介绍 HUE是一个开源的Apache Hadoop UI系统，早期由Cloudera开发，后来贡献给开源社区。它是基于Python Web框架Django实现的。通过使用Hue我们可以通过浏览器方式操纵Hadoop集群。例如put、get、执行MapReduce Job等等 官方网站：ht
阅读全文
posted @ 2020-06-10 14:52
北漂-boy
阅读(8194)
推荐(0)
摘要：
一、Ganglia基本概述 Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个
阅读全文
posted @ 2020-06-10 11:11
北漂-boy
阅读(369)
推荐(0)
摘要：
namenode异常信息： 2020-06-03 04:44:42,313 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: flush failed for required journal (JournalAndStre
阅读全文
posted @ 2020-06-03 10:04
北漂-boy
阅读(1686)
推荐(0)
摘要：
ubuntu中shell脚本无法使用source的原因及解决方法 现象： shell脚本中source aaa.sh时提示 source: not found 原因： ls -l `which sh` 提示/bin/sh -> dash 这说明是用dash来进行解析的。 改回方法： 命令行执行：su
阅读全文
posted @ 2020-05-28 09:35
北漂-boy
阅读(16062)
推荐(2)
摘要：
生产集群上，有一台datanode节点磁盘数量飙升，其中五块盘容量已经使用达到100%了，其他磁盘也基本达到90%以上。运行balancer不生效，数据还是疯长，看balancer日志，貌似balancer没有进行大量的块移动。 问题现象： 2020-05-25 22:13:47,459 INFO
阅读全文
posted @ 2020-05-27 18:31
北漂-boy
阅读(2125)
推荐(0)
摘要：
利用hadoop自带的测试程序测试集群性能 使用TestDFSIO、mrbench、nnbench、Terasort 、sort 几个使用较广的基准测试程序 测试程序在： ${HADOOP_HOME}/share/hadoop/mapreduce/ 一、查看工具 $ hadoop jar hadoo
阅读全文
posted @ 2020-05-27 15:47
北漂-boy
阅读(2760)
推荐(1)
posted @ 2020-05-08 16:46
北漂-boy
阅读(0)
推荐(0)
posted @ 2020-05-08 16:27
北漂-boy
阅读(0)
推荐(0)
摘要：
2020-04-30 1、说明 本次安装的mysql版本为5.7.30，在三天前官方推出了最新的mysql5.7.30版本，而在项目中使用的mysql版本分别为5.7.28以及5.7.29(制作的docker镜像)，但是在镜像漏洞扫描的时候，扫描出来漏洞了，所以需要进行mysql的升级。本次为了在制
阅读全文
posted @ 2020-04-30 13:09
北漂-boy
阅读(2230)
推荐(0)
摘要：
说明：本次生成的镜像是centos7版本的 从官网下载对应的脚本： https://github.com/moby/moby/blob/master/contrib/mkimage-yum.sh 上面这个脚本就是centos官网用于创建docker镜像的 1、脚本具体的信息如下： #!/usr/bi
阅读全文
posted @ 2020-04-29 18:00
北漂-boy
阅读(491)
推荐(0)
摘要：
1、把当前的环境打包 # tar --numeric-owner --exclude=/proc --exclude=/sys -cvf centos7-base.tar / 2、制作镜像 把打包的tar包通过docker import 命令生成镜像，镜像名字为centos7_test # cat
阅读全文
posted @ 2020-04-28 17:09
北漂-boy
阅读(327)
推荐(0)
摘要：
1、命名规范 go语言中的变量名、函数名、、方法名、包名、类型名字等所有的标识符命名，都遵循统一的规则： 以unicode字母或者_下划线开头，后接任意的unicod字符、数字、下划线，就是说不能以数字开头，同时区分大小写； go语言里面的编码格式统一为utf8； 以大写字母开头的，表示对外可见(在
阅读全文
posted @ 2020-04-27 14:29
北漂-boy
阅读(156)
推荐(0)
摘要：
时间：2020-04-27 一、Linux安装 1、下载go安装包 （1）下载地址 https://golang.google.cn/dl/ （2）下载Linux对应的安装包 2、解压与安装 （1）解压 # tar zxvf go1.14.1.linux-amd64.tar.gz -C /data1
阅读全文
posted @ 2020-04-27 11:55
北漂-boy
阅读(227)
推荐(0)
摘要：
使用spark on yarn跑任务的时候，出现了异常错误，错误如下： hduser@xxx:/data1/hadoop/spark/bin$ ./spark-shell --master yarn --deploy-mode client 2020-04-13 10:04:25 WARN Nati
阅读全文
posted @ 2020-04-13 11:43
北漂-boy
阅读(1173)
推荐(0)
摘要：
我们通过yum方式安装mysql,会生成mysql:mysql用户组和用户，启动mysql默认是使用mysql用户。如果我们开启了慢log日志，而且我们使用service mysqld start启动mysql,会报如题所示的错误，根据提示我们知道在my.cnf默认配置指定的/var/lib/mys
阅读全文
posted @ 2020-04-09 15:50
北漂-boy
阅读(7253)
推荐(0)
摘要：
1、hbase regionserver 错误日志 2020-04-07 15:53:36,604 WARN [hadoop01:16020-0.append-pool2-t1] wal.FSHLog: Append sequenceId=3897, requesting roll of WAL j
阅读全文
posted @ 2020-04-07 16:31
北漂-boy
阅读(1238)
推荐(0)
摘要：
一、搜索引擎 haystack solr es whoosh
阅读全文
posted @ 2020-03-23 10:12
北漂-boy
阅读(123)
推荐(0)
摘要：
实例一：拷贝远程ssh_config文件到/etc/ssh下 #!/bin/bash while read ip do ip=$ip /usr/bin/expect <<EOF set timeout 1 spawn ssh -t username@$ip sudo mv /home/deploye
阅读全文
posted @ 2020-03-23 09:56
北漂-boy
阅读(139)
推荐(0)
摘要：
注：本次安装基于联网的方式 来源：docker入门与精通 一、手动安装 1、查看内核版本 # uname -r # cat /proc/version 2、安装aufs存储的支持软件包 # apt-get update # apt-get install -y linux-image-extra-$
阅读全文
posted @ 2020-03-18 11:22
北漂-boy
阅读(373)
推荐(0)
摘要：
1、下载yum源的rmp包 # wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 2、安装yum源 # yum -y localinstall mysql57-community-release-el
阅读全文
posted @ 2020-03-14 15:34
北漂-boy
阅读(901)
推荐(0)
摘要：
执行hadoop的相关命令时，总提示如下： ]$ hadoop fs -ls / 2020-03-09 16:09:39,384 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
阅读全文
posted @ 2020-03-09 16:11
北漂-boy
阅读(412)
推荐(0)
摘要：
现象：启动docker-compose的时候，出现 WARNING: Some services (mysql, rsnmp) use the 'deploy' key, which will be ignored. Compose does not support 'deploy' configu
阅读全文
posted @ 2020-03-03 15:00
北漂-boy
阅读(5820)
推荐(0)
摘要：
zabbix图形界面乱码如下： 解决： docker部署zabbix-web和源码安装zabbix-web一样，字体都是存储在/usr/share/zabbix/assets/fonts/ 1、从windown拷贝simkai.ttf(楷体)文件到docker的zabbix-web里面 1、字体存在
阅读全文
posted @ 2020-03-03 11:43
北漂-boy
阅读(1974)
推荐(0)
浙公网安备 33010602011771号