摘要: 需求背景:有一个很大的csv文件,大概有几百万行,数据质量不是很好,不能直接写入数据库中,如下: 1,HR00001,bigolin-03,03,,,,,"*,可以",100,,,, 2,HR00002,bigolin-06,06,,,,,"12.23,备份",340,,,, 目的:将"" 中的英文 阅读全文
posted @ 2022-03-24 21:57 明明就- 阅读(544) 评论(0) 推荐(0)
摘要: 一、问题描述: 在启动完zk、Hadoop后想继续启动HBase,但是bin/start-hbase.sh后,进程里始终是HMaster起不起来(开始存活1-2s,然后直接挂掉..) 二、在日志中寻找答案 看到Hbase的log文件,发现是zk的问题 三、开始寻找解决办法 .在网上看了看其他道友遇到 阅读全文
posted @ 2022-03-18 21:01 明明就- 阅读(1202) 评论(0) 推荐(0)
摘要: https://www.cnblogs.com/linn/p/4171208.html 阅读全文
posted @ 2022-02-25 15:51 明明就- 阅读(89) 评论(0) 推荐(0)
摘要: # coding=utf-8 import paramiko import os def DownLoadFile(sftp,LocalFile,RemoteFile): # 下载当个文件 file_handler = open(LocalFile, 'wb') print(file_handler 阅读全文
posted @ 2022-02-25 15:18 明明就- 阅读(637) 评论(0) 推荐(0)
摘要: 一、服务集群版本 hadoop 2.8.1 hbase 2.0.5 hive 3.1.2 java 1.8.0 kafka 2.11.0 maxwell 1.25.0 nginx 1.12.2 phoenix 5.0.0 zookeeper 3.4.10 二、启动服务节点 三、在navicat中建库 阅读全文
posted @ 2021-09-22 18:14 明明就- 阅读(426) 评论(0) 推荐(0)
摘要: 在centos 7 上安装 mysql 包如下错误: 解决方法: 执行下面这条命令,安装perl依赖 yum install -y perl-Module-Install.noarch 完成后,再次安装,报如下错误:net-tools 被 MySQL-server-5.6.25-1.el6.x86_ 阅读全文
posted @ 2021-09-17 18:02 明明就- 阅读(300) 评论(0) 推荐(0)
摘要: 一、基本操作 1.进入HBase客户端命令 bin/hbase shell 2.查看帮助命令 help 3.查看当前数据库中有那些表 list 二、表的操作 1.创建表 create 'student','info' 2.插入数据到表中 > put 'student','1001','info:se 阅读全文
posted @ 2021-09-17 12:18 明明就- 阅读(160) 评论(0) 推荐(0)
摘要: 一、前提:已经安装了ZK、KAFKA、Hadoop 二、架构图: hadoop101 hadoop102 hadoop103 HDFS NameNode SecondaryNameNode DataNode DataNode DataNode YARN ResourceManager NodeMan 阅读全文
posted @ 2021-09-17 11:59 明明就- 阅读(185) 评论(0) 推荐(0)
摘要: 问题: 解决办法: 一、找不到主类 错误: 找不到或无法加载主类 com.*.App 修改成自己的项目就可以了; 二、java 找不到符号 三、(解决了我的问题,程序可以跑起来的办法) java: You aren't using a compiler supported by lombok, so 阅读全文
posted @ 2021-09-14 17:25 明明就- 阅读(2119) 评论(0) 推荐(1)
摘要: 前言:已经安装了ZK、HADOOP、HBASE 一、下载tar包 http://phoenix.apache.org/download.html 二、安装 1.解压 tar -zxvf phoneix-4.14.0-hbase-1.13.1-bin-tar.gz -C /opt/module/ 2. 阅读全文
posted @ 2021-09-14 16:08 明明就- 阅读(440) 评论(0) 推荐(0)