大数据学习 - 随笔分类 - 御本美琴初号机

摘要：运行时Spark作业失败。请检查堆栈跟踪查找根本原因。解决方法：增加ApplicationMaster资源比例容量调度器对每个资源队列中同时运行的 Application Master 占用的资源进行了限制，该限制通过 yarn.scheduler.capacity.maximum-am-re 阅读全文

posted @ 2022-06-24 15:27 御本美琴初号机阅读(2471) 评论(0) 推荐(1)

windows ping不通虚拟机

摘要：保证ip正确，情况下使用，我是突然不能连接了。 VM8 已启用的，禁用再启动，即可阅读全文

posted @ 2022-06-18 16:03 御本美琴初号机阅读(92) 评论(0) 推荐(0)

sqoop 从mysql获取数据上传到hdfs失败

摘要：请严格检查命令是否有误！格式是否正确！密码是否正确！路径是否正确！最后，请检查你的sqoop的lib目录下是否存在jdbc的驱动。 mysql-connector-java-5.1.27-bin.jar 阅读全文

posted @ 2022-06-18 15:17 御本美琴初号机阅读(135) 评论(0) 推荐(0)

启动hive报错： no hbase in

摘要：which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/jdk1.8.0_65/bin:/opt/module/kafka/bin:/opt/module/hadoop-3.1.3/bin:/opt/mod 阅读全文

posted @ 2022-06-18 11:24 御本美琴初号机阅读(2437) 评论(0) 推荐(0)

Vim 搜索之后留下黄色阴影，解决

摘要：ESC 输入 :nohl，回车即可，或者你再查询一个不存在的字符阅读全文

posted @ 2022-06-18 11:13 御本美琴初号机阅读(141) 评论(0) 推荐(0)

Hive 初始化报错：java.lang.ClassNotFoundException : com.mysql.jdbc.Driver

摘要：完整错误如下 Metastore connection URL: jdbc:mysql://hdp1:3306/metastore?useSSL=false Metastore Connection Driver : com.mysql.jdbc.Driver Metastore connectio 阅读全文

posted @ 2022-06-18 11:13 御本美琴初号机阅读(1161) 评论(0) 推荐(1)

INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

摘要：场景：Linux 上传文件到 HDFS 这是正常的，没问题。了解更多》》》(17条消息) HDFS的SHELL客户端高级操作_思诺的小世界的博客-CSDN博客阅读全文

posted @ 2022-06-17 22:34 御本美琴初号机阅读(2635) 评论(1) 推荐(1)

kafka-eagle 连接成功，无法使用问题

摘要：1.配置文件 ###################################### # multi zookeeper & kafka cluster list # Settings prefixed with 'kafka.eagle.' will be deprecated, use ' 阅读全文

posted @ 2022-06-17 15:33 御本美琴初号机阅读(1628) 评论(0) 推荐(0)

Linux（centos）安装vim

摘要：虚拟机最小安装下，默认只有VI编辑器，不是很方便，我们更习惯的还是使用VIM，今天就教给大家安装VIM 1.第一种方式，安装三个包即可 yum -y install vim-enhanced yum -y install vim-minimal yum -y install vim-common 使阅读全文

posted @ 2022-06-17 01:31 御本美琴初号机阅读(429) 评论(0) 推荐(0)

Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

摘要：1. 1.查看mysql是否正常启动 2.查看 /etc/my.cnf 中socket的路径，看路径下是否有此文件，mysql.sock 一般不是在 /tmp/mysql.sock 就是在 /var/lib/mysql/mysql.sock 这里，没有的话就用 ln -s /tmp/mysql.s 阅读全文

posted @ 2022-06-17 00:03 御本美琴初号机阅读(56) 评论(0) 推荐(0)

Flume 相关学习

摘要：Flume 定义 Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS 基础框架 1 Agent Agent 是一个 JVM 进程，它以事件的形式阅读全文

posted @ 2022-06-09 16:52 御本美琴初号机阅读(84) 评论(0) 推荐(0)

Flink CEP 简单应用

摘要：连续两次登录失败 import org.apache.flink.cep.PatternSelectFunction import org.apache.flink.cep.scala.{CEP, PatternStream} import org.apache.flink.cep.scala.pa 阅读全文

posted @ 2022-06-09 15:57 御本美琴初号机阅读(117) 评论(0) 推荐(0)

Hbase 相关

摘要：HBase Java Api 基础操作 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org 阅读全文

posted @ 2022-06-09 10:52 御本美琴初号机阅读(30) 评论(0) 推荐(0)

御坂美琴初号机

随笔分类 - 大数据学习

公告