随笔分类 -  大数据学习

上一页 1 2 3 下一页
Flink Sql 简单应用
摘要：import org.apache.flink.api.scala._ import org.apache.flink.table.api._ import org.apache.flink.table.api.bridge.scala._ /* * Table Api * https://nigh 阅读全文
posted @ 2022-06-08 16:03 御本美琴初号机 阅读(129) 评论(0) 推荐(0)
CoProcessFunction 练习一
摘要：package www.zcb.threeweek import org.apache.flink.api.common.state.ValueStateDescriptor import org.apache.flink.streaming.api.functions.co.CoProcessFu 阅读全文
posted @ 2022-06-07 11:43 御本美琴初号机 阅读(62) 评论(0) 推荐(0)
Connection to node -1 (hdp1/192.168****:9092) could not be established. Broker may not be available.
摘要：WARN [AdminClient clientId=adminclient-1] Connection to node -1 (hdp1/192.168.13.130:9092) could not be established. Broker may not be available. (org 阅读全文
posted @ 2022-06-06 22:09 御本美琴初号机 阅读(573) 评论(0) 推荐(0)
Linux安装clickhouse
摘要：### 一、安装 官网：https://clickhouse.tech/ 下载地址：http://repo.red-soft.biz/repos/clickhouse/stable/el7/ https://clickhouse.com/docs/zh/getting-started/install 阅读全文
posted @ 2022-06-05 16:20 御本美琴初号机 阅读(1196) 评论(0) 推荐(0)
项目==》实体类空指针问题
摘要：分析：由于模拟数据条数多，次数多，导致kafka主题接收数据过多，kafka坠机，代码不能获取到数据 解决：删除三台虚拟机的日志文件，为我们自己创建的，下的mete.properties 阅读全文
posted @ 2022-06-05 10:43 御本美琴初号机 阅读(49) 评论(0) 推荐(0)
Flink 错误
摘要：Exception in thread "main" org.apache.flink.util.FlinkException: Failed to execute job 'Flink Streaming Job'. at org.apache.flink.streaming.api.enviro 阅读全文
posted @ 2022-06-01 20:42 御本美琴初号机 阅读(1574) 评论(0) 推荐(0)
Linux 启动
摘要：Flink /opt/flink-1.13.1/bin/start-cluster.sh关闭 stop-cluster.sh 阅读全文
posted @ 2022-06-01 16:18 御本美琴初号机 阅读(34) 评论(0) 推荐(0)
Inconsistent namespace mapping properties. Ensure that config phoenix.schema.isNamespaceMappingEnabled is consistent on client and server.
摘要：Inconsistent namespace mapping properties. Ensure that config phoenix.schema.isNamespaceMappingEnabled is consistent on client and server. 原因：在修改hbase 阅读全文
posted @ 2022-06-01 11:24 御本美琴初号机 阅读(690) 评论(2) 推荐(1)
The markup in the document following the root element must be well-formed
摘要：文件中标签不正确，打开文件发现结尾多了一个结束标签，删掉即可 阅读全文
posted @ 2022-06-01 11:17 御本美琴初号机 阅读(105) 评论(0) 推荐(0)
启动集群hadoop，另外两台机器的nodeManager 自动关闭
摘要：查看hadoop的日志发现，问题出在配置文件上，下面是报错信息 hdp1 hdp2 在配置文件中添加以上配置，解决问题 hdp1为我的主机名称 贴上相关问题：https://qna.habr.com/q/57046#answer_208326 阅读全文
posted @ 2022-05-31 11:15 御本美琴初号机 阅读(78) 评论(0) 推荐(0)
启动Hbase，HRegionServer 自动关闭
摘要：关闭hbase ，使用zookeeper 中的bin/ 目录下的zkCli.sh，删除 hbase文件 重启hbase 即可 阅读全文
posted @ 2022-05-28 10:49 御本美琴初号机 阅读(184) 评论(0) 推荐(0)
Linux 删除键变成 ^H 解决方法：
摘要：错误原因未知， 1 ESC+Backspace 可以删除 2 ctrl + Backspace 可以删除 想要恢复正常的话，关闭此ip连接，重新连接即可。 阅读全文
posted @ 2022-05-27 11:47 御本美琴初号机 阅读(1234) 评论(0) 推荐(0)
启动HDFS, Zookeeper，Kafka，hbase
摘要：启动HDFS，start-all.sh 启动Zookeeper，myzk.sh start /opt/zookeeper-3.4.10/bin/zkServer.sh $1 启动Kafka，mykafka.sh start /opt/kafka_2.11-2.4.1/bin/kafka-server 阅读全文
posted @ 2022-05-26 15:22 御本美琴初号机 阅读(101) 评论(0) 推荐(0)
我原称它为‘神迹’，MySql 相同语句不同结果
摘要：求大佬解答！！！ 阅读全文
posted @ 2022-05-26 11:05 御本美琴初号机 阅读(25) 评论(0) 推荐(0)
用sql查询，每个同学名下所有课程都大于等于80分的，同学姓名：（不一定有三门课程）
摘要： 阅读全文
posted @ 2022-05-19 15:09 御本美琴初号机 阅读(62) 评论(0) 推荐(0)
Spark ==》 发送接收json数据并分析
摘要：题目一：以下为学生期末考试的部分数据，请按要求完成统计，格式如下{"name":"zhangsan","sex":"m",”kemu”:”yuwen”,"score":66} 1) 创建kafka主题ods_score_topic,要求一个备份，一个分区 2) 创建生产者，往主题里添加15条以上数据 阅读全文
posted @ 2022-04-26 15:25 御本美琴初号机 阅读(109) 评论(0) 推荐(0)
大数据 基础配置 （jdk,hadoop,zookeeper,kafka）
摘要：版本如下： jdk: jdk1.8.0_131 mysql: 5.5.54 hadoop: 2.8.1 zookeeper:3.4.10 kafka: 2.11-2.4.1网盘链接 链接: https://pan.baidu.com/s/1XUhqSbKnzREBOTo5W_gl1Q 提取码: rf 阅读全文
posted @ 2022-04-19 15:03 御本美琴初号机 阅读(89) 评论(0) 推荐(0)
大数据linux创建集群
摘要：（这里创建的集群为三个虚拟机） 首先创建一个虚拟机，然后克隆两个 1.修改ip地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 一般文件名都为 ifcfg-ens33 也有可能是别的 我这里已经将第一台的ip地址设置为默认了，大家可以根据我这个来设置 阅读全文
posted @ 2022-04-19 12:05 御本美琴初号机 阅读(70) 评论(0) 推荐(0)
Spark sql 连续登录例题
摘要：2021/05/18 10.3.9.18 tianqi 1006 error 2021/05/18 10.7.5.56 lisi 1002 warning 2021/05/18 194.23.67.23 wangwu 1003 normal 2021/05/18 111.202.103.60 zha 阅读全文
posted @ 2022-04-12 00:04 御本美琴初号机 阅读(86) 评论(0) 推荐(0)
大数据学习（三）安装mysql
摘要：一：上传文件 上传mysql文件 客户端和服务端 链接: https://pan.baidu.com/s/1pagFJMhhYbHET9MIalHi3g 提取码: a1ba 复制这段内容后打开百度网盘手机App，操作更方便哦 二：解压文件 tar -zxvf 压缩包文件名称 三：安装mysql文件 阅读全文
posted @ 2022-01-12 10:04 御本美琴初号机 阅读(85) 评论(0) 推荐(0)

上一页 1 2 3 下一页