摘要：
Flink理论 flink安装 我使用的是flink的单机版，过程在这：https://www.cnblogs.com/wuxiaolong4/p/16548910.html helloworld import org.apache.flink.api.scala.ExecutionEnvironm 阅读全文
posted @ 2022-09-29 14:18
Kotlin
阅读(227)
评论(0)
推荐(0)
摘要：
Hbase 老版本代码 公共方法 def getConn() = { val conf = HBaseConfiguration.create conf.set("hbase.zookeeper.quorum","hadoop1,hadoop2,hadoop3") val conn = Connec 阅读全文
posted @ 2022-09-26 17:20
Kotlin
阅读(64)
评论(0)
推荐(0)
摘要：
这篇文章主要介绍两种测试hbase的工具和部分参数 wrk压力测试工具 WRK压力测试工具，这种方式可以测试前端的接口一起测试 但是瓶颈也是前端的java接口，没有办法知道hbase真正的水平 -t, --threads <N> 使用多少个线程进行压测 -c, --connections <N> 跟 阅读全文
posted @ 2022-09-20 20:10
Kotlin
阅读(255)
评论(0)
推荐(0)
摘要：
Hbase 基本概念 常用术语 namespace：类似于关系型数据库的databases的概念(默认两个空间hbase default) region：按行切分的数据(根据 row_key ) Row：一个rowkey(字典顺序)和多个column组成 全表扫描、 column：列簇+列限定符(列 阅读全文
posted @ 2022-09-18 18:24
Kotlin
阅读(51)
评论(0)
推荐(0)
摘要：
org.apache.spark.examples.SparkPi 27行 def main(args: Array[String]): Unit = { val spark = SparkSession .builder .appName("Spark Pi") .getOrCreate() va 阅读全文
posted @ 2022-09-13 14:12
Kotlin
阅读(101)
评论(0)
推荐(0)
摘要：
一般提交任务都是spark-submit --class org.apache.spark.examples.SparkPi 类似的我们下面就以这个SparkPi 完成源码的跟进 寻找main函数类 我们跟进一个spark命令行的样例详细看看spark的源码 cat /opt/spark/spark 阅读全文
posted @ 2022-09-13 14:10
Kotlin
阅读(133)
评论(0)
推荐(0)
摘要：
onstart revice方法总结 onstart 1.启动定时发送 向自己 ReregisterWithMaster(一直运行) 2.启动多线程 向master RegisterWorker msg: RegisterWorkerResponse 1.更新master 向自己 SendHeart 阅读全文
posted @ 2022-09-12 23:58
Kotlin
阅读(37)
评论(0)
推荐(0)
摘要：
一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWorker 六.case LaunchExecutor 七.case 阅读全文
posted @ 2022-09-12 22:59
Kotlin
阅读(41)
评论(0)
推荐(0)
摘要：
一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWorker 六.case LaunchExecutor 七.case 阅读全文
posted @ 2022-09-12 22:57
Kotlin
阅读(41)
评论(0)
推荐(0)
摘要：
一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWorker 六.case LaunchExecutor 七.case 阅读全文
posted @ 2022-09-12 22:54
Kotlin
阅读(43)
评论(0)
推荐(0)
浙公网安备 33010602011771号