摘要：
一、内存布局 1、直观图 2、树状图 二、内存解释 1、Flink使用的内存 （1）JVM堆上内存 说明：堆上内存管理序列化之后的数据，如果需要处理的数据超出了内存限制，则会将部分数据存储到硬盘上。堆上内存在写磁盘或网络传输时至少需要一次内存复制。 a.框架堆上内存Framework Heap Me 阅读全文
posted @ 2022-10-15 10:48
落魄的大数据转AI小哥
阅读(929)
评论(2)
推荐(0)
摘要：
1、查看磁盘情况 df -h 2、从根目录查找哪个文件夹占用的磁盘最多 du -h --max-depth=1 / 我们发现/usr和/data目录占用最多，先进入/data目录查看 cd /data 查看/data目录下哪个文件夹占用磁盘多 du -sh * 发现/data/kafka占用比较多， 阅读全文
posted @ 2022-10-13 10:11
落魄的大数据转AI小哥
阅读(3771)
评论(1)
推荐(0)
摘要：
参考地址：https://blog.csdn.net/weixin_43087913/article/details/117818383 阅读全文
posted @ 2022-10-10 11:25
落魄的大数据转AI小哥
阅读(69)
评论(0)
推荐(0)
摘要：
一、安装包准备 1、下载地址：https://github.com/hugegraph/hugegraph/releases/download/v0.11.2/hugegraph-0.11.2.tar.gz 2、将下载好的安装包上传至/opt/soft 二、安装HugeGraphServer 1、解 阅读全文
posted @ 2022-10-10 10:42
落魄的大数据转AI小哥
阅读(831)
评论(0)
推荐(0)
摘要：
一、图基本概念与操作 #查询顶点，一般作为图查询的第1步，后面可以续接的语句种类繁多 g.V() #查询图中所有的边 g.E() g.E().hasLabel('rel_hdfs_path_and_spark_input_processes') g.E().hasLabel('rel_hive_ta 阅读全文
posted @ 2022-10-10 10:19
落魄的大数据转AI小哥
阅读(924)
评论(0)
推荐(0)
摘要：
1、发生错误场景（开发环境） import java.io.IOException; import java.util.Iterator; import java.util.List; import java.util.Map; import com.baidu.hugegraph.driver.G 阅读全文
posted @ 2022-10-10 09:49
落魄的大数据转AI小哥
阅读(140)
评论(0)
推荐(0)
摘要：
1、发生错误场景（开发环境） import java.io.IOException; import java.util.Iterator; import java.util.List; import java.util.Map; import com.baidu.hugegraph.driver.G 阅读全文
posted @ 2022-10-10 09:45
落魄的大数据转AI小哥
阅读(184)
评论(0)
推荐(0)
摘要：
一、Apache TinkerPop入门 参考文档：https://tinkerpop.apache.org/docs/3.6.0/tutorials/getting-started/ 二、Gremlin 控制台 参考文档：https://tinkerpop.apache.org/docs/3.6. 阅读全文
posted @ 2022-10-10 09:40
落魄的大数据转AI小哥
阅读(171)
评论(0)
推荐(0)
摘要：
一、编译Spark3.0.3源码 1、源码下载 https://github.com/apache/spark/archive/refs/tags/v3.0.3.zip 2、上传至/opt/soft目录并解压至/opt/module unzip spark-3.0.3.zip mv /opt/sof 阅读全文
posted @ 2022-10-10 09:33
落魄的大数据转AI小哥
阅读(348)
评论(0)
推荐(0)
摘要：
一、背景 由于spark-atlas-connector无法解析DF算子获取到Spark程序的血缘，因此我们这边针对Spark血缘做了调研，发现spline-agent能解析DF算子，从而获取得到Spark作业血缘，因此我们选择抛弃spark-atlas-connector，转而使用spline-a 阅读全文
posted @ 2022-10-10 09:15
落魄的大数据转AI小哥
阅读(1542)
评论(2)
推荐(0)
浙公网安备 33010602011771号