2025年7月30日
数据库实现树状（层级）结构
摘要： 问题 有一张交易流水表（transaction），主键为账号，每个账号有所属公司。有一张公司信息表（company_info），主键为公司id，表中有上级公司id。 需要得到每个公司的交易信息（资金流入流出余额），但是每个公司的数据都应该是该公司及下属公司的汇总。 但是数据库并不支持树形结构也不支持 阅读全文
posted @ 2025-07-30 12:12 rusthx 阅读(3) 评论(0) 推荐(0)
数仓(Hive)数据倾斜产生原因及处理方式
摘要： 参考资料：B站@左美美_ 相关视频 数据倾斜定义 任务进度长时间维持在99%，查看任务监异页面，发现只有少量1个或几个reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多，最长时长远大于平均时长。 数据倾斜产生 阅读全文
posted @ 2025-07-30 12:06 rusthx 阅读(66) 评论(0) 推荐(0)
2024年6月26日
VMvare安装配置Ubuntu虚拟机
摘要： 安装虚拟机 下载vmvare https://www.vmware.com/products/desktop-hypervisor.html 现在的vmvare安装变得麻烦起来了，还要登陆网站。这里我用的是我之前下载的vmvare16pro。如果官网下载不太容易也可以直接搜索vmvare16安装，浏 阅读全文
posted @ 2024-06-26 16:18 rusthx 阅读(71) 评论(0) 推荐(0)
2024年6月2日
Docker安装与基本操作
摘要： 我的docker是安装在Ubuntu22.04虚拟机上的，不同的操作系统细微差别，请自行必应搜索。 Docker安装 更新apt数据源 sudo apt-get update 下载依赖 sudo apt-get install apt-transport-https ca-certificates 阅读全文
posted @ 2024-06-02 11:15 rusthx 阅读(49) 评论(0) 推荐(1)
Kubernetes（K8s）Pod部署
摘要： 这里以老师的指导文档为例，实现一个基于flask和redis的web网页，用户每输入网址浏览一次就加一次浏览量并显示在网页上。 1.docker拉取镜像 拉取Python镜像 sudo docker pull python 拉取redis镜像 sudo docker pull redis 查看镜像 阅读全文
posted @ 2024-06-02 10:37 rusthx 阅读(35) 评论(0) 推荐(0)
Kubernetes（K8s）集群安装
摘要： 参考资料:https://cloud.tencent.com/developer/article/2347138 1禁用Ubuntu Swap sudo gedit /etc/fatab 2 Ubuntu安装网桥工具 sudo apt-get install bridge-utils -y 3添加k 阅读全文
posted @ 2024-06-02 10:27 rusthx 阅读(65) 评论(0) 推荐(0)
Kubernetes(K8s)使用本地docker镜像
摘要： 参考资料：https://www.youtube.com/watch?v=3mdCiFu52XA&t=8s vscode安装k8s插件 值得一提的是安装k8s插件后编辑k8s所需yaml文件会非常简单。比如需要一个deploy，那只需要输入deploy再按一下TAB键就可以使用自动补全，得到一份模板 阅读全文
posted @ 2024-06-02 09:41 rusthx 阅读(181) 评论(0) 推荐(0)
Spark程序大量Info日志问题解决
摘要： Spark程序在启动后会在控制台打印大量日志，找了很多教程也没有解决，本来一直可以忍受的。但是学SparkStreaming时实在受不了了，日志已经严重影响到我查看计算结果。遂痛下决心，解决这个一直困扰我的问题。如果使用方法1没有解决的可以直接去看第三步，第二步是解决日志依赖冲突的问题的 常规解决办 阅读全文
posted @ 2024-06-02 09:21 rusthx 阅读(157) 评论(0) 推荐(0)
SparkStreaming使用socket
摘要： 参考：https://www.bilibili.com/video/BV11A411L7CK?p=188&vd_source=2db7c64d895a2907954a5b8725db55d5 终端打印大量日志影响结果查看可以看我首页的博客解决。 踩坑如下： 1.socket编程不会，写socket发 阅读全文
posted @ 2024-06-02 08:18 rusthx 阅读(58) 评论(0) 推荐(0)
2024年5月11日
Scala连接MySQL和Hive
摘要： 连接MySQL 参考链接：https://www.cnblogs.com/Jaryer/p/13671449.html maven添加依赖 <dependency> <groupId>com.mysql</groupId> <artifactId>mysql-connector-j</artifac 阅读全文
posted @ 2024-05-11 17:54 rusthx 阅读(133) 评论(0) 推荐(1)