卤鸭架

摘要： 现象 我有2台服务器，从服务器1 scp 到 服务器2 的时候没问题，可以正常同步，如下 但是从服务器2 scp到服务器1的时候就不行，而且不报错，如下： 输出的 ~/.bashrc run 是我在服务器1上，给 .bashrc /etc/bashrc等环境文件加了一个echo，当时用来学习这些环境 阅读全文

摘要： 写在前面 《Hive性能优化实战》是比较不错的一本hive技术书籍，介绍了hive相关的一些技术，一些基本的理论，看完能对hive优化方面略有了解； 但有俩地方每种不足，一是没有那么多的实际的综合情况分析优化案例，这个有点可惜，要是多几个案例就很不错了；而是执行计划部分大多数 整本书最吸引人的地方在 阅读全文

摘要： # ODS层数据同步问题总结 项目中参与到一些贴源层从各个系统同步数据的需求，理论上ODS层是不做任何处理的，应该很简单才对，但是实际还是超出理论的， 结合其他同事踩过的坑，总结一些接入的问题。 其实大部分问题，都是源表不规范导致的，因此在抽数前，一定要做好调研，下次写一篇如何做调研的总结。 ## 阅读全文

摘要： 记一次Hive的运行过程中的错误 `Error: java.lang.RuntimeException: Hive Runtime Error while closing operators at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.close( 阅读全文

摘要： `两次被这个问题折腾了，记录一下解决方案，并梳理一下各个路径的作用。` ## 问题现象 spark作业在通过 spark-submit提交到yarn后，出现 NoClassDefFound的报错 ![](https://img2023.cnblogs.com/blog/1826431/202307/ 阅读全文

摘要： 第一次对这个词有印象还是在《后会无期》的电影中，当时没太看明白为什么扯到青蛙上面了，工作几年，特别是今年，有了更加切身的体会。写下此文，记录当下，警醒自己。 22年9月，结束两年的出差，裸辞去山东乳山度假了一个多月后，走上了不顺利的找工作之旅，两个上海到手的offer因为其他原因没成，深圳更是岗位少 阅读全文

摘要： 参考文章： 大数据项目——倾斜数据的分区优化 数据倾斜概念 什么是数据倾斜 大数据下大部分框架的处理原理都是参考mapreduce的思想：分而治之和移动计算，即提前将计算程序生成好然后发送到不同的节点起jvm进程执行任务，每个任务处理一小部分数据，最终将每个任务的处理结果汇总，完成一次计算。 如果在 阅读全文

摘要： 参考文章: 在idea里面怎么远程提交spark任务到yarn集群 代码 注意setJars，提交的代码，要提前打好包。否则会报找不到类的错误 个人理解就相当于运行的main方法是起了一个spark-submit任务，提交任务到集群时还是要指定好任务的jar包，以便复制到各个Executor执行代码 阅读全文

摘要： idea构建项目 创建一个maven项目，配置pom依赖，以及scala编译插件。 注意一定要保证，你的scala版本和spark版本和要提交的集群版本一致，要不很多莫名其妙的问题，scala如果你在window安装的版本就是和集群不一样，又懒得重新装，可以看 2 中，通过idea配置版本，并在编译 阅读全文

摘要： 简介 一些开发，学习过程中偶尔蹦出来的问题，记录在此，待闲时回过头来研究研究，然后融入到知识体系中去。 问题记录 2022-10 parquet、orc文件类型具体特性，性能测试。 把java，shell，scala，sql等操作时间的方式梳理一下，总是记不住。 工程化的思想要了解一下。 阅读全文