摘要：idea构建项目 创建一个maven项目，配置pom依赖，以及scala编译插件。 注意一定要保证，你的scala版本和spark版本和要提交的集群版本一致，要不很多莫名其妙的问题，scala如果你在window安装的版本就是和集群不一样，又懒得重新装，可以看 2 中，通过idea配置版本，并在编译 阅读全文

摘要：简介 一些开发，学习过程中偶尔蹦出来的问题，记录在此，待闲时回过头来研究研究，然后融入到知识体系中去。 问题记录 2022-10 parquet、orc文件类型具体特性，性能测试。 把java，shell，scala，sql等操作时间的方式梳理一下，总是记不住。 工程化的思想要了解一下。 阅读全文