摘要：
修改app/builde.gradle.kts和gadle/libs.versions.toml如下即可引入依赖（以RecylceView）为例 我的Java版本是Java17,注意修改为自己的版本。 plugins { alias(libs.plugins.android.application) 阅读全文
posted @ 2025-07-30 14:11
rusthx
阅读(14)
评论(0)
推荐(0)
摘要：
Android studio每次新建项目都要下载gradle，挂了代理也老是下载失败。更换阿里的镜像源也一直报错。直到接触到了腾子的大手…… 修改图中的两个文件。/gradle/wrapper.gradle-wrapper.properties、settings.gradle.kts #Sat Ma 阅读全文
posted @ 2025-07-30 14:11
rusthx
阅读(502)
评论(0)
推荐(0)
摘要：
我出于自身需要，已经编译好了doriswriter和clickhousewriter，有相同需求的可以直接云盘下载。 https://wwsx.lanzouw.com/b00y9w9ovg 密码:byxl 前置准备工作：准备一个JDK8及以上，安装好maven。 拉取DataX源码 这里有两种方法， 阅读全文
posted @ 2025-07-30 14:10
rusthx
阅读(92)
评论(0)
推荐(0)
摘要：
sqoop功能稳定后就没再更新了，最新版本就是1.4.7。而最新版的sqoop又分为支持Hadoop2的版本和纯净的版本。 我们需要把两个包都下下来，提取部分sqoop_hadoop2.6.0版本的jar包放到纯净版sqoop的lib目录下，在sqoop配置文件中加入获取当前环境中的hive及had 阅读全文
posted @ 2025-07-30 14:10
rusthx
阅读(28)
评论(0)
推荐(0)
摘要：
usage: hive -d,--define <key=value> Variable substitution to apply to Hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify the 阅读全文
posted @ 2025-07-30 14:10
rusthx
阅读(2)
评论(0)
推荐(0)
摘要：
点击新建项目，选择Java Maven项目 点击文件-设置->插件。搜索安装Scala插件 点击左上角文件，项目结构 点击全局库，点击+新建全局库，点击添加Scala SDK，可以在IDEA里下载，也可以自己在Scala官网手动下载后手动导入。 scala官网：https://www.scala-l 阅读全文
posted @ 2025-07-30 14:10
rusthx
阅读(30)
评论(0)
推荐(0)
摘要：
分类 join有如下种类 (inner) join left (outer) join right (outer) join cross join :笛卡尔积，与inner join不指定on等效 straight_join :效果等同于inner join，只是指定左表为驱动表 full (out 阅读全文
posted @ 2025-07-30 14:10
rusthx
阅读(25)
评论(0)
推荐(0)
摘要：
简介 广播变量允许程序员在每台机器上缓存只读变量，而不是随任务一起发送副本。 例如，它们可以用来以高效的方式为每个节点提供一个大型输入数据集的副本。 Spark 还尝试使用高效的广播算法分发广播变量，以降低通信成本。 广播变量是通过调用 broadcast 从变量 v 中创建的。 广播变量是 v 的 阅读全文
posted @ 2025-07-30 14:10
rusthx
阅读(16)
评论(0)
推荐(0)
摘要：
简介 累加器用来把 Executor 端变量信息聚合到 Driver 端。在 Driver 程序中定义的变量，在 Executor 端的每个 Task 都会得到这个变量的一份新的副本，每个 task 更新这些副本的值后， 传回 Driver 端进行 merge。 快速上手 数据如下，数据格式为学生姓 阅读全文
posted @ 2025-07-30 14:10
rusthx
阅读(3)
评论(0)
推荐(0)
摘要：
学习源码所用的Spark的版本是Spark3.3.2_2.12(Scala2.12写的Spark3.3.2) 类别 Spark底层有五种join实现方式 前置介绍：HashJoin 参考资料：https://www.6aiq.com/article/1533984288407 先来看看这样一条SQL 阅读全文
posted @ 2025-07-30 14:10
rusthx
阅读(12)
评论(0)
推荐(0)
浙公网安备 33010602011771号