摘要： 一、新建项目前配置JDK 1.File-->Project Structure 2.SDKs-->点击+号，在弹出框选择JDK的安装路径。 二、新建项目配置JDK 1.File-->New-->Project 2.填写Name，Location, 选择Language对应的JDK即可。 三、项目切换 阅读全文

摘要： 1.IDEA clone远程仓库到本地， 复制远程仓库地址, 点击Code-->copy 2.创建一个版本控制项目 3. 将远程仓库地址粘贴到URL框中，Directory是本地仓库地址，点击clone。 4. 输入用户名和密码。密码是访问此github api的token, 需要登录github- 阅读全文

摘要： We can change replica from 3 to 2 after the data is deprecated, to save storage. 1.在hadoop的hdfs中，查看文件或者目录的hdfs副本数量，可以使用如下命令 hdfs dfs -stat '%r' /path/ 阅读全文

摘要： SELECT *FROM Table_NameWHERE (LAST_MODIFIED_DATE >= TO_DATE('${FROM_EXTRACT_VALUE}','YYYY-MM-DD HH24:MI:SS') AND LAST_MODIFIED_DATE < TO_DATE('${TO_EX 阅读全文

摘要： 在Spark中执行refresh table语句时，它会刷新表的元数据信息，使得Spark能够重新加载表的最新数据。通常情况下，你可以在以下情况下执行refresh table语句：1.在表的数据发生变化后，你希望Spark能够立即感知到这些变化并使用最新的数据。2.在表的元数据信息发生变化后，比如 阅读全文

摘要： 解释： hdfs dfs -mkdir 是Hadoop命令行中用于创建目录的命令。 -p 参数告诉 mkdir 命令创建所有不存在的父目录。 阅读全文

摘要： 说明： basename命令是Shell内建命令，用于去掉文件路径中的目录部分，只显示文件名。如果你在使用的是Linux或者其他类Unix系统的Shell环境中，basename命令可以直接使用，无需额外安装。 命令1: basename /aa/bb/cc/file_name 输出： file_n 阅读全文

摘要： Oracle组合索引（composite index）是指在数据库表的多个列上创建的索引。当查询操作中涉及到这些列并且是组合索引的前导列时，组合索引会生效。 组合索引的前导列是指在索引中排在最前面的列。只有当查询的条件中使用了组合索引的前导列，且查询条件满足以下特性时，组合索引才会生效： 查询条件中 阅读全文

摘要： 1.主要区别？ repartition和coalesce是Spark中用于重新分区数据的方法。它们的区别在于： 功能不同：repartition方法用于增加或减少分区数量，而coalesce方法仅用于减少分区数量。 数据移动：repartition方法会进行数据重分区，可能会导致数据的移动和重新分配 阅读全文

摘要： 1.set()集合 格式：{元素1，元素2，元素3}，元素之间用逗号分隔，每个元素的类型可以不一样，比如{1,2,3},{'a','b','c'},{'a',1,'b',2} set集合是无序的，里面的元素不可重复 2.list集合(列表) 格式：[元素1，元素2，元素3], 元素可以是任何类型，比 阅读全文