大数据技能 - 文章分类 - 言溪清流

SparkSQL中的内置函数和高级函数（Python）

摘要：一、常用的SparkSQL内置函数及其用法的代码实现：聚合函数： from pyspark.sql.functions import sum, avg, count, max, min # 计算salary的总和 df.select(sum("salary")).show() # 计算salary 阅读全文

posted @ 2023-04-03 20:48 言溪清流阅读(338) 评论(0) 推荐(0)

Spark_关于如何学习SparkSQL

摘要：问题一、Spark SQL在大数据中主要作用和扮演的角色: Spark SQL是Spark生态系统中的一个组件，它提供了一种基于结构化数据进行处理和分析的方式，可以让数据科学家、数据分析师等非专业的程序员更加轻松地处理和分析数据。在大数据中，Spark SQL主要扮演以下几个角色：处理和分析结构化阅读全文

posted @ 2023-04-03 20:44 言溪清流阅读(45) 评论(0) 推荐(0)

SQL_数据库对象（视图、序列、同义词、索引都是DDL语句）

摘要：1 数据库对象（视图、序列、同义词、索引都是DDL语句） 2 3 1 视图 4 视图是从一个或几个实体表（或视图）导出的表。它与实体表不同，视图本身是一个不包含任何真是数据的虚拟表。视图最终是定义在实体表之上的，对视图的一切操作最终也要转换为对实体表的操作。 5 有经验的数据库设计人员往往会为开发阅读全文

posted @ 2023-04-03 20:37 言溪清流阅读(100) 评论(0) 推荐(0)

SQL_用户权限及角色管理

摘要：1 用户权限及角色管理 2 在Oracle 中将每一个用户都作为数据库对象存在。虽然在Oracle 数据库中已经提供了大量的用户，但是从安全及维护的角度来讲，往往需要创建属于自己的用户。如果要创建用户，可以利用CREATE USER 语法来完成。 3 4 1 创建用户语法（需要有管理员权限） 5 阅读全文

posted @ 2023-04-03 20:34 言溪清流阅读(51) 评论(0) 推荐(0)

SQL_分析函数，分组排序

摘要：1 1 分析函数使用场景： 2 1. 计算运行总量：逐一累加当前行与其之前行的每行记录数据。 3 2. 查找当前行数据占总数据的百分比。 4 3. 分区显示：按照不同的部门或职位进行排列、统计。 5 4. 计算流动数据行的平均值等 6 7 8 2 分析函数的基本语法 9 函数名称([参数,...] 阅读全文

posted @ 2023-04-03 20:30 言溪清流阅读(28) 评论(0) 推荐(0)

SQL_每月连续登陆大于等于5天的用户【经典问题】

摘要：1 select 2 distinct month, user_id 3 from ( 4 select 5 user_id, 6 date_format(login_time, "yyyy-MM") month, 7 row_number over(partition by user_id, ne 阅读全文

posted @ 2023-04-03 20:26 言溪清流阅读(30) 评论(0) 推荐(0)

SQL_单行函数

摘要：1 单行函数 2 4.1 程序员对数据库的常用操作： 3 1.数据库的打开、关闭、查看表信息等操作。 4 2.SQL 语句，在编写程序中需要程序人员动手编写的命令语句。 5 3.函数，每个数据库都有自己的函数支持，利用这些函数可以更加方便地完成所需的功能。对于所有函数，暂不需要了解其内部工作原理，只阅读全文

posted @ 2023-04-03 20:17 言溪清流阅读(22) 评论(0) 推荐(0)

SQL优化技巧

摘要：1 SQL优化技巧 2 01 选择最有效率的表名顺序（只在RBO有效，基于规则的优化器中有效） 3 Oracle 的解析器按照从右到左的顺序处理 FROM 子句中的表名，FROM 子句中写在最后的表（基础表 driving table）将被最先处理，在FROM子句中包含多个表的情况下，你必须选择记录阅读全文

posted @ 2023-04-03 20:07 言溪清流阅读(20) 评论(0) 推荐(0)

文章分类 - 大数据技能