2019年10月11日
第一个pyspark程序
摘要： 说明 写的第一个pyspark程序，涉及利用pycharm写程序，利用pyspark shell来调用接口，在服务器上执行pyspark 如何搭建写pyspark的工具环境 spark连接hive如何操作 spark的python api如何使用 过程中遇到的问题 阅读全文
posted @ 2019-10-11 20:35 公昭的blog 阅读(496) 评论(0) 推荐(0)
SQL中的CTAS写法
摘要： 在使用SQL时，常会有这样的需求： Hive中 ： 一条语句，简单方便， ：新建表和插入的字段没有comment，如果有comment的需求，需要单独执行添加comment的语句。 SQL Server 其他等用到再更新 阅读全文
posted @ 2019-10-11 20:30 公昭的blog 阅读(3656) 评论(0) 推荐(0)
SQL中的distinct关键词
摘要： 至少SQL Server，HQL，Oracle都有效 通常SQL中对表中数据去重，会首先想到 关键字， 能实现的需求 不能实现的需求 问题： 如果想实现针对某一字段去重，其他字段是否重复不关心的效果怎么处理？ 答： 可以采用row_number()的窗口函数 转换问题，可以转换为对重复的行取top1 阅读全文
posted @ 2019-10-11 20:16 公昭的blog 阅读(2129) 评论(0) 推荐(0)