摘要: (以下内容摘抄自刷知乎关于LeetCode的问题,原文链接:https://www.zhihu.com/question/31092580/answer/54194793) 刷题几个阶段: 1,第一遍:知道。直接看答案,不要自己想,了解所有最优解,方法技巧第一。做题套路,以印象为主。 2,第二遍:熟 阅读全文
posted @ 2020-02-18 14:06 公昭的blog 阅读(1302) 评论(0) 推荐(0)
摘要: 我是参考这边博客 "搭建spark环境" ,同时整理了一些遇到的问题 准备环境 1. 从github上下载spark相关版本的代码 可以通过git来下载,也可以选择相应的版本打包下载到本地,然后解压 2. 安装scala(这里选择的版本,需要根据下载的spark源码版本中依赖的scala大版本) 3 阅读全文
posted @ 2019-12-23 19:56 公昭的blog 阅读(393) 评论(0) 推荐(0)
摘要: What is spark.python.worker.memory? Spark on YARN resource manager: Relation between YARN Containers and Spark Executors? When running Spark on YARN, 阅读全文
posted @ 2019-10-23 23:28 公昭的blog 阅读(522) 评论(0) 推荐(0)
摘要: 说明 写的第一个pyspark程序,涉及利用pycharm写程序,利用pyspark shell来调用接口,在服务器上执行pyspark 如何搭建写pyspark的工具环境 spark连接hive如何操作 spark的python api如何使用 过程中遇到的问题 阅读全文
posted @ 2019-10-11 20:35 公昭的blog 阅读(496) 评论(0) 推荐(0)
摘要: 在使用SQL时,常会有这样的需求: Hive中 : 一条语句,简单方便, :新建表和插入的字段没有comment,如果有comment的需求,需要单独执行添加comment的语句。 SQL Server 其他等用到再更新 阅读全文
posted @ 2019-10-11 20:30 公昭的blog 阅读(3656) 评论(0) 推荐(0)
摘要: 至少SQL Server,HQL,Oracle都有效 通常SQL中对表中数据去重,会首先想到 关键字, 能实现的需求 不能实现的需求 问题: 如果想实现针对某一字段去重,其他字段是否重复不关心的效果怎么处理? 答: 可以采用row_number()的窗口函数 转换问题,可以转换为对重复的行取top1 阅读全文
posted @ 2019-10-11 20:16 公昭的blog 阅读(2129) 评论(0) 推荐(0)
摘要: 今天终于在回程的火车上把《鸡毛飞上天》这部剧追完了,几分感慨,几分收获。 最初是因为国庆期间无意间在B站看了几个陈江河与骆玉珠的情感片段而入坑, 找了八年,终于在火车站遇到,想喊出来骆玉珠的名字,内心的激动却使陈江河哽咽了,张译把这份情感演绎的淋淋尽职。 被绑得救后的骆玉珠憔悴地抱着陈江河,虚弱的说 阅读全文
posted @ 2019-10-06 18:09 公昭的blog 阅读(581) 评论(0) 推荐(0)
摘要: 什么叫多余?夏天的棉袄,冬天的蒲扇,还有等我已经心冷后你的殷勤。 李碧华 阅读全文
posted @ 2017-08-21 19:03 公昭的blog 阅读(125) 评论(0) 推荐(0)
摘要: “双眸剪秋水,十指剥春葱” 这是白居易的《筝》,从网上抄来的理解。该句,重点是秋水和春葱,而不在剪和剥。应该是形容眼睛似秋水一样清澈平静,春葱剥开后,既嫩且白,作者形容弹筝女的手指如才剥的春葱一样柔嫩,剪和剥是用来修饰秋水和春葱的。 阅读全文
posted @ 2017-08-12 17:31 公昭的blog 阅读(192) 评论(0) 推荐(0)