摘要：What is spark.python.worker.memory? Spark on YARN resource manager: Relation between YARN Containers and Spark Executors？ When running Spark on YARN, 阅读全文

摘要：说明 写的第一个pyspark程序，涉及利用pycharm写程序，利用pyspark shell来调用接口，在服务器上执行pyspark 如何搭建写pyspark的工具环境 spark连接hive如何操作 spark的python api如何使用 过程中遇到的问题 阅读全文

摘要：在使用SQL时，常会有这样的需求： Hive中 ： 一条语句，简单方便， ：新建表和插入的字段没有comment，如果有comment的需求，需要单独执行添加comment的语句。 SQL Server 其他等用到再更新 阅读全文

摘要：至少SQL Server，HQL，Oracle都有效 通常SQL中对表中数据去重，会首先想到 关键字， 能实现的需求 不能实现的需求 问题： 如果想实现针对某一字段去重，其他字段是否重复不关心的效果怎么处理？ 答： 可以采用row_number()的窗口函数 转换问题，可以转换为对重复的行取top1 阅读全文

摘要：今天终于在回程的火车上把《鸡毛飞上天》这部剧追完了，几分感慨，几分收获。 最初是因为国庆期间无意间在B站看了几个陈江河与骆玉珠的情感片段而入坑， 找了八年，终于在火车站遇到，想喊出来骆玉珠的名字，内心的激动却使陈江河哽咽了，张译把这份情感演绎的淋淋尽职。 被绑得救后的骆玉珠憔悴地抱着陈江河，虚弱的说 阅读全文