02 2021 档案

python协程 详解
摘要：python 3.5中使用语法糖 async 和 await 实现协程。 协程这个概念和进程、线程类似，都是程序运行的方式。使用协程可以高效的处理IO密集的问题，因为不需要出让GIL锁，它比多线程的速度要快。 如何以协程的方式运行一个函数？ 首先使用async语法糖定义一个 async def as 阅读全文
posted @ 2021-02-23 16:56 yjy888 阅读(529) 评论(0) 推荐(0)
maxcompute mapjoin
摘要：如果要join两张表，其中一张很大，另外一张很小，我们应该broadcast小表，把小表广播到各个节点。 还有另外一种，使用Cartesian product笛卡尔积，也就是直接join 不on 那么必须使用map join 举例，如果要计算会员数量及所占比例，需要除以会员总数，而这个总数我们就需要 阅读全文
posted @ 2021-02-22 15:31 yjy888 阅读(496) 评论(0) 推荐(0)
spark split节点笔记
摘要：1、datetime在dataframe里是 TimestampType 2、参数配置 https://github.com/aliyun/MaxCompute-Spark/wiki/02.-Spark-on-Dataworks?spm=a2c6h.12873639.0.0.1d356e5bFvc3 阅读全文
posted @ 2021-02-19 16:45 yjy888 阅读(392) 评论(0) 推荐(0)