摘要：
cluster模式： spark-submit \ --conf spark.dynamicAllocation.enabled=false \ --name pool_liquidity_info \ --master yarn \ --deploy-mode cluster \ --queue 阅读全文
摘要：
需求：一个topic包含很多个表信息，需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。 发送到Kafka中的数据原本最外层原本没有pkDay和project，只有data和name。因为担心data里面会空值，所以根同事商量，让他们在最外层添加了project和pkDay字段 阅读全文
摘要：
yt-dlp -F https://www.youtube.com/watch?v=RMH8Xv2siYM yt-dlp -f 140 https://www.youtube.com/watch?v=RMH8Xv2siYM --write-thumbnail --merge-output-forma 阅读全文