2024年12月5日
spark 批量写入redis控制
摘要： 需求 spark scala 程序 读取hive数据，sparksql解析 然后分批写入redis 原则： 一、尽可能少和redis交互，减少redis写入压力。 二、可以考虑pipeline的操作习惯。 三、不要一个partition只提交一个pipeline 网络传输压力大 内存消耗高 Redi 阅读全文
posted @ 2024-12-05 18:26 唐钰逍遥 阅读(177) 评论(0) 推荐(0)