会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
大数据学习与分享
博客园
首页
新随笔
联系
订阅
管理
2020年12月17日
Spark SQL 小文件问题处理
摘要: 在生产中,无论是通过SQL语句或者Scala/Java等代码的方式使用Spark SQL处理数据,在Spark SQL写数据时,往往会遇到生成的小文件过多的问题,而管理这些大量的小文件,是一件非常头疼的事情。大量的小文件会影响
阅读全文
posted @ 2020-12-17 09:27 大数据学习与分享
阅读(2615)
评论(0)
推荐(0)
公告