2023年4月14日
解决Spark读取tmp结尾的文件报错的问题
摘要： 解决Spark读取tmp结尾的文件报错的问题 业务场景 flume采集文件到hdfs中，在采集中的文件会添加.tmp后缀。一个批次完成提交后，会将.tmp后缀重名名，将tmp去掉。 所以，当Spark程序读取到该hive外部表映射的路径时，如果恰好这个文件被重命名过，就会出现找不到xxx.tmp文件的问题出现。 解决思路： Hdfs提供了读取文 阅读全文
posted @ 2023-04-14 11:27 硅谷工具人 阅读(94) 评论(0) 推荐(0)
成功之道，在于每个人生阶段都要有不同的目标，并且通过努力实现自己的目标，毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福，同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知，修身齐家治国平天下。