2021年12月31日
Spark如何读取gbk等非utf-8编码的文件
摘要： 大数据环境基本都是utf-8编码，如果数据文件非utf-8编码，Spark读取时会乱码，经验项目验证，通过sc.hadoopFile接口比较可靠，该接口返回的数据每行表示为<行偏移,行内容Text>，然后通过map方法，重新构造String，这样获得的String不会乱码，具体实现方式如下代码： / 阅读全文
posted @ 2021-12-31 10:20 远去的列车 阅读(318) 评论(0) 推荐(0) 编辑