将博客搬至CSDN

问题的原因是spark默认没有配置lzo支持造成的。所以再写入lzo表时会报错，需要在让spark支持lzo格式（如果使用MR引擎无需设置）。

在配置栏里搜索spark-conf/spark-env.sh 的 Spark 服务高级配置代码段（安全阀）

找到你的lzo目录 如

/opt/cloudera/parcels/GPLEXTRAS/lib

复制以下内容粘贴到配置中

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native
export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*

MapReduce ApplicationMaster 环境变量

yarn.app.mapreduce.am.admin.user.env 追加 :/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native 
yarn.application.classpath追加/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/* 

https://docs.cloudera.com/documentation/enterprise/latest/topics/admin_hos_oview.html