2018年6月13日
DataFrames与RDDs的相互转换
摘要： Spark SQL支持两种RDDs转换为DataFrames的方式 使用反射获取RDD内的Schema 当已知类的Schema的时候，使用这种基于反射的方法会让代码更加简洁而且效果也很好。 通过编程接口指定Schema 通过Spark SQL的接口创建RDD的Schema，这种方式会让代码比较冗长。 阅读全文
posted @ 2018-06-13 21:06 大葱拌豆腐 阅读(396) 评论(0) 推荐(0)
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
摘要： 环境： Spark2.1.0 、Hadoop-2.7.5 代码运行系统:Win 7在运行Spark程序写出文件(savaAsTextFile)的时候，我遇到了这个错误： 查到的还是什么window远程访问Hadoop的错误，最后查阅官方文档HADOOP-11064 后来在网上找到解决方案是:由于ha 阅读全文
posted @ 2018-06-13 09:25 大葱拌豆腐 阅读(5387) 评论(1) 推荐(0)