2017年10月10日
Spark SQL中 RDD 转换到 DataFrame (方法二）
摘要： 强调它与方法一的区别：当DataFrame的数据结构不能够被提前定义。例如：（1)记录结构已经被编码成字符串 (2) 结构在文本文件中，可能需要为不同场景分别设计属性等以上情况出现适用于以下方法。1.people.txt:soyo8, 35小周, 30小华, 19soyo,88/** * Created by soyo on 17-10-10. * 使用编程方式定义RDD模式 */ ... 阅读全文
posted @ 2017-10-10 20:27 soyosuyang 阅读(340) 评论(0) 推荐(0)
Spark SQL中 RDD 转换到 DataFrame
摘要： 1.people.txtsoyo8, 35小周, 30小华, 19soyo,882./** * Created by soyo on 17-10-10. * 利用反射机制推断RDD模式 */import org.apache.spark.sql.catalyst.encoders.Expressio 阅读全文
posted @ 2017-10-10 20:24 soyosuyang 阅读(453) 评论(0) 推荐(0)
Spark SQL
摘要： 1.DataFrame与RDD的区别 RDD是分布式的 Java对象的集合 DataFrame是一种以RDD为基础的分布式数据集，也就是分布式的Row对象的集合（每个Row对象代表一行记录），提供了详细的结构信息，也就是我们经常说的模式（schema）.简单理解就是类似表 2.Schema 是什么 阅读全文
posted @ 2017-10-10 20:20 soyosuyang 阅读(200) 评论(0) 推荐(0)
Hadoop 的使用
摘要： hadoop：hadoop启动：./sbin/start-dfs.shhadoop关闭：./sbin/stop-dfs.shbin文件用于在HDFS创建数据HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoop往input中放数据：./bin/hdfs 阅读全文
posted @ 2017-10-10 20:07 soyosuyang 阅读(267) 评论(0) 推荐(0)
hadoop hbase 快速启动 关闭 配置：
摘要： vim ~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 //JDK安装路径export HADOOP_HOME=/usr/local/hadoop //Hdoop 安装路径export HADOOP_COMMON_LIB_NAT 阅读全文
posted @ 2017-10-10 20:05 soyosuyang 阅读(341) 评论(0) 推荐(0)