Spark SQL 编程
摘要：
Spark SQL的依赖 Spark SQL的入口：SQLContext 官方网站参考 https://spark.apache.org/docs/1.6.2/sql-programming-guide.html#starting-point-sqlcontext 针对几种不同的语言来写。 Spar 阅读全文
posted @ 2017-09-02 00:42 百里登峰 阅读(342) 评论(0) 推荐(0)
Spark SQL 基本原理
摘要：
Spark SQL 模块划分 Spark SQL架构--catalyst设计图 Spark SQL 运行架构 Hive的兼容性 阅读全文
posted @ 2017-09-01 11:23 百里登峰 阅读(361) 评论(0) 推荐(0)
spark SQL概述
摘要：
Spark SQL是什么？ 何为结构化数据 sparkSQL与spark Core的关系 Spark SQL的前世今生：由Shark发展而来 Spark SQL的前世今生：可以追溯到Hive Spark SQL的前世今生：Hive 到Shark(在Hive上做改进) Spark SQL的前世今生：S 阅读全文
posted @ 2017-08-30 23:56 百里登峰 阅读(166) 评论(0) 推荐(0)
spark 多语言编程
摘要：
参考官方地址：https://spark.apache.org/docs/1.6.2/programming-guide.html 误解: spark多语言的支持，并不是说spark可以操作各个语言写的程序。而是各种语言可以使用spark提供的编程模型来开发spark程序，并连接spark集群来运行 阅读全文
posted @ 2017-08-29 09:49 百里登峰 阅读(325) 评论(0) 推荐(0)
hadoop YARN
摘要：
YARN产生的背景 回顾mapreduce1.0(以下是对应的框架) JobTracker同事负责资源的管理和调度和作业的管理和调度 mapreduce1.0的缺点 1.扩展性差 2.另外一个缺点就是单点故障 3.资源利用率低 4.通用性差 什么是yarn YARN在hadoop生态圈系统中的位置 阅读全文
posted @ 2017-08-25 21:51 百里登峰 阅读(219) 评论(0) 推荐(0)
spark 存储管理机制
摘要：
累加器 -- Accumulators 广播变量--Broadcast Variables 思考 回顾 存储管理模块架构--从架构上来看 存储管理模块架构--通信层 存储管理模块架构--存储层 存储管理模块架构--数据块与分区的关系 回顾-RDD控制操作 持久化级别 如何选择持久化级别 缓存淘汰机制 阅读全文
posted @ 2017-08-25 17:34 百里登峰 阅读(256) 评论(0) 推荐(0)
ossim 4.1 安装
摘要：
在这说明一下，本人也是第一次安装这东东很多我自己也不懂，只能把自己的安装步骤通过贴图呈现出来了！！！！ 我用root用户登录的，顺便查看ip 在浏览器打开网址https://192.168.86.156 下面的信息就像大家平常注册QQ一样填写就可以了 阅读全文
posted @ 2017-08-24 23:30 百里登峰 阅读(460) 评论(0) 推荐(0)
spark 应用程序部署工具 spark-submit
摘要：
打包 Spark application 使用spark-submit启动Spark application spark-submit usage spark-submit option 运行模式相关 spark-submit options-常规 spark-submit options-clas 阅读全文
posted @ 2017-08-24 21:32 百里登峰 阅读(317) 评论(0) 推荐(0)
Spark交互式工具spark-shell
摘要：
REPL Spark REPL Spark shell 下面我们启动一下（我这里搭建的是3节点集群） sc.后面按TAB键可以把提示调出来 查看hdfs上文件内容 这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php 试下读下里面的数据 这个可以求 阅读全文
posted @ 2017-08-23 23:44 百里登峰 阅读(429) 评论(0) 推荐(0)
浙公网安备 33010602011771号