上一页 1 2 3 4 5 6 7 8 9 ··· 22 下一页
摘要: RDD的弹性表现: 1、弹性之一:自动的进行内存和磁盘数据存储的切换; 2、弹性之二:基于Lineage的高效容错(第n个节点出错,会从第n-1个节点恢复,血统容错); Lineage由spark的依赖关系确定。3、弹性之三:Task如果失败会自动进行特定次数的重试(默认4次); 4、弹性之四:St 阅读全文
posted @ 2017-09-13 17:24 Mr.Ming2 阅读(432) 评论(0) 推荐(0) 编辑
摘要: Running Spark on YARN 对 YARN (Hadoop NextGen) 的支持是从Spark-0.6.0开始的,后续的版本也一直持续在改进。 Launching Spark on YARN 确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群的( 阅读全文
posted @ 2017-09-13 15:27 Mr.Ming2 阅读(368) 评论(0) 推荐(0) 编辑
摘要: 概述 在高层次上,每个Spark应用程序都由一个运行用户main方法的driver program组成,并在集群上执行各种 parallel operations。Spark提供的主要抽象是resilient distributed dataset (RDD),它是可以并行操作的群集节点之间分配的元 阅读全文
posted @ 2017-09-12 18:01 Mr.Ming2 阅读(251) 评论(0) 推荐(0) 编辑
摘要: 概述 Spark SQL是用于结构化数据处理的Spark模块。它提供了一个称为DataFrames的编程抽象,也可以作为分布式SQL查询引擎。 Spark SQL也可用于从现有的Hive安装中读取数据。有关如何配置此功能的更多信息,请参阅Hive Tables部分。 DataFrames DataF 阅读全文
posted @ 2017-09-05 15:55 Mr.Ming2 阅读(877) 评论(0) 推荐(0) 编辑
摘要: 一:介绍 1.在spark编译时支持hive 2.默认的db 当Spark在编译的时候给定了hive的支持参数,但是没有配置和hive的集成,此时默认使用hive自带的元数据管理:Derby数据库。 二:具体集成 1.将hive的配合文件hive-site.xml添加到spark应用的classpa 阅读全文
posted @ 2017-09-05 15:11 Mr.Ming2 阅读(490) 评论(0) 推荐(0) 编辑
摘要: 用mysql -u root -p显示ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES). 编辑mysql配置文件my.ini(不知道在哪请搜索),在[mysqld]这个条目下加入 s 阅读全文
posted @ 2017-09-05 09:13 Mr.Ming2 阅读(2051) 评论(0) 推荐(0) 编辑
摘要: 目的 本文档是使用Hadoop分布式文件系统(HDFS)作为Hadoop集群或独立通用分布式文件系统的一部分的用户的起点。虽然HDFS旨在在许多环境中“正常工作”,但HDFS的工作知识有助于在特定集群上进行配置改进和诊断。 概述 HDFS是Hadoop应用程序使用的主要分布式存储。HDFS集群主要由 阅读全文
posted @ 2017-08-31 10:48 Mr.Ming2 阅读(469) 评论(0) 推荐(0) 编辑
摘要: 进行追加文件时出现AlreadyBeingCreatedException错误 堆栈信息大致如下: 目前得到的可能原因: 多进程进行同一文件的写入在HDFS中是可能引发这种错误的。 hadoop 的dfs里边有个lease manager 维护了文件path -> lease和 DFSClient  阅读全文
posted @ 2017-08-30 15:37 Mr.Ming2 阅读(3269) 评论(0) 推荐(0) 编辑
摘要: HA With QJM 目标 本指南概述了HDFS高可用性(HA)功能以及如何使用Quorum Journal Manager(QJM)功能配置和管理HA HDFS集群。 本文档假设读者对HDFS集群中的一般组件和节点类型有一般的了解。有关详细信息,请参阅HDFS架构指南。 本指南讨论如何使用Quo 阅读全文
posted @ 2017-08-29 11:27 Mr.Ming2 阅读(1248) 评论(0) 推荐(0) 编辑
摘要: 插入排序 归并排序 阅读全文
posted @ 2017-07-25 17:15 Mr.Ming2 阅读(101) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 22 下一页