bigbigtree

摘要： 依赖GeoserverElasticSearchElasticGeo部署部署ElasticGeo使用创建ES数据源并发布发布 依赖 Geoserver 环境搭建参考： ElasticSearch 环境搭建参考： ElasticGeo 用于在Geoserver中发布Elasticsearch的数据，支 阅读全文

摘要： 库冲突导致的异常，由于多次引入SLF4j包导致。 It seems you have several implementation of SLF4J; you should exclude all the not necessary ones maven项目的解决方法： 通过mvn dependen 阅读全文

摘要： Spark版本：1.6.2 概览 Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQ 阅读全文

摘要： Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过log4j.properties配置日志属性 Spark属性 Spark属性可以为每个应用分别进行配置， 阅读全文

摘要： Spark版本：1.6.2 简介：本文档简短的介绍了spark如何在集群中运行，便于理解spark相关组件。可以通过阅读应用提交文档了解如何在集群中提交应用。 组件 spark应用程序通过主程序的SparkContext对象进行协调，在集群上通过一系列独立的处理流程运行。为了便于迁移，SparkCo 阅读全文

摘要： Spark版本：1.6.2 spark-submit提供了在所有集群平台提交应用的统一接口，你不需要因为平台的迁移改变配置。Spark支持三种集群：Standalone、Apache Mesos和Hadoop Yarn。 绑定应用程序依赖库 如果你的应用程序依赖其他项目，需要将其一起打包，打包时需要 阅读全文

摘要： 本章主要介绍Spark如何处理键值对。K-V RDDs通常用于聚集操作，使用相同的key聚集或者对不同的RDD进行聚集。部分情况下，需要将spark中的数据记录转换为键值对然后进行聚集处理。我们也会对键值对RDD的高级特性——分区进行讨论，用户可以控制RDD在节点间的布局，确保数据在同一机器上面，减 阅读全文

摘要： 由于需要对h5（hdf5）格式的dem数据进行拼接，但是arcgis不能识别h5的地理参考信息，所以先将h5文件转为带地理参考的tif文件，然后再进行拼接。工具：arcgis+envi1、用arcgis add data添加数据，然后右击数据，export data ，输出类型选择tiff，假设输出... 阅读全文

摘要： 堆：实质是一颗完全二叉树，最大堆的特点：父节点值均大于子节点；最小堆的父节点值均小于子节点；一般使用连续内存存储堆内的值，因而可以根据当前节点的索引值推断子节点的索引值：节点i的父节点为(i-1)/2；节点j的左子结点：j * 2 + 1;节点j的右子结点：j * 2 + 2;以下代码实现了最大堆最... 阅读全文

摘要： 1. 数据类型：通过SQLGetTypeInfo函数来获取ODBC 3.0支持的数据类型信息。由SQLGetTypeInfo返回的数据类型是数据源所支持的数据类型。SQLRETURN SQLGetTypeInfo( SQLHSTMT StatementHandle, SQL... 阅读全文